Pese a su infancia enfermiza, plagada de achaques e intervenciones quirúrgicas, Lemmon frecuentó los más selectos centros docentes de Nueva Inglaterra.
En 1943 el joven Jack ingresó en la Universidad de Harvard, pero reclamado inmediatamente a filas fue destinado a la Marina. Cuando se gradúo en Harvard en 1947, su decisión de convertirse en actor era ya irrevocable.
Su debut teatral en Nueva York tuvo lugar en 1947 con “Power of Darkness”, versión “off-Broadway” de la tragedia de León Tolstoi. Tras trabajar también en la radio en la televisión, debutó en el cine en 1954 con el filme “La rubia fenómeno”, de George Cukor.
“Escala en Hawai” fue concretamente su cuarto trabajo cinematográfico y con el ganó el Oscar correspondiente al mejor actor secundario, a pesar de que en estas fechas era un actor prácticamente desconocido. Posteriormente logró múltiples éxitos.