Su padre era un alcohólico agresivo, que pronto abandonó a su familia, quedando bajo la influencia femenina de su madre y dos hermanas, lo que marcó su carácter profundamente.
En efecto, fue un niño introvertido y amante de la sociedad.
Cuando tenía diecisiete años, y una vez terminado sus estudios primarios, se fue a Los Ángeles, donde trabajó como recadista para la Metro. Posteriormente comenzó a estudiar arte dramático en el Players Ring Theatre, coincidiendo con otro famoso actor, James Coburn, y con el director y también productor Roger Corman. Fue precísamente este último quien le proporcionó sus primeros trabajos para el cine.
Gracias a su interpretación en ‘Alguien voló sobre el nido del cuco’, alcanzó el Oscar correspondiente al mejor actor.
Luego, tras intervenir en otros filmes que no alcanzaron excesivo éxito, volvió a recuperar popularidad con ‘El cartero siempre llama dos veces’ y, en 1984, ganó otro Oscar, esta vez al mejor actor secundario, por su trabajo en ‘La fuerza del cariño’, tras la cual rodó otros largometrajes de los llamados ‘de impacto’, como ‘El honor de los Prizzi’, por el que fue nuevamente nominado al Oscar destinado al mejor actor.
Jack Nicholson fue también nominado para este mismo galardón por ‘Chinatown’ (1974), ‘Mi vida es mi vida’ (1970) y ‘El último deber’ (1973), y para ganar el Oscar destinado al mejor actor secundario por ‘Buscando mi destino’ (1969) y ‘Rojos’ (1981).
En 1996 le concedieron la Estrella en el Paseo de la fama.