Educado y graduado en la Universidad de Harvard, se dedicó a la novela y fundamentalmente al periodismo. En el mundo del periodismo, fue editor del Exeter Monthly y escribió artículos en Fortune y Times, siendo contratado como reportero en el primero. Trabajó ocho semanas en campos de trigo de Nebraska y Kansas, y con sus experiencias y las fotografías de Walker Evans publica Elogiemos ahora a hombres famosos. Quizás la novela Una muerte en la familia sea su obra más famosa, siendo representada en teatro y en cine; por ella, ganó el Premio Pulitzer, aunque a título póstumo.
Hizo incursiones en el mundo del cine como guionista, siendo reconocidos guiones como La reina de África que dirigió John Huston y La noche del cazador que dirigió Charles Laughton. Escribió también mucha crítica cinematográfica, que más tarde sería recopilada en Agee on film.
Hombre de personalidad compleja y variable, murió como consecuencia del alcohol.