Die Grundlegung seiner humanistischen Bildung verdankt Panofsky dem Joachimsthaler Gymnasium in Berlin, seiner kunstgeschichtlichen dem Studium bei Wilhelm Vöge und Adolph Goldschmidt. 1914 promovierte er in Freiburg mit einer Dissertation über Dürers Kunsttheorie. 1921 wurde er in Hamburg Privatdozent und 1927 ordentlicher Professor. Hier kam er in Berührung mit Ernst Cassirer und in engste Verbindung mit Aby Warburg. 

Die Spannweite seiner damaligen Forschungsarbeit zeigte sich im nächsten Jahr mit der fast gleichzeitigen Veröffentlichung eines Buches über die deutsche Plastik des elften bis dreizehnten Jahrhunderts sowie eines Beitrags zur Begriffsgeschichte der älteren Kunsttheorie. In weiteren Arbeiten wurde er zum Begründer der Ikonologie. 

Ab 1931 teilte er seine Lehrtätigkeit zwischen Hamburg und New York und ging 1933, als ihm als Juden die Professur in Hamburg entzogen wurde, ganz in die USA. Nach der Gründung des Institute for Advanced Study in Princeton im Jahr 1935 erhielt er dort eine Forschungsprofessur, die er bis zu seiner Pensionierung im Jahre 1962 innehatte.

Zu seinem reichen Lebenswerk mit 180 Titeln zählen viele Bücher, die aus Vortragsreihen entstanden sind, wie z. B. seine grundlegenden "Studies in Iconology" (1939) oder seine Monographie über Dürer (1943) und wichtige Veröffentlichungen zur mittelalterlichen Architektur, zu Michelangelo, Correggio und Poussin. 

Umfassendes Wissen, kritischer Scharfsinn, die Originalität seiner Fragestellungen und nicht zuletzt auch ein sprühender Witz sicherten Erwin Panofsky eine Sonderstellung weit über die Grenzen seines eigentlichen Fachs hinaus.