In Kiew aufgewachsen, studierte Grabar byzantinische Kunstgeschichte unter N. P. Kondakow und D. V. Ainalow in St. Petersburg. 1920 emigrierte er und ließ sich, nach einer Zwischenzeit in Bulgarien, 1922 in Frankreich nieder. Bis 1937 lehrte er an der Universität Straßburg, danach bis 1966 in Paris an der Ecole Pratique des Hautes Études und am Collège de France. 1955 wurde er Mitglied der Académie des Inscriptions et Belles-Lettres (Institut de France).

Die byzantinische Kunst war zeitlebens zentraler Gegenstand seiner Forschung. Er behandelte sie in einem sehr breiten zeitlichen und geographischen Rahmen, vor allem mit Hinsicht auf ihre antiken und frühchristlichen Wurzeln, ihre orientalischen und islamischen Beziehungen sowie ihre Wirkung im slawischen Bereich und im frühmittelalterlichen Westen. Das Kunstobjekt war für ihn in erster Linie Zeugnis gesellschaftlicher, religiöser und politischer Verhältnisse und Ideen. 

Er förderte ein neues Verständnis großer Komplexe von Denkmälern, die er systematisch in ihrer Beziehung zu zentralen Themen und Lebensbereichen (Kaisertum, Heiligen- und Reliquienkult) untersuchte. Äußerst produktiv als Autor und Lehrer sowie als Gründer und Herausgeber der Zeitschrift "Cahiers Archéologiques", hatte er in ganz Europa, und auch in den Vereinigten Staaten, großen Einfluß auf das Studium der spätantiken, byzantinischen und frühmittelalterlichen Kunst.