Nach vierjähriger Buchhändlerlehre ab 1896 an der Karlsruher Akademie Schüler von Hans Thoma und Leopold Graf v. Kalckreuth, dem er 1902 nach Stuttgart folgt. Daneben Einflüsse von Böcklin und Marées. In Paris (1899-1901) findet er in Cezannes Werken sein Vorbild. 

Aufenthalte in Rom (1903-08) und wieder in Paris (1908-13), unterbrochen von 2 Reisen nach Indien und an die Malabar-Küste (1909 und 1911), prägen seine Eigenart. 1913 und — nach Internierung in Frankreich während des 1. Weltkrieges — ab 1919 in Berlin. In der nationalsozialistischen Zeit wird er als Professor an der Berliner Akademie 1933 mit Arbeits- und Ausstellungsverbot entlassen, seine Bilder werden als "entartet" vernichtet oder verschleppt und — von ihm neugemalt — 1943 in seinem Atelier kriegszerstört. Er wiederholt die Bilder aus dem Gedächtnis, gründet die Berliner Hochschule für Bildende Künste neu und wird 1947 ihr Präsident.

Hofer, einer der Hauptmeister des deutschen Expressionismus, verbindet in seinen fast architektonisch komponierten Bildwerken klassische Monumentalität mit einer sehr persönlichen, verhaltenen und strengen Farbgebung. Neben seine Landschaften und weiblichen Halbakte tritt später das symbolische Bild (z. B. "Harlekin", "Gefangene" (1933), "Schwarzes Zimmer" (1942), "Alarm" (1945)) als Dokument kritischer Distanz zur Zeit.