Nach der Lehre bei Valentin und bei Christian Ruhl in Kassel wurde Rauch 1797 Kammerlakai der Königin Luise in Berlin und Potsdam. Dort bildete er sein Talent als Bildhauer selbständig weiter. 1805 bis 1811 Italien-Aufenthalt mit Beziehungen zu Canova, Thorvaldsen und Wilhelm von Humboldt. 

1810 Auftrag für den Sarkophag der Königin Luise im Mausoleum des Schloßparks Charlottenburg, deshalb Rückkehr nach Berlin. 1812-1815 und 1816-1818 wieder in Italien, wo Rauch in Carrara arbeitet. Zwischendurch schafft er Porträtbüsten und die 3 Standbilder von Blücher, Yorck und Scharnhorst gegenüber dem Berliner Zeughaus. 1820 Besuch bei Goethe, mit dem er in enger Verbindung bleibt. Ludwig I. von Bayern beauftragt Rauch mit Marmorwerken für die Walhalla und mit dem Bronze-Denkmal für Max Josef vor der Residenz in München. 1846 Sarkophag für Friedrich Wilhelm III. im Mausoleum Charlottenburg, 1851 Reiterdenkmal Friedrichs des Großen in Berlin Unter den Linden.

Als Meister des Spätklassizismus und Mitbegründer der Berliner Bildhauerschule hat Rauch namhafte Schüler wie Rietschel und Drake — beide Mitglieder des Ordens. Sein reiches Lebenswerk, das für die Epoche von den Befreiungskriegen bis 1848 und deren große Gestalten kennzeichnend bleibt, ist im Rauch-Museum in Berlin anschaulich gemacht.