Klemperers Laufbahn begann auf Empfehlung von Gustav Mahler 1907 in Prag als Kapellmeister am Deutschen Theater. 1910 kam er nach Hamburg. Nach Zwischenstationen in Barmen, Straßburg, Köln und Wiesbaden wurde er 1927 Leiter der Kroll-Oper in Berlin. Hier und auch später setzte er sich intensiv für die zeitgenössische Musik ein. 

1931 wurde die Kroll-Oper aufgelöst, Klemperer wechselte zur Staatsoper in Berlin über, mußte aber 1933 Deutschland verlassen. Er ging in die USA, leitete das Los Angeles Philharmonie Orchestra von 1933 bis 1940, wirkte aber gleichzeitig und auch später als Gastdirigent in verschiedenen Städten in den USA, in Lateinamerika und auch in Europa. 

1948 übernahm er die Leitung der Budapester Oper. Da er aber nicht bereit war, sich der kommunistischen Kulturpolitik zu beugen, beendete er nach drei Jahren diese Tätigkeit. Klemperers Wirken in Budapest bedeutete den Höhepunkt des Musiklebens in Ungarn nach dem zweiten Weltkrieg. Sowohl die Oper als die Konzertaktivitäten standen in voller Blüte, während das Land von den Sowjets politisch geknechtet wurde. 

Klemperer ging 1950 nach Zürich und betätigte sich von nun an als Gastdirigent in Europa, den USA und in Lateinamerika. Er wurde in den 50er Jahren Chefdirigent und Ehrenpräsident des New Philhamonia Orchestra in London, erhielt mehrere Ehrendoktorate und wurde Mitglied der Akademie der Künste in Berlin. 

Klemperers Bedeutung als Dirigent liegt in seiner Kompromißlosigkeit, gepaart mit höchster Professionalität. Durch die Konsequenz seiner künstlerischen und menschlichen Haltung wurde er zum Vorbild aller Musiker.