Bereits mit 15 Jahren Vizekonzertmeister im Gewandhausorchester in Leipzig, mit 16 Jahren Lehrer am Leipziger Konservatorium. 1849 Konzertmeister in Weimar, 1853 in Hannover. Ab 1868 Professor und Direktor der Hochschule für Musik in Berlin. 1869 Gründung der Joachim-Quartett-Vereinigung sowie Berufung in den Senat der Akademie der Künste, später auch deren Vizepräsident. Vorsitzender des Vereins Beethovenhaus Bonn.

Große Verdienste hat sich Joachim in seiner Tätigkeit als Leiter der Berliner Hochschule erworben. Als Solist sowie auch besonders als Leiter seines Quartetts machte er Epoche in der Geschichte der Interpretation von Kammermusik insbesondere Beethovens und Brahms. Er war Ehrendoktor der Universitäten Cambridge, Glasgow, Oxford und Göttingen.