In der von alter Juristen- und Beamtenkultur stark geprägten schwedischen Provinzstadt Jönköping geboren, wo er auch das Gymnasium besuchte, reiste der zwanzigjährige Bernhard Karlgren 1910, als Uppsalaer Student, nach China, wo er - schon auf dem Gymnasium durch selbständige, sogar veröffentlichte sprachwissenschaftliche Studien vorbereitet - Untersuchungen über nordchinesische Dialekte durchführte. Nach Uppsala zurückgekommen, promovierte er 1915 und habilitierte sich in demselben Jahr. Schon 1918 wurde er zu einem neueingerichteten Lehrstuhl in ostasiatischer Sprachwissenschaft und Kultur in Göteborg berufen, wo er bis 1939 blieb, 1931-1936 als Rektor der Universität (damals Hochschule) Göteborg. 1939 wurde er nach Stockholm als Direktor der ostasiatischen Sammlungen berufen, wo er bis zu seiner Emeritierung tätig blieb. 

Schon Karlgrens Habilitationsschrift "Etudes sur la phonologie chinoise" (1-4, 1915-1926) stellte eine epochemachende Leistung dar. Durch seine phonetischen Untersuchungen machte Karlgren das Studium älterer, bisher nicht zugänglicher Entwicklungsstufen der chinesischen Sprache möglich. Seine überreiche Produktion umfaßte auch geschichtliche, archäologische und religionswissenschaftliche Arbeiten. Er war ein hoch geschätzter Vorleser und Verfasser von populärwissenschaftlichen Schriften. Anonym gab er sogar einige Unterhaltungsromane mit Themen aus der zeitgenössischen Gelehrtenwelt heraus.