de Goeje studierte erst Theologie, dann aber, weil er zum Predigeramt keine Neigung verspürte, Altertumswissenschaften. Sein Lehrer T. W. J. Juynboll führte ihn in die arabische Sprache und Literatur ein. Seit 1866 lehrte er an der Universität zu Leiden.

de Goeje hat Hervorragendes in der Herausgabe arabischer Texte geleistet, vor allem verdankt man ihm bedeutende Leistungen auf dem Gebiet der arabischen Geographie. Sein achtbändiges Werk "Bibliotheca Geographorum Arabicorum" gilt mit Recht noch heute als grundlegend, ebenso de Goeje's Ausgabe der Annalen des Tabari, Akhbar al-Rusul w-al-Muluk, in fünfzehn Bänden.