Johannes Riemann wird am 31. Mai 1888 in Berlin geboren. Durch den frühen Tod des Vaters in bescheidenen Verhältnissen aufgewachsen, strebt er nach seiner Aufnahme in den Berliner Hof- und Domchor als Jugendlicher zunächst eine Karriere als Oratorien-Sänger an. Doch der Stimmbruch führt ihn auf den Rat eines Lehrers einer anderen Kunst zu: der Schauspielerei.

Riemann nimmt Unterricht bei Anna von Strantz-Führing und Alexander Strakosch und erhält 1908, mit 20 Jahren, sein erstes Engagement am Hebbel-Theater in Berlin. Im Folgenden spielt er auf Provinzbühnen in Teplitz, Meran und Marienbad, 1911 ist er an der Volksbühne Berlin, eine Spielzeit später geht er ans Hoftheater nach Weimar. 1916 schließlich holt ihn Max Reinhardt nach Berlin zurück und gibt ihm eine Stelle am Deutschen Theater.

Zur gleichen Zeit lernt Riemann die Schauspielerin Henny Porten kennen, die ihm nach einer Theateraufführung zu seiner ersten Filmrolle verhilft: an ihrer Seite in "Gelöste Ketten", der noch 1916 Premiere feiert. Bekannt wird Riemann dann 1919 durch "Veritas Vincit", einem aufwändigen Historienfilm in drei Episoden von Joe May, in dem er neben dessen Ehefrau Mia May agiert.

Von da an ist Riemann ein viel beschäftigter Schauspieler, der zwischen 1919 und 1926 vier bis zehn Filme pro Jahr dreht. Gerade Anfang der 1920er arbeitet er regelmäßig mit Regisseur Friedrich Zelnik zusammen. So steht er für ihn in "Anna Karenina" (1920) vor der Kamera. Aber auch in einzelnen Filmen von Lupu Pick, Carl Boese und Robert Wiene ist er zu sehen.

In der ersten Hälfte der 1930er beginnt Riemann sowohl als Drehbuchautor tätig zu werden als auch auf den Regiestuhl zu wechseln – ohne allerdings seine Schauspielkarriere deswegen aufzugeben. Sein Metier sind vor allem leichte Unterhaltungsfilme, etwa "Ich sehne mich nach dir" (1934), "Die große und die kleine Welt" (1935/36) und "Gauner im Frack" (1937).

Die Machtergreifung der Nationalsozialisten im Januar 1933 stellt für seine Karriere ebenso wenig ein Problem dar, wie zuvor der Wechsel zum Tonfilm. Tatsächlich bekundet Riemann sogar seine Sympathie für das Dritte Reich und wird im Gegenzug 1939 von Adolf Hitler zum Staatsschauspieler ernannt. Trotzdem nehmen die Rollenangebote um 1943 deutlich ab und Johannes Riemann wechselt wieder zum Theater.

Auch nach dem Ende des Zweiten Weltkriegs vermag er nicht mehr an frühere Erfolge anzuknüpfen, sondern ist als mittlerweile beinahe 70-Jähriger nur noch sehr vereinzelt auf der großen Leinwand zu sehen – etwa in Géza von Cziffras "Der schräge Otto" (1956) und dem Heimatfilm "Zwei Bayern im Harem" (1957).

Johannes Riemann stirbt am 20. September 1959 in Konstanz.