Friedrich Rudolf Klein-Rogge, geboren am 24. November 1885 (andere Quellen geben 1888 an) in Köln, besucht ein humanistisches Gymnasium in Köln, unterbrochen von einer dreijährigen Ausbildung in einem preußischen Kadettenkorps. Nach dem Abitur nimmt er ein Studium der Kunstgeschichte in Berlin und Bonn auf; parallel dazu nimmt er Schauspielunterricht bei Hans Siebert.

Sein Bühnendebüt gibt Rudolf Klein-Rogge 1909 am Stadttheater Halberstadt als Cassius in einer Inszenierung von Shakespeares "Julius Caesar". Nach Engagements in Aachen, Kiel und Düsseldorf geht er 1915 an die Städtischen Bühnen Nürnberg; neben seiner Schauspieltätigkeit wirkt er dort auch als Regisseur. Drei Jahre später wechselt Klein-Rogge ans Berliner Lessing-Theater, wo er in den folgenden Jahren in einer Reihe prägnanter Rollen, unter anderem als Bankdirektor in Georg Kaisers "Von morgens bis mitternachts" (1921) zu sehen ist.

Nachdem er bereits 1912 für den Zweiteiler "Der Film von der Königin Luise" erstmals vor der Kamera stand, nimmt Rogge ab 1919 immer häufiger auch Rollen in Kinofilmen an. Durch seine Ex-Frau Thea von Harbou lernt er Fritz Lang, Harbous neuen Lebensgefährten, kennen – der Beginn einer langjährigen Zusammenarbeit: Insgesamt zehn Mal steht er für Lang vor der Kamera. Lang nutzt Klein-Rogges gedrungene Gestalt, um ihn vor allem zwielichtige Figuren spielen zu lassen, so etwa den Derwisch und Girolamo in "Der müde Tod" (1921) oder die Titelrolle von "Dr. Mabuse, der Spieler" (1922) – eine Leistung, die bei der Kritik zwar nicht unumstritten ist, die Klein-Rogge jedoch den großen Leinwanddurchbruch beschert.

Auch als König Etzel in Langs "Die Nibelungen" (1922-24) oder als Rotwang in "Metropolis" (1926) bleibt Klein-Rogge dem Rollenbild des dämonisch-brutalen Drahtziehers treu, das er gleichwohl auch unter anderen Regisseuren erfüllt: In Arthur Robisons "Petro, der Korsar" (1925) verkörpert er den Piratenhauptmann Salvatore, einen zügellosen Machtmenschen, in Alexander Wolkoffs "Casanova" (1927) den russischen Zaren.

1928/29 wirkt Klein-Rogge mehrfach in französischen Produktionen mit, darunter Henri Chomettes "Le requin", einem der ersten bedeutenden französischen Tonfilme. Eine beeindruckende Tonfilm-Variation seines Stummfilm-Mabuse gibt er 1932 in "Das Testament des Dr. Mabuse", der zugleich seine letzte Zusammenarbeit mit Fritz Lang markiert. Auch sonst bleibt Klein-Rogge im Tonfilm der 1930er Jahre seinem angestammten Rollenfach treu. In "Elisabeth und der Narr" (1934) beispielsweise verkörpert er den debilen Michele, in der Hauptmann-Verfilmung "Hanneles Himmelfahrt" (1934) den skrupellosen Maurer Mattern (in beiden Filmen unter der Regie von Thea von Harbou). Ab Mitte der 1930er Jahre spielt Klein-Rogge vor allem Nebenrollen, etwa in Jannings-Filmen wie "Der alte und der junge König" (1935), "Der Herrscher" (1937) oder "Robert Koch, der Bekämpfer des Todes" (1939).

Neben seinen zahlreichen ernsten und finsteren Rollen macht Klein-Rogge gelegentliche Abstecher ins komische Fach, so etwa als Oberst Flumus in Detlef Siercks "Das Hofkonzert" (1936) oder als Stadtrat Müller in "Die göttliche Jette" (1937). Ebenfalls 1937 spielt Klein-Rogge den fanatischen Rationalisten Dr. Linder in der deutsch-schweizerischen Co-Produktion "Die Frau und der Tod" (Regie: Leo Lapaire), einem mystischen Kolonial-Melodram, das von den Nazis verboten wird.

Nach dem Ende des Zweiten Weltkriegs versucht Klein-Rogge, der seit 1942 in keinem Film mehr mitgewirkt hat, durch seinen alten Weggefährten Fritz Lang neue Film-Engagements zu bekommen. Als dieser Weg erfolglos bleibt, geht er nach Graz, Österreich, wo er bis Anfang der 1950er Jahre als Theaterregisseur arbeitet.

Am 29. Mai 1955 stirbt Rudolf Klein-Rogge, von der Öffentlichkeit weitgehend vergessen, in Graz an den Folgen eines Schlaganfalls. Er war zuletzt mit der schwedischen Schauspielerin Mary Johnson verheiratet.