Heinrich Wilhelm Rühmann wurde am 7. März 1902 in Essen geboren und wuchs ab 1916 in München auf. Das Gymnasium brach er noch vor dem Abitur ab, um seine Schauspielkarriere zu verfolgen. Er nahm Schauspielunterricht, unter anderem bei dem angesehenen Hoftheaterschauspieler Friedrich Basil und erhielt 1920 ein erstes Engagement in Breslau am Lobe- und Thalia-Theater. Der erhoffte Erfolg blieb jedoch aus, da man den klein gewachsenen, jungenhaft wirkenden Rühmann vor allem in sehr männlich ausgelegten Rollen (fehl-)besetzte. Zwischen 1921 und 1925 stand er mit größerem Erfolg an Theatern in Hannover, Bremen und München auf der Bühne. Von 1927 bis 1935 pendelte er zwischen dem Deutschen Theater Berlin und den Münchner Kammerspielen; 1938 bis 1943 spielte er am Preußischen Staatstheater Berlin. 1940 wurde er zum Staatsschauspieler ernannt.

Sein Debüt als Filmschauspieler gab Heinz Rühmann 1926 in Geza von Bolvarys "Das deutsche Mutterherz" als missratener Sohn einer gutherzigen Witwe. Der große Durchbruch gelang ihm 1930 in Wilhelm Thieles erfolgreicher Tonfilm-Operette "Die Drei von der Tankstelle" an der Seite von Lilian Harvey und Willy Fritsch. Im weiteren Verlauf der 1930er Jahre avancierte er mit Filmen wie "Heimkehr ins Glück" (1933), "Wenn wir alle Engel wären" (1936) oder "Die Umwege des schönen Karl" (1937) zu einem der beliebtesten Filmschauspieler Deutschlands. Mehrfach besetzte man ihn auch als zurückhaltend-gewitzten Partner des draufgängerischen Hans Albers, so etwa in "Bomben auf Monte Carlo" (1931) und dem Klassiker "Der Mann, der Sherlock Holmes war" (1937). In seinen zumeist komödiantischen Rollen wurde er zur Inkarnation des schüchternen, zugleich lausbübischen kleinen Mannes, der durch Pfiffigkeit, kleine Schwindeleien und Frechheiten Erfolg hat – der sich aber auch in sein Geschick fügt und nur selten wirklich aufbegehrt.

1938 gab Rühmann mit der Komödie "Lauter Lügen" sein Regiedebüt. Die weibliche Hauptrolle spielte Hertha Feiler, die er im Jahr darauf in zweiter Ehe heiratete. Von seiner ersten Ehefrau jüdischer Herkunft hatte er sich 1938 getrennt. Wenngleich nicht belegt ist, dass die jüdische Herkunft der Frau ausschlaggebend für die Scheidung war, brachte ihm dies nach dem Ende des "Dritten Reichs" immer wieder den Vorwurf ein, im Nazi-Regime ein politischer Opportunist gewesen zu sein.

Für seine Hauptrolle in Wolfgang Liebeneiners "Der Mustergatte" wurde er beim Venedig Filmfestival 1938 mit dem Darstellerpreis geehrt. Ebenfalls ab 1938 produzierte Rühmann als Herstellungsgruppenleiter bei der Terra Film neben eigenen Projekten auch die ersten Filme des Regisseurs Kurt Hoffmann, mit dem er eine Reihe großer Schauspielerfolge feierte, darunter "Quax, der Bruchpilot" (1941) und "Ich vertraue Dir meine Frau an" (1943). Kurz vor Kriegsende erlebte er mit dem Unterhaltungsfilm "Die Feuerzangenbowle" (1944) einen der größten Erfolge seiner Karriere. Zunächst wurde die Erstaufführung von der nationalsozialistischen Filmzensur wegen "Respektlosigkeit gegen Autoritäten" verboten. Doch auf Grund seiner guten Beziehungen in die höchsten Führungskreise des Regimes konnte Rühmann durchsetzen, dass der Film in die Kinos kam.

Auch nach Kriegsende blieb Rühmanns Popularität ungebrochen. Mit einer eigenen Inszenierung des Boulevardstücks "Der Mustergatte" ging er auf Bühnentournee durch die "sowjetisch besetzte Zone", 1947 gefolgt von Aufführungen in München und Berlin. Im gleichen Jahr gründete er mit Alf Teichs die Produktionsfirma Comedia. Trotz mancher Erfolge – so wurde "Berliner Ballade" 1949 in Venedig mit einem Sonderpreis für die "geistvolle Darstellung der deutschen Nachkriegsverhältnisse" ausgezeichnet - muss die Firma 1952 Konkurs anmelden.

Parallel zu dieser Entwicklung sah man Rühmann in den fünfziger Jahren immer häufiger in ernsteren Rollen. Die Unbekümmertheit seiner früheren Charaktere wich der Tragikomik. Am Publikumserfolg änderte diese Hinwendung zu väterlichen und Charakterrollen auf der Bühne wie im Film nichts. 1957 erhielt er den Bundesfilmpreis als Bester Hauptdarsteller für seine Leistung in Helmut Käutners "Der Hauptmann von Köpenick", 1959 gefolgt vom Ernst-Lubitsch-Preis. Für seine Rolle in dem Krimi "Das schwarze Schaf" wurde er 1961 erneut mit dem Filmband in Gold als Bester Hauptdarsteller sowie mit dem Preis der deutschen Filmkritik ausgezeichnet. Zwischen 1962 und 1973 erhielt er zehn Mal den "Bambi", 1966 das Große Bundesverdienstkreuz.

Weitere Kinoerfolge der fünfziger und sechziger Jahre waren unter anderem die Verwechslungskomödie "Charley"s Tante" (1956), die hoch gelobte Dürrenmatt-Adaption "Es geschah am helllichten Tag" (1958), die Hasek-Verfilmung "Der brave Soldat Schwejk" (1960) und die satirische Komödie "Grieche sucht Griechin" (1966), ebenfalls nach einer Vorlage von Dürrenmatt. Nach "Die Ente klingelt um halb acht", einer Gesellschaftssatire in der Tradition von Jacques Tati, wendete Rühmann sich mit ungebrochener Beliebtheit vorwiegend der Fernseharbeit zu. So spielte er die Hauptrolle in der Verfilmung des Bühnenstücks "Der Pfandleiher" (1971) oder an der Seite von Peter Ustinov in "Kein Abend wie jeder andere" (1976). Als einer von wenigen erhielt Rühmann 1977 erneut ein Großes Bundesverdienstkreuz, als Steigerung diesmal "mit Schulterband". Auch sonst wurden ihm zahlreiche Publikums- und Kritikerpreise sowie staatliche Orden und Ehrenzeichen zuteil. 1978 erschien das Buch "Heinz Rühmann erzählt vom Geschenk der Weisen und andren Begebenheiten".

Anfang der achtziger Jahre zog Rühmann sich von der Schauspielerei zurück. 1982 veröffentlichte er seine Memoiren unter dem Titel "Das war"s", 1987 die Bildbiografie "Ein Leben in Bildern". Ein letztes Mal holte ihn 1993 Wim Wenders vor die Kamera, für eine kleine Rolle in seinem Film "In weiter Ferne so nah". Seinen letzten öffentlichen Auftritt hatte er im Januar 1994 in der Fernsehshow "Wetten, dass...?".

Am 3. Oktober des selben Jahres starb Heinz Rühmann in seinem Wahlheimatort, dem bayerischen Aufkirchen.