Walter Rilla wurde am 22. August 1894 in Neunkirchen/Saar geboren. Er war der ältere Bruder des renommierten Journalisten und Literaturwissenschaftlers Paul Rilla (1896-1954). Walter Rilla studierte Literatur, Kunstgeschichte und Philosophie in Breslau, Lausanne und Berlin. Im Jahr 1919 gründete er in Berlin die Literaturzeitschrift "Erde"; zu dieser Zeit war er zeitweise politisch aktiv, zunächst für die KPD, dann für deren Abspaltung KAPD.

Ab 1920 war er als Dramaturg für diverse Berliner Bühnen tätig, wenig später begann er als Theaterschauspieler zu arbeiten. Sein Kinodebüt gab er als Todesengel in Urban Gads Klassiker "Hanneles Himmelfahrt" (1922). Durch prägnante Nebenrollen in Filmen wie F. W. Murnaus "Die Finanzen des Großherzogs" (1924) und Paul Czinners "Der Geiger von Florenz" (1926) avancierte er bald zu einem gefragten Charakterdarsteller, auch in Hauptrollen. Zu seinen wichtigsten Filmen bis 1933 gehören der Historienfilm "Hoheit tanzt Walzer" (1926), das Lustspiel "Prinzessin Olala" (1928) mit Marlene Dietrich, das justizkritische Gesellschaftsdrama "§173 St.G.B. Blutschande" (1929) und das Liebesdrama "Leichtsinnige Jugend" (1931).

Nach der Machtübernahme der Nazis wirkte Rilla, der mit der Jüdin Theresa Klausner verheiratet war, nur noch in wenigen deutschen Produktionen mit, darunter Carl Behrs "Der Jäger aus Kurpfalz" (1933) und Heinz Hilperts zeitgenössische Adaption von Oscar Wildes "Lady Windermeres Fächer" (1935). Stattdessen drehte er in Österreich die musikalische Komödie "Abenteuer am Lido" (1933, Regie: Richard Oswald) und übernahm 1934 in der britischen Produktion "The Scarlet Pimpernel" ("Die scharlachrote Blume") eine Nebenrolle als Bruder der Hauptfigur.

1935 emigrierte Rilla mit seiner Familie endgültig nach Großbritannien; 1940 nahm er die britische Staatsbürgerschaft an. Seine Frau starb 1948 im Exil. In England wirkte Rilla als Nebendarsteller in zahlreichen Kinoproduktionen mit, häufig als Adeliger oder ranghoher Militär. So etwa als Prinz Ernst in "Victoria the Great" ("Königin Viktoria", 1937) und der Fortsetzung "Sixty Glorious Years" (1938), oder als französischer Kommandant in dem Abenteuerfilm "Hell's Cargo" (1939) – um nur ein paar Beispiele zu nennen. Ähnlich wie Conrad Veidt und Peter van Eyck musste er im Exil häufig Schurkenrollen übernehmen, sei es als Nazi in "The Adventures of Tartu" (1943) und "Lisbon Story" (1946), als Gangster in "Golden Salamander" ("Der goldene Salamander", 1950) oder als osteuropäischer Potentat in dem Spionagethriller "State Secret" ("Staatsgeheimnis", 1950). Mit dem Drama "Behold the Man!" (1951) gab Rilla in England auch sein Regiedebüt.

1956 kehrte Walter Rilla nach Deutschland zurück; sein Sohn Wolf (1920-2005) blieb in England und machte als Filmregisseur Karriere. In Deutschland bekam Rilla seine erste Rolle von Kurt Hoffmann: als Lord Kilmarnock in "Bekenntnisse des Hochstaplers Felix Krull" (1957). Bis 1977 wirkte er noch in 30 weiteren Kinoproduktionen mit, meist in größeren und kleineren Nebenrollen. Zu nennen ist hier vor allem der diabolische Prof. Pohland/Dr. Mabuse in "Das Testament des Dr. Mabuse" (1962), "Scotland Yard jagt Dr. Mabuse" (1962) und "Die Todesstrahlen des Dr. Mabuse" (DE/FR/IT 1964). Weitere wichtige Filme waren die Edgar-Wallace-Adaptionen "Der Fälscher von London" (1961) und "Zimmer 13" (1964), der Abenteuerfilm "Ich, Dr. Fu Man Chu" (GB/DE 1965), der Italo-Western "Der Tod ritt dienstags" (IT/DE 1967) und Rudolf Thomes Münchner Krimi "Detektive" (1968). 1966 erhielt Walter Rilla beim Deutschen Filmpreis den Ehrenpreis für "Langjähriges und hervorragendes Wirken im deutschen Film". Seine vorerst letzten Kinorollen hatte er in Jess Francos eigenwilliger Edgar-Wallace-Adaption "Der Teufel kam aus Akasawa" (DE/ES 1971) und dem Gruselfilm "Malpertuis - Geisterschloß des Todes" (FR/BE/DE 1972), an der Seite von Orson Welles.

Neben seinen Kinoarbeiten stand Rilla auch für zahlreiche Fernsehproduktionen vor der Kamera. Die Bandbreite reichte dabei von Justizdramen wie "Die zwölf Geschworenen" (1963) bis zu Literaturverfilmungen wie "Die Reisegesellschaft" (1968) nach Guy de Maupassant. Zwischen 1959 und 1969 führte er bei einigen Fernsehspielen auch Regie. Seine letzte Kinorolle war ein kleiner Part in "Unordnung und frühes Leid" (1977) in der Regie von Franz Seitz. Ansonsten wirkte er in den siebziger Jahren fast nur noch in Fernsehproduktionen mit. Am 21. November 1980 starb Walter Rilla in Rosenheim.