Karl Ludwig Diehl, geboren am 14. August 1896 als Sohn eines Ökonomie-Professors in Halle, geht in Königsberg und Freiburg aufs humanistische Gymnasium, nimmt nebenbei Schauspielunterricht. Bei Beginn des Ersten Weltkrieges wird er als Soldat eingezogen, ist bei Kriegsende Leutnant. Ab 1919 besucht er die Schauspielschule des Deutschen Theaters in Berlin, erhält danach Engagements in Wiesbaden und München. In München erste Filmrollen neben Claire Lotto und Albert Steinrück. 1929 kehrt Diehl zurück nach Berlin, arbeitet zunächst ausschließlich für den Film. Seine erste Hauptrolle in seinem letzten Stummfilm "Masken" macht ihn bekannt: Er spielt den in den 1910er Jahren von Ernst Reicher verkörperten Gentleman-Detektiv Stuart Webbs.

In der beginnenden Tonfilmzeit wird Diehl einer der beliebtesten deutschen Filmdarsteller. Sein Rollentyp ist der Gentleman und Kavalier. Oft spielt er Gutsherren, Ärzte, Offiziere, Diplomaten, auch Liebhaber und Ehemänner. 1929 tritt er neben Lilian Harvey und Willy Fritsch als Lord Chamberlain in der deutschen und englischen Sprachversion von "Liebeswalzer" auf. 1938 besetzt ihn Gustaf Gründgens als Baron von Instetten in der "Effi Briest"-Verfilmung "Der Schritt vom Wege". Im Herbst 1939 wird Diehl kurzzeitig eingezogen. Im selben Jahr wird er von Goebbels zum Staatsschauspieler ernannt, spielt unter anderem in dem antibritischen Propagandafilm "Der Fuchs von Glenarvon".

Nach Kriegsende spielt Diehl Theater in Konstanz, Göttingen und München, unter anderem den liebenswerten Trinker in Mary Chaces "Mein Freund Harvey". Im deutschen Nachkriegsfilm taucht er gelegentlich in Nebenrollen auf, so als englischer Ministerpräsident neben Romy Schneiders Victoria in "Mädchenjahre einer Königin". In "Es geschah am 20. Juli" besetzt G. W. Pabst Diehl als Hitler-Attentäter Generaloberst Beck. Karl Ludwig Diehl stirbt am 8. März 1958 auf seinem Gut Berghof bei Penzberg (Oberbayern).