Harry Langdon urodził się 15 czerwca 1884 roku w Council Bluffs w stanie Iowa jako syn Williama Langdona i Lavinia (z domu Jimeson) Langdon. Oboje rodzice byli związani z Armią Zbawienia, co miało wpływ na jego wczesne wychowanie i surową atmosferę domową. Nie odebrał formalnego wykształcenia wyższego — od najmłodszych lat występował na scenie, zdobywając doświadczenie w trupach objazdowych i wodewilu.
Zanim osiągnął sławę filmową, był także utalentowanym rysownikiem i ilustratorem reklamowym. Jego sceniczna persona wykształciła się w świecie vaudeville’u i opierała się na wizerunku naiwnego, zagubionego „wiecznego dziecka” o niewinnej twarzy i spowolnionych reakcjach. Ten styl — określany później jako „the slowest comic in the world” — stał się jego znakiem rozpoznawczym.
Do kina niemego trafił na początku lat 20., współpracując m.in. z wytwórnią Mack Sennett Studios. Szybko wyrósł na jedną z największych gwiazd komedii slapstickowej drugiej połowy dekady. Ogromny sukces przyniosły mu filmy „The Strong Man” oraz „Long Pants”. W tym okresie współpracował z młodym Frankiem Caprą, którego sam zatrudnił jako reżysera. Rozstanie z Caprą — do którego doszło, gdy Langdon zapragnął pełnej kontroli artystycznej — bywa uznawane za jeden z najbardziej brzemiennych w skutki momentów w historii kina niemego: Capra stał się później jednym z najwybitniejszych reżyserów Hollywood, natomiast kariera Langdona zaczęła słabnąć.
Przejście do kina dźwiękowego okazało się dla niego trudne. Jego komizm opierał się na ciszy, pauzie i subtelnej mimice, które traciły siłę w epoce dialogów. W latach 30. występował głównie w krótkich metrażach i rolach drugoplanowych. W 1939 roku pojawił się w filmie „Zenobia” u boku Oliver Hardya, zastępując czasowo Stana Laurela w okresie problemów kontraktowych duetu Laurel i Hardy. Langdon pisał również gagi do niektórych późniejszych filmów tej słynnej pary.
W życiu prywatnym był trzykrotnie żonaty. Jego pierwszą żoną była Rose Musolff (1903–1928). Drugą żoną była piosenkarka i aktorka Helen Kane (1929–1932). Trzecią żoną została Mabel Sheldon (1934–1944), z którą pozostał aż do śmierci. Z tego małżeństwa urodził się jego jedyny syn, Harry Langdon Jr. (ur. 1934), który w dorosłym życiu został cenionym fotografem gwiazd Hollywood.
Harry Langdon zmarł 22 grudnia 1944 roku w Los Angeles w Kalifornii na skutek krwotoku mózgowego. Został pochowany na cmentarzu Grand View Memorial Park w Glendale w Kalifornii. Choć jego gwiazda przygasła wraz z nadejściem kina dźwiękowego, pozostaje jednym z czterech wielkich komików epoki niemego filmu — twórcą unikalnej, melancholijnej odmiany slapsticku, której siłą była cisza, pauza i genialnie kontrolowane „spowolnienie”.