W wieku 17 lat opuścił rodzinne Akron i przyjechał do Nowego Jorku. Początkowo chciał zostać pisarzem, więc studiował literaturę na Uniwersytecie Columbia (od 1971 roku). Pod koniec studiów na rok wyjechał do Paryża, gdzie najwięcej czasu spędzał w Cinematheque Francaise. Po powrocie do Stanów podjął studia w Institute Film and TV na Uniwersytecie Nowojorskim. W tym okresie poznał środowisko nowojorskich awangardowych filmowców i muzyków, m. in. Patti Smith, Eric Mitchell, Bette Gordon oraz David Byrne z Talking Heads. Rektor nowojorskiej szkoły filmowej, Laslo Benedek, poznał go z Nicholasem Rayem. W latach 1976-79 Jarmusch był asystentem Raya. Współpracował również z Wimem Wendersem nad jego filmem "Nick’s Film: Lighting Over Water" (Film Nicka: Błyskawica ponad wodą, 1979/80), dziełem o akcie umierania twórcy "Buntownika bez powodu". Rayowi zadedykował Jarmusch swój dyplomowy film "Nieustające wakacje" (1980). W 1982 roku dzięki pomocy Wendersa zrealizował "Inaczej niż w raju". Dzięki Wendersowi rozpoczął również współpracę z producentem swoich następnych filmów Otto Grokenbergerem i operatorem Robbym Müllerem.