Urodził się w Nowym Jorku. Jego matką jest brytyjka Linda Witkowski (nauczycielka) a ojcem amerykanin Michael O'Connell (dyrektor artystyczny w agencji reklamowej). Dorastał na Manhattanie z młodszym bratem, Charlie O'Connellem, który jest aktorem i modelem. Jerry rozpoczął karierę aktorską w bardzo młodym wieku. Występował w reklamach długo przed tym gdy otrzymał pierwszą rolę w "Stand by Me" (1986). Potem zagrał w kilku mniej znanych filmach telewizyjnych i serialach aż otrzymał rolę w "My Secret Identity" (1988). Od 1991 do 1994, uczęszczał na Uniwersytet New York ale go nie ukończył. W 1993 wystąpił w filmie "Calendar Girl" (1993) u boku Jasona Priestleya. W 1995 pojawił się w westernie "The Ranger" a także wcielił się w rolę w "Cook and a Hole in the Sky" (1995) (TV). Rok później otrzymał rolę w filmie "Jerry Maguire" (1996) u boku Toma Cruise'a. Przez następnych kilka lat wystąpił w "Scream 2" (1997) w "Can't Hardly Wait" (1998), w serialu "Sliders" (1995) i w filmie "Body Shots" (1999) u boku Seana Patricka Flanery'ego i Tary Reid. W latach 1998-1999 spotykał się z aktorką Sarah Michelle Gellar. W 2000 pojawił się w filmie Briana De Palmy "Mission to Mars". Przez następne 6 lat można go było zobaczyć w: "Tomcats" (2001), "Buying the Cow" (2002), "Kangaroo Jack" (2003), "Yours, Mine and Ours" (2005), "Man About Town" (2006) i "Room 6" (2006). Ożenił się z aktorką i modelką Rebeccą Romijn 14 lipca 2007 roku i z tego związku urodziły się bliźnięta zimą 2008 roku.