John Wray urodził się 13 lutego 1887 roku w Bangor w stanie Pensylwania jako John Griffith Malloy. Nazwisko „Wray” było jego pseudonimem artystycznym. Informacje o jego wczesnej edukacji są skąpe, jednak wiadomo, że zanim związał się z filmem, pracował w teatrze jako aktor i dramatopisarz. Pisał również sztuki wystawiane na Broadwayu, co świadczy o jego literackich ambicjach jeszcze przed rozpoczęciem kariery w Hollywood.
Na scenie zdobył reputację aktora o ogromnej ekspresji i zdolności do głębokiej transformacji. W epoce kina niemego stopniowo przeniósł się do filmu, a jego kariera nabrała tempa wraz z nadejściem kina dźwiękowego. Był określany mianem „aktora tysiąca twarzy” — dzięki umiejętnościom charakteryzatorskim potrafił grać zarówno brutalnych żołnierzy i przestępców, jak i ludzi złamanych przez życie czy prowincjonalnych urzędników.
Najbardziej znaną rolą w jego dorobku pozostaje postać okrutnego kaprala Himmelstossa w „All Quiet on the Western Front”. Kreacja ta była tak sugestywna i przekonująca, że aktor otrzymywał listy z pogróżkami od widzów utożsamiających go z filmowym tyranem. Rola ta na trwałe wpisała go w historię kina jako jednego z najbardziej znienawidzonych ekranowych antagonistów początku lat 30.
Współpracował z czołowymi twórcami epoki, w tym z Frankiem Caprą, występując m.in. w „Mr. Deeds Goes to Town”, gdzie zagrał farmera z pistoletem w jednej z najbardziej przejmujących scen filmu. W drugiej połowie lat 30. był niezwykle zapracowany — w samym 1939 roku pojawił się w aż jedenastu produkcjach, co świadczy o jego dużej pozycji jako aktora charakterystycznego.
W życiu prywatnym był żonaty z Rathą Mitchell. Informacje o potomstwie nie są jednoznacznie potwierdzone w dostępnych źródłach.
John Wray zmarł 5 kwietnia 1940 roku w Los Angeles w Kalifornii w wieku zaledwie 53 lat. Przyczyną śmierci była choroba serca. Został pochowany na Calvary Cemetery w Los Angeles. Pozostaje w historii kina jako jeden z najbardziej intensywnych aktorów charakterystycznych wczesnego Hollywood — artysta o niezwykłej zdolności transformacji, którego role często wywoływały silne emocje wśród widzów.