Ed Harris wurde am 28. November 1950 in Englewood, New Jersey, geboren und wuchs in Tenaflay auf. Nachdem er zunächst ein Studium an der Columbia University begann, entschied er sich schließlich doch fürs Schauspiel und ging nach Los Angeles um dort am California Institute of the Arts zu studieren.
Zunächst spielte Ed Harris am Theater und trat in einigen Gastrollen im Fernsehen auf, bis er schließlich an der Seite von Charles Bronson in Der Grenzwolf (1980) eine erste gewichtigere Rolle erhielt. In George A. Romeros Knightriders – Ritter auf heißen Öfen (1981) war Ed Harris in seiner ersten Hauptrolle zu sehen.
Mit seiner Darstellung des Astronauten John Glenn in dem Film Der Stoff, aus dem die Helden sind erntete Ed Harris großes Lob und etablierte sich damit als großer Charakterdarsteller des amerikanischen Kinos. Zwölf Jahre später war er in dem thematisch ähnlichen Film Apollo 13 zu sehen, und wurde dafür für den Oscar nominiert.
Oscarnominierungen erhielt Ed Harris außerdem für seine Arbeiten in Die Truman Show (1999), The Hours – Von Ewigkeit zu Ewigkeit (2003) und Pollock (2001), in dem er nicht nur die Hauptrolle spielte, sondern auch zum ersten Mal Regie führte. Im Jahr 2008 stand Ed Harris erneut vor und hinter der Kamera und verfilmte sein zusammen mit Robert Knott verfasstes Buch zu dem Western Appaloosa.