Després de graduar-se en enginyeria per la Universitat de Texas (1975), s’incorporà a la multinacional petroliera Exxon Mobil Corporation, en la qual, a mitjan anys noranta, ocupà càrrecs executius en el departament de gas natural. Del 2006 al 2016 fou conseller delegat del grup.
Designat secretari d’estat pel president Donald Trump, la seva candidatura tingué dificultats per imposar-se al Senat a causa del seu passat com a alt executiu i màxim dirigent d’Exxon: hom li retreia la seva defensa dels combustibles fòssils —en principi, contrària a les directrius per a contrarestar el canvi climàtic (tot i que un cop en el càrrec fou l’únic membre del govern a reconèixer-ne obertament l’existència)—; la seva posició respecte a la Rússia del president Vladimir Putin, considerada tèbia per l’estreta col·laboració d’Exxon amb l’empresa estatal Rosnet en projectes energètics, des del 2011 (Tillerson rebé el 2013 l’Orde de l’Amistat del Kremlin), i, sobretot, des de la queixa que formulà el 2014 contra les sancions a Rússia per l’annexió de Crimea. Tillerson fou rebutjat pels republicans més conservadors per les seves posicions envers l’homosexualitat, la planificació familiar i la integració racial. Prengué possessió del càrrec de secretari d’estat l’1 de febrer de 2017. El 13 de març de 2018 fou substituït en el càrrec per Mike Pompeo, El president Trump cità desavinences diverses per justificar la mesura, entre les quals la retirada unilateral dels Estats Units del tractat nuclear amb l’Iran del 2015.