Autodidacte, s’inicià a la guitarra als divuit anys. Durant la primera joventut tocà en bandes locals i formà un grup amb els seus germans. El 1948 entrà a l’orquestra de Lionel Hampton, en la qual romangué dos anys. A continuació, durant un llarg període de temps, treballà en diversos clubs d’Indianapolis. El 1959 es donà finalment a conèixer quan signà un contracte amb la discogràfica Riverside i enregistrà, entre altres, l’àlbum The Incredible Jazz Guitar of Wes Montgomery.
Posteriorment, actuà sobretot com a líder de petits grups i feu alguns concerts amb el grup de John Coltrane.
Fou influït pel guitarrista Charlie Christian. Montgomery, dotat d’un gran sentit del swing, posseïa una tècnica original, basada en l’atac de les cordes amb el polze. Montgomery polsava les cordes amb el dit polze en lloc de fer-ho amb un plectre i d’aquesta manera aconseguia un atac únic. A més, aquest mètode li oferia la possibilitat de fer octaves i executar passatges amb acords. Fou el guitarrista més influent des de Charlie Christian i un dels millors improvisadors de jazz per la seva capacitat de crear melodies i interpretar-les amb una gran expressivitat.
Actuà molt sovint amb el pianista Wynton Kelly i feu una sèrie d’àlbums amb força repertori pop amb acompanyaments orquestrals. En els darrers anys de la seva vida, la seva carrera adoptà una direcció més comercial. Morí d’un atac de cor en el punt àlgid de la seva carrera.