De formació autodidàctica, es traslladà a Nova York el 1930 i començà a actuar com a banjoista. El 1937, ja com a guitarrista, entrà en l’orquestra de Count Basie, on, amb molt poques interrupcions, romangué durant cinc dècades. Greene, sempre amb guitarra acústica, fou un guitarrista acompanyant. La pulsació característica i immediatament identificable de l’orquestra de Basie resultava del seu suau però incisiu acompanyament, sempre amb acords, un per cada temps del compàs. Contribuí al repertori de Basie amb algunes composicions, com Corner Pocket.