Doctorat en física per la Universitat de Rochester (1955), als Estats Units d’Amèrica. Fou professor adjunt de l’Institut d’Estudis Nuclears de la Universitat de Tòquio (1958-63), universitat de la qual fou professor associat (1963), professor (1970-87) i, des del 1987, professor emèrit del Centre Internacional de Física de les Partícules Elementals d’aquesta universitat. Fou també director del Laboratori de Física d’Altes Energies i Radiació Còsmica de la Universitat de Chicago, i professor a la Universitat de Tokai (1987-97).
Koshiba i el seu grup construïren un detector gegant, el Kamiokande, per a captar una fracció dels neutrins provinents del Sol. Els resultats d’aquest detector confirmaren els obtinguts anteriorment per Raymond Davis als Estats Units. A més, el 23 de febrer de 1987, el Kamiokande descobrí neutrins provinents de l’explosió d’una supernova llunyana. Rebé el premi Nobel de física el 2002, juntament amb Raymond Davis Jr. i Ricardo Giacconi.