Estudià al Conservatori Imperial de Tòquio (1904-08) amb T. Shibata (direcció coral) i H. Wekmeister (violoncel). Posteriorment es traslladà a Berlín (1908), on fou deixeble de M. Bruch i K.L. Wolf a la Hochschule für Müsik. Durant aquesta estada a Alemanya ja es distingí com a compositor de música simfònica i de cambra. El 1914 tornà al Japó i fundà l’Orquestra Filharmònica de Tòquio, considerada la primera orquestra japonesa de tradició occidental del país, que oferí el seu primer concert el 1915. El 1917 viatjà per primera vegada als Estats Units i al principi de l’any següent dirigí algunes de les seves pròpies obres en un concert al Carnegie Hall amb l’Orquestra Filharmònica de Nova York. Novament a Tòquio (1919), i amb el desig de promocionar la música escènica, fundà l’Associació Japonesa per a la Música Dramàtica, entitat que donà a conèixer al públic japonès importants títols operístics en el món occidental. Compongué òperes, cançons i obres orquestrals, corals i de cambra. Entre les seves obres escèniques destaquen La perversa donzella celestial (1912) i Els vaixells negres (1939). El seu llenguatge musical és hereu del Romanticisme germànic i conté, al mateix temps, elements provinents de la música japonesa. Yamada fou un dels principals introductors de la música occidental al Japó.