Des dels seus primers anys estigué vinculat al món de la cançó, i fou un error d’impremta en la publicació de la primera cançó que escriví, Marie from Sunny Italy (1907), amb música de M. Nicholson, el que provocà la transformació del seu cognom de Baline a Berlin. Compongué la banda sonora d’alguns dels films musicals més populars de Hollywood, com ara Top Hat (M. Sandrich 1935) o White Christmas (M. Curtiz 1954). Les seves partitures foren popularitzades per actors com Bing Crosby, Fred Astaire i Ginger Rogers, i algunes de les seves cançons el convertiren en un dels compositors americans més populars i destacats del segle XX.