El 1906 es llicencià en filosofia i lletres a la Universitat de Barcelona, i el 1907 es doctorà a la de Madrid i inicià la seva col·laboració a l’Institut d’Estudis Catalans i a les tasques docents i d’investigació del seu pare Antoni Rubió i Lluch. En 1911-13 fou lector de filologia hispànica a la Universitat d’Hamburg i realitzà les seves recerques sobre manuscrits lul·lians a les biblioteques de Munic i Innichen (Tirol).
De retorn a Barcelona s’incorporà a les seves tasques anteriors i fou nomenat director de la Biblioteca de Catalunya, oberta al públic el 1914. L’any següent es fundà l’Escola de Bibliotecàries i li foren confiats els ensenyaments de bibliologia i biblioteconomia, en els quals cessà el 1923, en sobrevenir la Dictadura de Primo de Rivera. El 1915, quan la Mancomunitat de Catalunya inicià la fundació de les biblioteques populars, fou encarregat d’aquest servei. El 1919 li foren encomanades les càtedres de bibliologia i literatura espanyola a la Universitat de Barcelona. El 1925 succeí el seu pare en la càtedra de literatura catalana dels Estudis Universitaris Catalans. El 1930 reprengué el seu ensenyament a l’Escola de Bibliotecàries i en fou nomenat director. L’any següent esdevingué professor de bibliologia i de literatura catalana a la Universitat Autònoma de Barcelona. Al 1939 cessà en els seus càrrecs oficials i entrà a treballar en una editorial. Participà, però, des del primer moment en les activitats culturals catalanes que foren represes després de la guerra dins la més estricta privadesa.
El 1942 ingressà a l’Institut d’Estudis Catalans com a membre de la Secció Historicoarqueològica, de la qual fou elegit president el 1956, i pel mateix temps s’encarregà de la càtedra de literatura catalana als Estudis Universitaris Catalans, que detingué fins el 1959. Fou president de l’Institut durant els cursos 1968-69 i 1969-70. El 1948 fou nomenat cap de la secció catalana del Consell Superior d’Investigacions Científiques i el 1957 ingressà a l’Acadèmia de Bones Lletres. Fou corresponent de l’Academia Española des del 1960. El 1969 li fou atorgat el Premi d’Honor de les Lletres Catalanes i el 1980 li fou concedida la Medalla d’Or de la Generalitat de Catalunya.
Obra seva fou l’organització de la Biblioteca de Catalunya i de la xarxa de Biblioteques Populars, iniciada per la Mancomunitat. Redactà un compendi de la classificació decimal de Brussel·les. Aquesta tasca tingué el seu complement en la docència a l’Escola de Bibliotecàries i a la Universitat de Barcelona. La publicació del Butlletí de la Biblioteca de Catalunya, que dirigí (1914-32), fou una contribució important als estudis bibliogràfics i bibliològics. Entre el 1936 i el 1939 traslladà la Biblioteca de Catalunya a l’antic Hospital de la Santa Creu i contribuí decisivament a la salvació del tresor bibliogràfic de Catalunya. Durant aquests anys dirigí també el servei de biblioteques del front.
La seva obra docent ha tingut un altre caire important, que és l’ensenyament de la literatura catalana. Prestà especial atenció als aspectes culturals de la literatura i completà la investigació pròpiament literària amb un intens treball d’arxiu, en el qual trobà l’ajut de J. M. Madurell i Marimon. Aquesta sòlida base documental és causa que la seva obra sigui de gran interès per a la història de la cultura. Entre les obres més importants sota aquest aspecte cal esmentar De l’Edat mitjana al Renaixement: Figures literàries de Catalunya i València (1948), la part destinada a la literatura catalana dins la Historia general de las Literaturas hispánicas de G. Díaz Plaja (1949-58), Documentos para la Historia de la Imprenta y Librería en Barcelona (1474-1553) (en col·laboració amb J. M. Madurell) (1955), els estudis que figuren en l’edició de les Obres essencials de Ramon Llull (1957-60), La cultura catalana del Renaixement a la Decadència (recull d’articles) (1964), Documentos para la Historia de la Universidad de Barcelona. I. Preliminares (1289-1451) (obra començada per Antonio de la Torre) (1971).
Publicà també nombroses monografies sobre cròniques catalanes i en especial sobre la de Desclot (tema de la seva tesi doctoral), Ramon Llull, l’humanisme a Catalunya, la prosa cancelleresca, la cultura en temps d’Alfons el Magnànim, les causes de la decadència literària a Catalunya, el primitiu teatre valencià, antiga bibliografia i tipografia catalanes, la Renaixença catalana del segle XIX, etc. Publicà texts d’Hug de Sant Víctor (traducció d’A. Canals) (1910), del manuscrit 129 de Ripoll (1911), d’A. Turmeda (1913), La lògica en rims del Gazzali glosada en rims per Ramon Llull (1914), la Revista dels Llibres (1925-26); dirigí la revista Estudis Universitaris Catalans des del 1925 fins al 1936, i prologà edicions castellanes de Diego de San Pedro, Garcilaso de la Vega i Cervantes. El 1948 publicà Vida española en la época gótica. El 1967 aparegueren dins la revista Estudis romànics els dos volums d’homenatge que li foren dedicats amb motiu dels seus 75 anys. El 1984 s’inicià la publicació de les seves obres completes.