El nom prové del francès ermitage (‘ermita’), que fa referència a l’exclusivitat del lloc com a retir dels tsars. Comprèn el Petit Ermitage, edifici projectat per a aquesta destinació en estil Lluís XVI per Jean-Baptiste Vallin de la Mothe, el Teatre de l’Ermitage, de Giacomo Quarenghi (1785-87), afegit posteriorment, i, com a agregats des del 1917, el Palau d’Hivern, de Bartolomeo Rastrelli (1754-62), inspirat en el barroc de Newman, l’Antic Ermitage, de Felten (1775-84), i el Nou Ermitage, edificat per Stasov i Jefimov (1839-52) segons projecte de Leo Klenze. El museu romangué privat fins el 1852, any que fou obert a un públic restringit. El 1917 esdevingué museu estatal. Durant la Segona Guerra Mundial (1941-45) romangué tancat i moltes de les seves obres foren traslladades.
El museu consta de diferents seccions: de cultura primitiva (col·leccions provinents d’excavacions a la mar Negra i a Crimea), de cultura dels països de l’Orient Llunyà i Pròxim, de cultura grecoromana, de cultura eslava (des de la prehistòria fins al segle XIX), d’art occidental (italià, flamenc, holandès, francès, espanyol) i de numismàtica (una de les col·leccions més importants del món), entre d’altres.
Des del 1991, ha obert diverses delegacions, tant a Rússia com a l’estranger, entre les quals destaca la d’Amsterdam (2009). El 2012 signà un acord amb la Generalitat de Catalunya i l’Ajuntament de Barcelona per a obrir-hi una seu a la ciutat. La construcció es planificà el 2015 a la bocana nord del port, localització descartada el 2020 a causa de diversos inconvenients (especialment el risc de llevantades).