Fou edificat entre els anys 1763 i 1798 al turó de Torre Alta, a càrrec de la marina espanyola, de la qual depèn actualment. Entre els seus instruments destaquen un telescopi equatorial fotogràfic i una ullera meridiana. A partir del 1791 començà la publicació de l'Almanaque náutico, que conté els elements de les òrbites dels planetes i de la Lluna, com també llurs posicions al firmament i les del Sol. A més, conté les posicions de gairebé un miler d’estels escollits entre els visibles a ull nu. Durant molts anys, el meridià de San Fernando serví com a meridià de referència en els mapes hidrogràfics espanyols. Juntament amb l’observatori astronòmic, hi ha també una estació meteorològica de primera categoria.