L’actual temple gòtic de Santa Maria del Pi té uns orígens molt antics. Hi ha notícies d’aquesta església des de la segona meitat del segle X. L’any 992, Bonhom, levita, donà al monestir de Sant Pere de les Puelles un hort proper a les muralles, el lloc de la Palma, “de Sancta Maria de ipso Pino convicinam”. En un principi Santa Maria del Pi no era res més que una capella erigida en el burg o vila nova que s’estava formant des del final del segle X entre els murs de la ciutat i l’indret de la Palma, prop de l’Areny (la Rambla). La situació d’aquest temple devia ser força desavinent i insalubre, ja que es trobava al costat de la llacuna del Cagalell. El topònim del Pi potser feia referència a la presència d’aquest arbre prop dels seus murs. El costum de plantar un pi davant la porta principal és ben documentat.
Hi ha autors que han apuntat que en un primer moment l’església del Pi va dependre de Santa Maria de Sants. Tanmateix, almenys a partir del 1188, la relació s’invertí i Santa Maria del Pi va esdevenir l’església matriu. Santa Maria de Sants fou sufragània del Pi fins al 1835. L’església del Pi va prendre des del seu naixement cada cop més rellevància. Des del final del segle X posseïa altars dedicats a sant Climent i a sant Pancraç on es juraven molts testaments sacramentals fins al segle XIII, perquè el Pi disposava, com la parròquia de Sant Just, del privilegi de testament sagramental. El cementiri del Pi és conegut des del 1074.
La creixent influència de Santa Maria del Pi a partir del segle XIV és evident i, a poc a poc, es convertí en una de les dues més importants de la ciutat. Així, una part del desaparegut terme de Sant Julià de Montjuïc va acabar incorporat dins el seu terme durant el segle XIV, de tal manera que un bon sector de la muntanya de Montjuïc restà inclosa dins la seva jurisdicció.
L’actual edifici del Pi és una obra bàsicament del segle XIV. Hi ha referències de la seva construcció des del 1319. Això no obstant, el nou temple es bastí molt lentament i no es finalitzà fins al segle XV, quan es coronà el campanar i s’alçà la capella de la Sang. Segons es llegeix en una làpida, fra Llorenç, bisbe de Terranova, va consagrar la nova església el 1453. El gremi de revenedors hi va tenir el seu altar de Sant Miquel, construït entre el 1454 i el 1476, en el qual es féu enterrar el pintor Antoni Viladomat (1755).
L’interior de l’església ha sofert constants remodelacions. El primitiu altar major, datat del 1518, fou destruït pel bombardeig del 1714. El 1735 se’n bastí un de nou, barroc, però els esdeveniments del 1936 el van fer desaparèixer, tot i sortir indemne, com la resta de l’església, dels aldarulls de la Setmana Tràgica (1909).
Entre els sacerdots que serviren al Pi mereix ésser destacat sant Josep Oriol, que en fou beneficiat; les seves despulles foren enterrades en una capella pròpia construïda el 1817.