La ubicació del castell de la Portella és avui desconeguda. Tot sembla indicar, però, tal com diu Mn. Santamaría, historiador del cenobi de Sant Pere, que el castell devia estar situat a molt poca distància d’aquest monestir. Hi ha qui diu que el campanar de l’església és l’aprofitament de la torre de l’homenatge del castell. La zona on s’aixecava el castell de la Portella i el monestir de Sant Pere va tenir una repoblació molt primerenca, car l’any 900 era consagrada ja l’església de la Quar, molt propera al lloc estudiat. El castell de la Portella existia ja el segle X, car sabem que era possessió del comte Oliba, el que més endavant havia d’ésser bisbe de Vic i abat de Ripoll i Cuixà. El lloc també era anomenat Frontanyà, però segurament la seva configuració geogràfica, un portell sobre el riu Adest (avui riera de Merlès) li va donar la nova denominació, la Portella. Oliba, en entrar al monestir de Ripoll, deixà el castell de la Portella al seu germà Bernat Tallaferro, el qual l’incorporà al seu comtat de Besalú. El castell de la Portella era regit, ja des de l’època de domini dels comtes cerdans, per una família de vicaris que acabaran prenent el nom del lloc com a patronímic: seran els Portella. Aquests vicaris, en concret Doda i el seu fill Guifré, foren els que havien de fundar un monestir prop del castell, monestir que sembla que ja existia al principi del segle XI. L’any 1020 el comte Bernat Tallaferro en el seu testament disposà que el castell de la Portella passés al seu fill Guillem i especificà que tenia el castell perquè el seu germà li havia donat. La dominació dels comtes de Besalú sobre el castell de la Portella sembla que es perllongà fins al final del segle XII, quan la família dels Portella en passà a ésser la senyora, o, almenys, els regents, fet que va acompanyat per una presa d’importància d’aquesta família que actuà molt sovint al costat del rei. L’any 1059 moria Guifré, que fou fundador del monestir i en el seu testament nomenà hereu el seu fill Bernat Guifré a més de fer moltes deixes al monestir de Sant Pere. L’any 1060, Bernat Guifré actuà com a vicari de la Portella en un document de venda d’un alou d’aquest terme, pels senyors de Merola i vicaris de Puig-reig al monestir de Sant Pere. El 1064 els mateixos vicaris del castell. Bernat Guifré i Migdònia donen al monestir de Sant Pere, l’església de Santa Maria de la Quar, que els havia pervingut per compra a Bernat i Guisla, vescomtes de Cerdanya. El document especifica que l’església es troba dins el terme del castell de la Portella, al comtat de Besalú. Quan Bernat II prengué possessió del comtat de Besalú, Bernat Guifré li prestà homenatge pel castell de la Portella. Mort Bernat Guifré, la documentació no permet de veure quin dels seus dos fills mascles l’heretà, encara que segurament fou Pere Bernat. L’any 1117, era vicària de la Portella, una tal Ermessenda: “dompna Ermessendis, vicaria castrum Portella...” i el 1127 ho era Pere Guerau. És aquesta l’última data en què apareix el títol de vicari aplicat als senyors de la Portella. A les darreries de l’any 1184 hi hagué una controvèrsia arran d’unes possessions entre l’abat Arnau del monestir de Sant Pere de la Portella i Galceran de Pinós, la seva muller Berenguera i els seus fills Ramon i Berenguer, als quals s’afegiren els cavallers Guillem i Pere de “Palad”. El monestir deia que tenia una terra en alou, per donació del comte de Cerdanya, de Ramon Berenguer de Barcelona i Guifré de la Portella. L’abat recorregué a Bernat de la Portella i aquest posà pau i concòrdia, fent que els Pinós renunciessin a les seves pretensions. Trobem aquest Bernat de la Portella actuant prop dels reis Alfons el Cast, Pere el Catòlic i Jaume I. L’any 1231 trobem un Berenguer de Portella fent de testimoni en una transacció entre Jaume I i el vescomte de Cardona. Aquest mateix any els germans Bernat i Geralda de Portella, senyors del castell del mateix nom, inicien accions per a construir un monestir en el terme d’Olvan. Anys més tard aquest monestir acabaria de ser construït i prendria el nom de Santa Maria de Valldaura, i seria dotat pels Portella i pels vescomtes de Cardona. Fill de Bernat de la Portella fou Ramon de la Portella, casat amb Sibil·la, matrimoni del qual nasqué Bernat de Portella. Aquest, que es casà amb Elisenda de Lluçà, sembla que professava l’heretgia albigesa i que per això visqué enemistat amb l’església i el rei, el qual li confiscà algunes de les seves possessions. A la seva mort, ocorreguda el 1286, el rei Alfons a precs dels nobles Arnau Roger i Ramon Folc, restituí a Bernat Guillem de Portella, fill del difunt Bernat, els castells de Lluçà, Palmerola, Sagàs i la Portella. Bernat Guillem es casà amb Sibil·la de Pinós, filla de Galceran de Pinós i la seva muller Berenguera. Aquests asseguraren els 2 000 morabatins del dot, l’herència i la legítima de la seva filla al castell i la vila de Gósol. Bernat Guillem per 3 000 morabatins obligà el castell de la Portella, la “Rocha de Za Quar”, el castell de Palmerola, la fortificació nova de Sagàs i tot el que posseïa als castells de Gironella i Lluçà. Bernat Guillem, que fou un gran protector del monestir de la Portella, morí el 1321. En el seu testament disposava la seva sepultura al monestir de Sant Pere de la Portella, feia nombroses deixes a aquest monestir i al de Lluçà i instituïa hereu el seu fill Bernat. Bernat de la Portella apareix en la documentació en actuacions relacionades amb els barons de Pinós. L’any 1336 l’heretà la seva germana Marquesa, casada amb Pere de Fenollet, vescomte d’Illa; d’aquesta manera la Portella i Lluçà passaren a integrar-se en aquell vescomtat. El 1369 Andreu de Fenollet, vescomte d’Illa i de Canet, vengué a Pere Galceran de Pinós i a la seva muller Guillema, les baronies de la Portella i Lluçà, pel preu de 21 000 lliures. Com que els Pinós no disposaven d’aquesta quantitat, en sortiren fiadores les universitats de Bagà, Gisclareny, Saldes, Gósol, Josa i Gavarrós. A partir d’aquest moment els Pinós s’intitularen senyors de Pinós, Mataplana, Lluçà i la Portella. A la llarga els Pinós hipotecaren la baronia de la Portella que d’aquesta manera sortí de la branca principal de la família. L’any 1437 la baronia era sota R. G. de Pinós que hi tenia com a procurador general Bernat de Camprubí. A partir del segle XV les notícies sobre el castell es van fent cada vegada més escasses fins que se’n perden totalment les traces.