Fill de Joan Baptista Xifré i Horta, propietari de quatre bergantins que feien la ruta d’Amèrica, arruïnat el 1786 a conseqüència de la guerra contra la Gran Bretanya i que morí l’any següent a Cadis, on s’havia refugiat. El seu germà Domènec s’establí a Buenos Aires, cercant fortuna, i ell partí el 1798 cap a Cuba, per treballar amb el seu oncle, Josep Xifré i Horta, en l’adob de pells. Aviat prengué la iniciativa del negoci, i aconseguí l’exclusiva de l’exportació de cuir en brut (1808). Home emprenedor, renovà el procés industrial amb maquinària nova importada d’anglaterra. Afavorit per les circumstàncies internacionals, inicià, amb els seus velers “San José” i “Margarita”, un comerç regular, amb l’Estat espanyol i sobretot amb els EUA, de cuirs i de productes agrícoles, com sucre i cafè, i es dedicà a l’especulació i a les activitats bancàries. El 1818 es casà amb la filla del seu agent a Nova York, Judit Dowling, i el 1823 es traslladà a aquesta ciutat, que convertí en centre distribuïdor de la mercaderia adobada que s’exportava a Europa, principalment a Anglaterra. Féu construir importants edificis als carrers més cèntrics de Nova York, s’associà amb Peter Harmong per als negocis bancaris (banc emissor dels EUA i Mechanies Bank) i aconseguí, així, una enorme fortuna. Tanmateix, el seu desig de retornar a Catalunya li féu liquidar els seus negocis americans, per bé que no abandonà les propietats de Cuba. El 1831 arribà a Barcelona, on s’establí definitivament des del 1840; la seva muller restà a París amb el seu fill Josep, on alternà amb l’alta societat intel.lectual parisenca. El 1840 el matrimoni legitimà llur situació i es casà catòlicament a Roma; Judit prengué aleshores el nom de Júlia. A Barcelona, Josep Xifré es dedicà particularment a la compra de propietats rústiques i urbanes: així, en 1835-36 comprà un gran terreny davant la Llotja, on foren bastides les cases dites els Porxos d’En Xifré, i on fixà pràcticament la seva residència. Més trad, féu edificar gran part del passeig d’Isabel II (1836-39). Políticament fou hàbil a mantenir-se en bona relació amb les autoritats de divers signe polític. Fou el primer president de la Caixa d’Estalvis i Mont de Pietat i de la Junta de Beneficència Pública (1845) i d’altres entitats benèfiques, econòmiques i culturals; tanmateix, mirà d’eludir tota responsabilitat política, i refusà, així, el nomenament d’alcalde de Barcelona el 1850. Mai no oblidà la seva vila d’Arenys de Mar, la qual ajudà en diverses ocasions i per a la qual féu construir un nou hospital, que donà solemnement a la vila el 1849. Filantrop i mecenes, finançà els estudis frenològics de Marià Cubí i dotà la ciutat de Barcelona d’un moderníssim cos de bombers (1835), del qual ell n'era el capità. Se sentí identificat amb les idees proteccionistes de Joan Güell i Ferrer. En la seva activitat industrial primerenca a Cuba mostrà el seu temperament paternalista, principalment respecte als esclaus negres, la mà d’obra principal. Emigrat pobre, retornat a la seva terra amb una fortuna feta a Amèrica, fou el prototip de l’americà, i potser el més famós. El seu fill Josep, mancat de l’empenta del seu pare, no sabé fer prosperar la immensa fortuna d’aquest i estigué força desvinculat de Catalunya, malgrat obtenir alguns càrrecs polítics; residí de fet sempre a París. Mort el seu pare, féu construir per a aquest un monument funerari, a la capella de l’hospital d’Arenys, per l’escultor francès A. Gumery, on foren traslladades les seves restes el 1861.