Els seus fills formaren les dues branques d’aquesta família. La branca espanyola dels ducs de Berwick fou iniciada pel fill gran, Jacobo FitzJames Stuart (1696 — 1738), segon duc de Berwick i de Llíria i Xèrica, el qual es casà (1716) amb Catalina Colón de Portugal i de Ayala, duquessa de Veragua i de la Vega, marquesa de Jamaica i comtessa de Los Gelves. Llur fill Jacobo FitzJames Stuart y Colón de Portugal (1718 — 1785) heretà tots aquests títols i els comtats de Lemos, Andrade i Sarria. Carlos FitzJames Stuart y de Silva (1752 — 1787), fill de l’anterior, perdé per sentència els títols dels Colón. El net d’aquest, Carlos FitzJames Stuart y de Silva (1794 — 1835), heretà el ducat d’Alba de Tormes i tots els seus títols annexos (comtats de Lerín, Galve, Mòdica, comtat-ducat d’Olivares, etc). El seu fill Jacobo FitzJames Stuart y Ventimiglia (1821 — 1882) es casà (1844) amb María Francisca de Sales de Portocarrero y Kirkpatrick, comtessa de Montijo i duquessa de Peñaranda de Duero, germana de l’emperadriu Eugènia; llur net Jacobo FitzJames Stuart y Falcó (1878 — 1953), desè duc de Berwick i dissetè d’Alba de Tormes, fou pare de l’actual duquessa. La branca francesa dels ducs de FitzJames fou iniciada pel fill segon Charles FitzJames Stuart (1712 — 1787), segon duc de FitzJames, que fou mariscal de França (1775) i governador del Llemosí (1729), Bearn, Guiena, la Navarra francesa (1756) i Bretanya (1771). S'extingí amb el seu quadrinet Jacques FitzJames Stuart, setè duc, que morí poc després del 1938.