Aquest castell es trobava en el mateix lloc on ara hi ha les ruïnes del poble de Vilamflor, a la falda oriental de la muntanya de Mata Negra.
L’any 1030 el comte Ramon IV de Pallars Jussà feu donació de la vila de Vilamflor en alou a Vidal i els seus descendents; en endavant, els veïns haurien de pagar-li els delmes i prestar-li els serveis convinguts. Vilamflor figura entre els castells i els llocs que Ramon IV havia pres al seu germà Guillem II, segons les querimònies que l’any 1057 tingueren lloc entre els dos comtes cosins, Ramon V i Artau I.
Al llarg dels segles XIII i XIV apareixen documentats els Vilamflor, senyors del castell homònim, feudataris dels comtes de Pallars. L’any 1378 Guillem de Vilamflor actuà com a àrbitre del comte Hug Roger II en la concòrdia amb l’abat Jaume Sarrovira de Gerri sobre l’exercici dels drets jurisdiccionals als termes de Gerri i Bresca.