Fou construït pel govern francès el febrer del 1939, i inicialment serví per a internar-hi soldats republicans que havien combatut en la Guerra Civil Espanyola, especialment soldats de les Brigades Internacionals. Després de l’ocupació alemanya i la implantació del règim de Vichy, al maig-juny de 1940, hi foren empresonats també membres de la resistència, opositors als règims de Hitler, de Mussolini i de Pétain, un dels quals, l’escriptor Arthur Koestler (1939-40), en descriví les condicions infrahumanes. Definit el 1941 explícitament com a camp de concentració per les autoritats de Vichy, a partir del 1942 fou també utilitzat com a estació de trànsit de jueus detinguts cap a altres camps, entre d’altres, els d’Auschwitz o Dachau. En total es calcula que hi foren internats entre 30.000 i 40.000 persones d’una cinquantena de nacionalitats. El juny del 1944, amb l’evacuació dels darrers presoners, el camp fou tancat. El desembre del 1944 fou creada l’associació Amical d’antics interns del camp de concentració de Vernet, que des dels als anys setanta impulsà treballs per a la preservació d’espais i instal·lacions de l’antic camp i la construcció d’un museu per a la memòria històrica.