Aprengué a tocar la guitarra de les mans de la seva mare, i a divuit anys ja oferia concerts a la Societat Filharmònica de Valenciennes, al Flandes francès. El 1830 es traslladà a París, on conegué diferents guitarristes actius a la capital francesa i s’hi relacionà. Allí estudià harmonia i composició, i començà a escriure obres per a guitarra. Algunes d’aquelles obres les hagué de publicar amb els seus propis recursos, ja que aleshores la guitarra era un instrument que estava passat de moda a París. El 1856 guanyà un premi de composició per a guitarra a Brussel·les. De resultes d’un accident, l’any 1863 hagué d’abandonar la seva activitat concertística. La premsa francesa el volgué comparar a Ferran Sor, qualificant-lo com el millor guitarrista francès del segle XIX. Competí en concerts amb els virtuosos D. Aguado, el mateix F. Sor i F. Carulli.
Les seves composicions són del tipus fantasia, i contenen elements contrapuntístics. Els seus Estudis, opus 38 esdevingueren molt interpretats. Reedità el mètode de Sor en francès, tot introduint-hi alguns fragments d’obres pròpies. Coste tocava amb una guitarra de set cordes del segle XVIII, afinada una quinta més greu del que és costum.