Membre d’una família de fabricants d’instruments de vent, de jove treballà al taller del seu pare, Charles Mahillon, però després es consagrà a l’estudi de l’acústica, camp en què és més conegut. Entre el 1869 i el 1887 publicà la revista "Écho musical". Arran de la mort del seu pare es reincorporà a l’empresa familiar i fabricà excel·lents reproduccions d’instruments, especialment dels instruments de vent en ús durant els segles XVI i XVII. El 1876 fou nomenat conservador del museu d’instruments del Conservatori de Brussel·les, al qual aportà la seva pròpia col·lecció, formada per més de 3 500 instruments. Entre els seus escrits cal destacar Les éléments d’acoustique musicale et instrumentale (Brussel·les, 1874).