Fou constituït a París el 23 de juny de 1894 en restaurar-se les olimpíades modernes pel baró de Pierre de Coubertin. El COI forma part del Moviment Olímpic, que inclou també, d’una banda, les federacions internacionals de cada esport i, de l’altra, els representants dels comitès olímpics de cada país (que l’any de la fundació eren 13 i, el 2010, 205), i n'és l’autoritat màxima. A més de responsabilitzar-se dels Jocs, vetlla per l’acompliment dels objectius continguts en el document fundacional conegut com a Carta Olímpica, que estableix els principis i l’àmbit d’actuació de l’organisme. El COI és, a més, l’entitat jurídica propietària dels drets sobre els símbols, les imatges i icones associades als Jocs.
El COI és format per un màxim de 115 membres, elegits per cooptació d’entre els representants dels comitès nacionals o a títol individual d’acord amb la seva qualificació. Els membres no són representants dels respectius països, sinó del COI en cada país, i elegeixen d’entre ells els integrants d’un comitè executiu. Des de l’any 2001 la presidència d’aquest comitè i del COI té una durada de vuit anys, renovable únicament per a un segon mandat de quatre. En acabar el mandat (2001), Joan Antoni Samaranch i Torelló fou el primer president en ocupar el càrrec de President Honorífic Vitalici. A més de Joan Antoni Samaranch han estat membres del COI Santiago Güell (1922-54), Carles Ferrer Salat (1985-98), Manel Estiarte (2000-04) i Joan Antoni Samaranch Salisachs (des del 2001).
El COI es reuneix un cop l’any en una Sessió, en la qual es voten i s’adopten les resolucions, en principi amb caràcter inapel·lable. A petició del president o de dos terços del Comitè es poden convocar també sessions extraordinàries. La Sessió pot aprovar modificacions o esmenes de la Carta Olímpica, elegir nous membres, elegir el president i el comitè executiu del COI i la ciutat amfitriona dels Jocs Olímpics d’hivern i d’estiu. Barcelona fou seu de dues sessions (1931, 1992). Uns anys abans, Barcelona també fou protagonista en la 91a sessió, realitzada a Lausana el 17 d’octubre de 1986, en què fou escollida com a seu dels Jocs Olímpics d’estiu de l’any 1992.
La seu del COI és a Lausana (Suïssa) i els idiomes oficials són el francès i l’anglès. El finançament del COI prové sobretot dels drets de retransmissió televisiva de les competicions dels Jocs i del patrocini de grans empreses.
Presidents del Comitè Olímpic Internacional
| President | País | Durada del mandat |
|---|---|---|
| Dimítros Vikelas | Grècia | 1894-1896 |
| Pierre de Coubertin | França | 1896-1925 |
| Henri de Baillet-Latour | Bèlgica | 1925-1942 |
| J. Sigfrid Edström | Suècia | 1946-1952 |
| Avery Brundage | EUA | 1952-1972 |
| Lord Killanin | Irlanda | 1972-1980 |
| Joan Antoni Samaranch i Torelló | Catalunya | 1980-2001 |
| Jacques Rogge | Bèlgica | 2001-2013 |
| Thomas Bach | Alemanya | 2013- |