Cikal bakal KONI adalah Ikatan Sport Indonesia (ISI) yang dibentuk tanggal 8 Oktober 1938 dengan Sutardjo Kartohadikusumo sebagai ketua.
ISI dibentuk oleh beberapa organisasi olahraga yaitu Persatuan Sepakbola Seluruh Indonesia (PSSI), Perserikatan Lawn Tenis Indonesia (Pelti) dan Perserikatan Bola Keranjang Seluruh Indonesia (PBKSI) yang sekarang dikenal sebagai Persatuan Bola Basket Seluruh Indonesia (Perbasi).
Saat didirikan, ISI memiliki tujuan sebagai sarana perjuangan bangsa Indonesia agar dihargai pemerintah kolonial Belanda, memperbaiki dan memperkuat organisasi olahraga yang telah ada sebelumnya, serta sebagai alat pendidikan nasional yang dapat menyehatkan jiwa bangsa Indonesia.
Pada 15-22 Oktober 1938, ISI menggelar Pekan Olahraga ISI di Surakarta. Tanggal 15 Oktober 1938 pun menjadi momentum perjuangan bangsa Indonesia melalui olahraga dan sebagai hari berdirinya Komite Olahraga Nasional Indonesia (KONI).
Pada era penjajahan Jepang ke Indonesia pada bulan Maret 1942, ISI mengalami kesulitan dan rintangan dalam menjalankan fungsinya sehingga tidak bisa beraktivitas sebagaimana semestinya. Pada zaman pendudukan Jepang, gerakan keolahragaan di Indonesia ditangani oleh suatu badan yang bernama GELORA (Gerakan Latihan Olahraga). Tidak banyak peristiwa olahraga penting yang tercatat pada zaman pendudukan Jepang selama tahun 1942-1945, karena peperangan terus berlangsung dan kedudukan Tentara Jepang di Asia juga semakin terdesak.
Runtuhnya kekuasaan Jepang pada bulan Agustus 1945, maka diadakanlah kongres olahraga yang pertama pada masa kemerdekaan di bulan Januari 1946 yang bertempat di Habiprojo, Solo. Berhubung dengan suasana darurat pada masa itu ( salah satunya adalah G30S PKI yang terjadi setelahnya) , kongres ini hanya dapat dihadiri oleh tokoh-tokoh olahraga dari pulau Jawa.
Kongres tersebut akhirnya berhasil membentuk suatu badan olahraga yang bernama Persatuan Olahraga Republik Indonesia (PORI) dengan susunan pengurus sebagai berikut:
Pada mulanya dalam kongres ini diajukan dua nama yang akan diberikan kepada Badan Olahraga yang bakal dibentuk yaitu ISI atau GELORA. Kedua nama tersebut akhirnya tidak terpilih dan sebagai kesimpulan rapat kongres tersebut diresmikanlah berdirinya organisasi PORI dengan pengakuan pemerintah RI sebagai satu-satunya badan resmi Persatuan Olahraga yang mengurus semua kegiatan olahraga di Indonesia yang menggantikan fungsi ISI.
Sesuai dengan fungsinya, PORI juga bertindak sebagai koordinator semua cabang olahraga di Indonesia dan khusus mengurus kegiatan-kegiatan olahraga dalam negeri. Dalam hubungan tugas keluar berkaitan seperti Olimpiade dengan Internasional Olympic Committee (IOC), Presiden Republik Indonesia telah melantik Komite Olimpiade Republik Indonesia (KORI) yang diketuai oleh Sultan Hamengkubuwono IX dan berkedudukan di Yogyakarta.
Pada tahun 2005, pemerintah mengeluarkan Undang-undang Nomor 3 Tahun 2005 tentang Sistem Keolahragaan Nasional dan Melakukan reorganisasi KONI menjadi Komite Olahraga Nasional (KON) dan Komite Olimpiade Indonesia (KOI).
KON melakukan pembinaan dalam negeri dan penyelenggaraan Pekan Olahraga Nasional (PON), sementara KOI melakukan kegiatan pengiriman atlet ke luar negeri dan penyelenggara pekan olahraga Internasional di Indonesia.