Был создан Постановлением СМ СССР № 1789-470сс от 30 мая 1947 г. Первоначально объединял как политическую разведку (ранее в ведении МГБ), так и военную. С 1949 г. военная разведка вернулась в систему военного ведомства.
2 ноября 1951 г. вся разведывательная работа была передана от КИ в МГБ, где было восстановлено 1-е Главное управление. В ведении КИ оставалась только служба дезинформации. Решением Президиума ЦК КПСС П158/III от 19 февраля 1958 г. КИ был упразднен.
Последовательность смены председателей КИ доподлинно неизвестна. Известны лишь их имена. Петровы уверены, что Молотов был первым, а Зорин последним председателем. Возможно, Молотов передал свой пост Малику в конце пребывания на посту министра иностранных дел, а Вышинский пришел вслед за Маликом, которого сменил Зорин.