Звание сержанта милиции было введено Постановлением ЦИК СССР и СНК СССР от 26 апреля1936 года объявленным приказом НКВД № 157 от 5 мая1936 года для личного состава органов рабоче-крестьянской милиции НКВД СССР.
Данная система просуществовала до 9 февраля1943 года, когда Указом Президиума Верховного Совета СССР «О званиях начальствующего состава органов НКВД и милиции» были введены новые специальные звания, сходные с общевойсковыми.