С 1 мая 1847 года был женат на Елизавете Иосифовне фон Коскуль (1822—1901). У них родились: Эммануил (1848—1918)[2], Елизавета (1850—?), Александр (1851—1935).
«Придворный календарь на 1915 год» указывал о Эммануиле Эммануиловиче Сиверсе: «…камер-юнкер, коллежский советник, старший делопроизводитель Государственной канцелярии. Женат на княжне Ольге Ивановне Урусовой (1854—13.05.1891)», умерла от разрыва сердца в Париже.