В 1948—1953 годах Сигел был женат на актрисе Вивеке Линдфорс, в 1952 году родившей ему сына Кристофера Табори, который впоследствии станет актёром и телережиссёром. В 1957 году женился на актрисе До Аведон, у них было четверо детей. Сигел умер в Нипомо (Калифорния) от рака в возрасте 78 лет.