Родился в семье Ефима Давидовича и Полины Григорьевны Спивак, у него были две сестры — Надежда (впоследствии военврач) и Любовь (погибла во время Ленинградской блокады)[3].
Первая жена (с 1935 года) — Лидия Александровна Рабинович, филолог.
Дочь Софья (род. 1937).
Вторая жена — Бася Срулевна (Ася Михайловна) Магарик (1920—?), первым браком была замужем за Николаем Николаевичем Флёровым (братом академика Г. Н. Флёрова).
Храмов Ю. А. Спивак Петр Ефимович // Физики : Биографический справочник / Под ред. А. И. Ахиезера. — Изд. 2-е, испр. и доп. — М. : Наука, 1983. — С. 252. — 400 с. — 200 000 экз.