Вырос в Калифорнии. Является пра-пра-пра-правнуком одного из богатейших и успешнейших предпринимателей США XIX века Корнелиуса Вандербильта. В 1986 году окончил школу имени Фреда С. Бейера в городе Модесто[4]. Обучение продолжил в Университете Южной Калифорнии в Лос-Анджелесе, где изучал искусство и театр. В университетские годы успешно выступал в плавании (финалист в американских национальных соревнованиях на 200 метров вольным стилем). В дальнейшем переехал в Нью-Йорк, где начал работать в театре.
Личная жизнь
В 1991 году Олифант женился на Алексис Ниф. В семье трое детей — дочь Грейс (род. 1999), сын Генри (род. 2001) и дочь Вивьен (род. 2003)[5][6].
В настоящее время[уточнить] живёт в Лос-Анджелесе со своей семьёй.