Родился в Ноксвилле[англ.] (округ Джефферсон) в семье Томаса и Мэри Миллс Питтенгеров; с детства рос на ферме. С началом Гражданской войны 17 апреля 1861 года в Кемп-Деннисоне[англ.] записался рядовым в роту H 2-го Огайского добровольческого пехотного полка[англ.] сроком на три месяца; в период службы успел принять участие в первом сражении при Булл-Ран. После окончания службы, 11 сентября 1861 года в Кемп-Деннисоне Питтенгер повторно записался в армию США, а несколько дней спустя поступил в роту G вновь сформированного 2-й Огайского пехотного полка, при этом получив звание капрала; 13 марта 1862 года был повышен до сержанта.