В 1903—1906 годах Герцфельд был помощником Вальтера Андре и Фридриха Делича в раскопках города Ашшур.
Мировую известность приобрёл благодаря своим археологическим исследованиям в Самарре (1911—1913), Персеполе (1931—1934). Менее обширные раскопки проводил в Киликии и Пасаргадах.
После прихода к власти нацистов в силу еврейского происхождения в 1935 году был вынужден покинуть академическую позицию в Берлинском университете[1].