Джованни Гаркович родился 15 июля 1935 года Задаре, в Далмации (ныне часть Хорватии). В 1948 году вместе с семьёй переехал в Триест, чтобы поступить в актёрскую школу Piccolo Teatro di Trieste. Впоследствии отправился в Рим, где учился в Национальную академию драматического искусства.
Дебютировал в 1958 году. Одной из первых его значимых ролей было появление в роли Карла, надзирателя в немецком концлагере, в номинированном на Оскар фильме «Капо» (1960) режиссёра Джилло Понтекорво.