Антонс Юстс родился 22 ноября 1931 года в городе Варакляны, Латвия. Летом 1944 года вместе с семьёй эмигрировал в Германию, где окончил начальное образование в Любеке. В 1953 окончил с отличием классическую гимназию в Бельгии и продолжил своё обучение в Лёвене, где изучал томистскую философию. С 1958 по 1962 гг. обучался в Инсбруке, после чего получил научную степень лицензиата богословия.
С 1962 по 1968 гг. работал в США. Служил викарием в различных католических приходах штата Виргиния — в Ричмонде, в округе Арлингтон. Исполнял должность декана католических приходов города Вашингтона. По приглашению рижского архиепископаЯниса Пуятса приехал в Латвию и с 1994 года был ректором богословского факультета Латвийского университета.
7 декабря 1995 года был назначен Римским папойИоанном Павлом II епископом новой Елгавской епархии. 6 января 1996 года был рукоположен в епископы.
22 июля 2011 года подал Римскому папе Бенедикту XVI прошение об отставке.