19 июля 1939 года Римский папа Пий XII назначил Йожефа Грёса епископом Сомбатхея и 7 мая 1943 года — архиепископом Калочи.
Во время режима Ракоши в мае 1951 года арестован и осуждён. Освобождён в 1955 году, в мае 1956 года снят домашний арест. Вскоре вошёл в состав руководства проправительственного Патриотического фронта.