22 июля 1939 года, 14 января 1958 года и 22 июня 1968 года территориальная прелатура Гражау передала часть своей территории в пользу учреждения новой территориальной прелатуры Кандиду-Мендоса (сегодня – Епархия Зе-Доки), Каролины и епархии Бакабала.
4 августа 1981 года Папа Римский Иоанн Павел II преобразовал буллой «Qui ad Beatissimi Petri» территориальную прелатуру Сан-Хосе-Гражау в епархию.
9 октября 1981 года епархия Сан-Хосе-Гражау была переименована в епархию Гражау.