Начинал карьеру в клубе «Людвигсбург 07»[англ.]. В 1974 году перешёл в мёнхенгладбахскую «Боруссию», в которой прошла вся его последующая футбольная карьера. Дебютировал в Бундеслиге 9 ноября 1974 года в матче со «Штутгартом»[3], который «Боруссия» выиграла со счётом 2:1[4]. По ходу того сезона «гладбахцы» выиграли чемпионский титул, потерпев только одно поражение в Бундеслиге. «Боруссия» в том сезоне выиграла и Кубок УЕФА после победы в двух матчах над нидерландским «Твенте» со счётом 5:1[5].
Затем последовали в 1976 и 1977 годах два чемпионских титула[3], а в 1979 году «гладбахцы» во второй раз выиграли и Кубок УЕФА после победы по сумме двух матчей над югославской «Црвеной звездой»[6]. Шеффер был единственным полевым игроком, сыгравшим во всех матчах за «жеребят» на турнире[3]. Всего во всех матчах сыграл за «жеребят» 294 матча и забил 8 голов[3].
Завершил игровую карьеру в 1983 году в возрасте 31 года и перешёл в строительство[3].
Смерть
Скончался 15 ноября 2024 года в возрасте 72 лет[3].