Сын мельника. Брат президента Республики Баден Адама Реммеле. По профессии — токарь. Член социал-демократической партии Германии с 1897 года. Состоял в Союзе немецких металлистов. С 1908 — партийный функционер, редактор газеты.
В 1923—1926 — главный редактор Центрального печатного органа (ЦО) КПГ газеты «Die Rote Fahne» («Красное знамя»). В 1925—1926 — руководитель парторганизации района Берлин — Бранденбург.
В 1924—1933 был членом Президиума Исполкома Коминтерна.
В 1932 году был подвергнут нападкам со стороны Э. Тельмана и вскоре снят с руководящих постов в партии и Коминтерне.