Иоганн был старшим сыном герцога Клевского Иоганна I из дома Ламарк и Елизаветы Неверской. В 1481 году он унаследовал герцогство Клевское и графство Марк. Иоганн основательно разорил герцогскую казну, пытаясь сделать свой двор таким же роскошным, как и Бургундский.
В 1496 году Иоганн вступил в альянс с герцогством Юлих-Берг, чтобы уравновесить союз Бургундии с Габсбургами. Желая укрепить альянс, он женил своего сына Иоганна на единственной дочери герцога Юлих-Бергского Вильгельма. После смерти тестя его сын унаследовал герцогство Юлих-Берг.