Иве Еролимов начинал карьеру футболиста в команде «Нехай» из города Сень[1].
В 1978 году перешёл в «Риеку», в составе которой выступал 4 сезона, забил 7 голов в 106 сыгранных в чемпионате матчах и дважды становился обладателем кубка Югославии.
В 1982 году Еролимов стал игроком сплитского «Хайдука». В команде защитник провёл 5 сезонов и ещё дважды выигрывал национальный кубок. Летом 1987 года Иве Еролимов перешёл в бельгийский клуб «Серкль Брюгге», где и завершил карьеру 2 года спустя.