Тшиембе — воспитанник клубов «Брёнсхёй», «Копенгаген», «АБ Гладсаксе» и «Люнгбю». 3 августа 2017 года в отборочном поединке Лиги Европы против российского «Краснодара» Кевин дебютировал за основной состав последних[3]. 11 февраля 2018 года в матче против «Брондбю» он дебютировал в датской Суперлиги[4]. В том же году клуб вылетел в Первый дивизион Дании, но игрок остался в команде и спустя год помог команде вернуться в элиту. 24 ноября 2019 года в поединке против «Сённерйюска» Кевин забил свой первый гол за «Люнгбю»[5]. Летом 2021 года Тшиембе перешёл в «Брондбю». 8 августа в матче против «Копенгагена» он дебютировал за новую команду[6].