Чаваррия — воспитанник каталонского клуба «Фигерас». 10 сентября 2016 года в матче против «Пералада» он дебютировал в четвёртом дивизионе Испании[1].
В июле 2018 года, Чаваррия стал игроком клуба «Олот»[2]. 2 сентября 2018 года в матче против «Пералада» Пеп дебютировал за клуб[3]. 10 ноября в матче против «Вильярреала B» Чаваррия забил первый гол за «Олот»[4].
25 августа 2020 года перешёл в клуб «Реал Сарагоса», подписав четырёхлетний контракт. 26 сентября во встрече против «Лас-Пальмас» дебютировал в Сегунде[5]. 19 декабря в матче против «Луго» Чаваррия забил дебютный гол за новый клуб[6].
В августе 2022 года, защитник стал игроком мадридского «Райо Вальекано». 4 сентября в матче против «Осасуны» Пеп дебютировал в испанской Ла Лиге[7].