Олайинка начал карьеру на родине. В 2012 году его заметили скауты албанского клуба «Бюлис» и пригласили в команду. 20 октября в матче против «Люфтетари» он дебютировал в албанской Суперлиге[3]. 4 февраля 2013 года в поединке Кубка Албании против «Теуты» Олайинка забил свой первый гол за «Бюлис»[4]. Летом того же года для получения игровой практики Петер на правах аренды выступал за клуб ТРСК «Яничами Агделен». Летом 2014 года Олайинка перешёл в «Скендербеу». 14 сентября в матче против «Аполонии» он дебютировал за новый клуб[5]. 25 октября в поединке против «Влазнии» Петер забил свой первый гол за «Скендербеу»[6]. В 2015 году он помог команде выиграть чемпионат.
Летом 2016 года Олайинка подписал трёхлетнее соглашение с бельгийским «Гентом». Сумма трансфера составила 1,1 млн евро. Сразу же для получения игровой практики Петер был отдан в аренду чешскую «Дуклу». 29 июля в матче против «Теплице» он дебютировал в Гамбринус лиге[7]. 6 августа в поединке против «Словацко» Олайинка забил свой первый гол за «Дуклу»[8].
Летом 2017 года Петер на правах аренды перешёл в «Зюлте-Варегем». 29 июля в матче против «Эйпена» он дебютировал в Жюпиле лиге[9]. 18 августа в поединке против льежского «Стандарда» Олайинка забил свой первый гол за «Зюльте-Варегем»[10]. Летом 2018 года Петер подписал контракт с пражской «Славией». 3 августа в матче против «Опавы» он дебютировал за новый клуб[11]. В этом же поединке Олайинка забил свой первый гол за «Славию».
