Агирре вырос в бедной семье. В 14 лет он поступил в футбольную академию клуба «Альянса Лима». В 2001 году он дебютировал за основную команду в первенстве Перу. На протяжении 5 сезонов он выступал за «Лиму», приняв участие в 156 матчах и забил 40 голов. В составе «Альянсы» Вильмер четыре раза выиграл чемпионат Перу. В 2006 году он перешёл во французский «Мец». В своем первом сезоне он сыграл 29 матче и забил всего 4 мяча, после чего отправился в аренду в родную «Альянсу». После годовой аренды клуб выкупил трансфер нападающего.
Летом 2010 года Агирре подписал контракт с мексиканским клубом «Сан-Луис». 25 июля в матче против «Монтеррея» он дебютировал за команду в мексиканской Примере[3]. В этом же поединке Вильмер забил свой первый гол за клуб, реализовав пенальти.
В начале 2013 года Агирре в третий раз вернулся в «Альянса Лима». Отыграл за клуб два сезона. В 2015 году Агирре выступал за мексиканский клуб «Симарронес» в Ассенсо МХ.