Профессиональная карьера Йылмаза началась в «Ингёльспоре» в 1996 году. Два года спустя, в 1998 году, он перешёл в «Бурсаспор». В этом клубе он дважды становился лучшим бомбардиром чемпионата Турции (в 2001 и 2003 годах). В 2003 году его хотели купить ЦСКА и «Олимпик Марсель». Стоимость трансфера, предлагаемая «Олимпиком», устраивала «Бурсаспор», но Йылмаз не принял условия контракта[2].
В сборной
Йылмаз начал свою карьеру в молодёжной сборной Турции в 2000 году. Он был назначен капитаном команды в 2003 году, но с 2004 не вызывался в сборную.