Матти Ярвинен родился в 1909 году в Таммерфорсе (Великое княжество Финляндское); его отцом был Вернер Ярвинен — бронзовый призёр Олимпиады — 1908. В 1932 году на Олимпийских играх в Лос-Анджелесе он завоевал золотую медаль, метнув копьё на 72 м 71 см. В 1934 года Матти Ярвинен стал чемпионом Европы, метнув копьё на 76 м 66 см и установив тем самым новый мировой рекорд. В 1936 году на Олимпийских играх в Берлине он был лишь 5-м, но в 1938 году вновь стал чемпионом Европы.
В годы Второй мировой войны Матти Ярвинен служил инструктором, обучая солдат метанию гранат.