Воспитанник футбольной школы клуба ЛАСК из Линца, в котором выступал за все составы на протяжении почти 14 лет. В 2003 году выступал на правах аренды за клуб «Блау-Вайсс» в Регионаллиге, зоне «Центр». В 2004 году дебютировал в составе клуба в Первой лиге, в 2007 году добился выхода в Бундеслигу. В июле 2007 года впервые провёл матч в Бундеслиге против клуба «Аустрия Кернтен» и забил победный гол в ворота противника, принеся победу со счётом 1:0. В 2009 году был продан в венскую «Аустрию».[1]
В сезоне 2014/15 Флориан Кляйн подписал контракт с клубом немецкой Бундеслиги «Штутгартом»[2]. А в августе 2017 года вернулся в «Аустрию»[3].
В сборной
Ранее выступал за юношеские и молодёжные сборные Австрии[4]. Дебют в основной сборной пришёлся на 19 мая 2010, когда Кляйн сыграл против сборной Хорватии.