В шесть лет он попал в академию венской «Аустрии», где и получил футбольное образование. В шестнадцатилетнем возрасте начал играть за вторую команду, а в следующем году начал привлекаться к матчам и за первый состав. Довольно быстро стал ключевым игроком «Аустрии», несмотря на молодой возраст.
1 февраля 2010 года принял предложение «Базеля» и перешёл в швейцарский чемпионат. Стал игроком основного состава и продолжил стабильно вызываться на матчи национальной сборной, был куплен за 4 млн евро. Контракт был рассчитан до 30 июня 2015 года.
27 июля 2013 года подписал пятилетний контракт с киевским «Динамо». О сроках и финансовых условиях контракта не сообщалось[3]. Дебютировал 11 августа 2013 года в домашнем матче 5-го тура чемпионата Украины против одесского «Черноморца», который завершился победой киевлян.
23 августа 2016 года перешёл в немецкий клуб «Байер 04» за 21 млн евро[4]. 31 августа 2017 года отправился в английский клуб «Лестер Сити» в аренду на один сезон[5][6].
26 мая 2021 года Драгович подписал трёхлетний контракт с белградской «Црвеной звездой»[7].