Карьера Сосы началась в 2002 году в «Эстудиантесе». В сезоне 2005/06 Хосе показывал великолепную игру и помог клубу выиграть чемпионат Аргентины, а тренер клуба Диего Симеоне советовал ему перейти в римский «Лацио», но вопреки всему 24 февраля 2007 года игрок перешёл в мюнхенскую «Баварию». От этой сделки «Эстудиантес» получил 6 миллионов евро плюс 10 % от следующей продажи игрока. Контракт игрока был рассчитан на 4 года и позволил Хосе заработать за это время 4.5 миллиона евро. В начале 2010 года был отдан в аренду «Эстудиантесу».
30 августа 2010 года подписал 4-летний контракт с итальянским клубом «Наполи»[4][5]. 25 июля 2011 года подписал контракт с украинским клубом «Металлист» сроком на 4 года[6][7][8][9]. Начиная с зимы 2012 года им активно интересуется мадридский «Атлетико Мадрид»[10]. С лета 2012 года стал капитаном «Металлиста».
2 января 2014 года на правах полугодичной аренды Соса перешёл в «Атлетико Мадрид»[11][12][13], с которым стал финалистом Лиги чемпионов УЕФА и завоевал титул Чемпиона Испании, в основном выходя на замену. 1 июля 2014 года Соса вернулся в Металлист. В сентябре 2014 года был отдан в аренду турецкому «Бешикташу», но уже в октябре турки полностью выкупили контракт.[14]