Зе Каштру — воспитанник футбольной школы клуба «Академика» из Коимбры. 3 октября 2004 года он сыграл первый матч за основную команду клуба. Всего за два сезона Зе Каштру выходил на поле в составе «Академики» 54 раза, забил 1 гол, в нескольких матчах был капитаном команды.
Летом 2006 года он подписал контракт с «Атлетико Мадрид», в первом сезоне отыграл 22 матча и забил 2 гола, в следующем сезоне потерял место в основном составе. Летом 2008 года Зе Каштру был отдан в аренду в «Депортиво Ла-Корунья», на следующий год был выкуплен этим клубом за 2 миллиона евро.