Кастровилли — воспитанник клубов «Минервино» и «Бари». 22 мая 2015 года в матче против «Специи» он дебютировал в итальянской Серии B[2]. В 2015 году Гаэтано на правах аренды перешёл в молодёжную команду «Фиорентину». В 2017 году клуб выкупил трансфер игрока и сразу же отдал его в аренду в «Кремонезе». 3 сентября в матче против «Авеллино 1912» он дебютировал за новую команду[3]. В этом же поединке Гаэтано забил свой первый гол за «Кремонезе». Летом 2019 года Кастровилли вернулся в «Фиорентину». 24 августа в матче против «Наполи» он дебютировал в итальянской Серии A[4]. 29 сентября в поединке против «Милана» Гаэтано забил свой первый гол за «Фиорентину»[5].
В июле 2024 года в качестве свободного агента присоединился к клубу «Лацио»[6].