Первым профессиональным клубом Косси Агассы стал тоголезский «Этуаль Филан» из Ломе. В 2001 году голкипер перешёл в ивуарийскую «Африку Спорт».
С 2002 по 2006 год Агасса выступал за французский клуб «Мец». Первый матч за «Мец» в Лиге 2 провёл 3 августа 2002 года против «Геньона», не пропустив в этой встрече ни одного гола в свои ворота[3]. По итогам сезона тоголезский вратарь в 18 проведённых матчах пропустил 17 мячей, а «Мец» завоевал право вернуться в Лигу 1.
Косси Агасса дебютировал в высшем дивизионе Франции 2 августа 2003 года в матче с «Аяччо»[4]. Всего за сезон голкипер сыграл 11 матчей, тогда как его партнёр по амплуа Людовик Бютелль — остальные 27[5].
После отъезда Бютелля в «Валенсию» летом 2004 года основным вратарём «Меца» стал Грегори Вимбе[6][7]. Агасса же сыграл лишь по одному матчу в каждом из 2 следующих сезонов и летом 2006 года стал игроком испанского «Эркулеса».
В испанском клубе голкипер провёл 8 матчей за полтора сезона и в январе 2008 года вернулся во Францию, подписав контракт с «Реймсом», выступавшим в то время в Лиге 2. Дебютировал в новом клубе 25 января 2008 года в матче против «Ньора»[8]. В сезоне 2009/10, когда «Реймс» играл в лиге Насьональ Агасса на правах аренды выступал за клуб Лиги 2 «Истр». С 2012 по 2016 год вратарь в составе «Реймса» выступал в Лиге 1.