Свою карьеру Жеммали начал в 1994 году в составе клуба «Канн». Затем Давид в течение 11 лет, с 1997 года по 2008 год, выступал за «Бордо», в составе которого стал чемпионом Франции в сезоне 1998/99. По окончания сезона 2007/08 Давид покинул клуб в качестве свободного агента и присоединился к клубу «Гренобль».