Родился в знатной дворянской семье. В 1777 году поступил на военную службу офицером кирасирского полка.
Когда разразилась революция (1789) Клермон, вынужден был бежать. В числе многих других эмигрантов он приехал в Россию, был ласково принят при дворе и много путешествовал по занимавшей его своими хозяйственными особенностями стране. Скоро он стал членом Вольного экономического общества, а в 1799 году предпринял издание «Журнала о Земледелии»[1], посвящённого императору Павлу Петровичу. Французский текст принадлежал Клермону; параллельно шёл русский перевод Михаила Бородавкина.