Он был известен своим большим интересом к растениям и садам.
В его поместье Гартекамп имелось большое количество разнообразных растений. По заказу Клиффорда Карл Линней создал и опубликовал в 1738 году описание коллекций Гартекампа под названием Hortus Cliffortianus (лат.) — «Сад Клиффорда».