Родился в селении Аллиутсог (Гренландия), сын немецкого миссионера Конрада Кляйншмидта. Получил религиозное образование в Саксонии, в 1841 году вернулся в Гренландию и стал членом Евангелического братства (Herrnhuter Brdergemeine), работал миссионером и школьным учителем в селениях Акуннат и Ной-Херрнхут. С 1859 года служил в датской миссии в Нууке.
Его основное сочинение — «Грамматика гренландского языка с частичным включением лабрадорского диалекта» (Берлин, 1851). Издавал газету Атуагагдлиутит (основана в 1861 году), в которой публиковал материалы о гренландской культуре и языке. В 1871 году вместе с Виттусом Стеенхолдом издал в Копенгагене «Словарь гренландского языка».
Кроме того, Кляйншмидт писал работы по зоологии, истории и географии, перевёл на гренландский язык Ветхий и Новый Завет.