Первое упоминание о замке относится к XII веку, когда он находился в собственности Этьена Кастельбука, одного из вассалов Эли де Монбрена — предводителя ордена тамплиеров в местности Ларзак. В XVI веке бароны Жевордану прибегли к умышленному разрушению многочисленных замков, чтобы там не смогли основаться гугенотские беженцы[1]. В 1592 году претерпел разрушения и замок Кастельбук.