В 1386 году объединенные войска прусских и ливонскихрыцарей осадили замок. Гарнизон мужественно и долго защищался, много крестоносцев погибло под стенами Лукомля, однако в ходе длительной осады и штурма замок был взят.
Во время Ливонской войны 1588-1583 гг. в 1563 году город и замок захватили и уничтожили войска Ивана IV Грозного. Замок больше не восстанавливался. Остатки больших валов осматривал в 1573 году историк М.Стрыйковский, который отметил, что на этом месте некогда был большой замок. С XVII века документы упоминают только деревню Лукомль.