Wieża obronna Czartoryskich i fragment ściany są pozostałościami fortyfikacji Zamku Okolicznego, który w średniowieczu wzmacniał Zamek Górny od południa i zachodu. Zamek Okoliczny składał się z ośmiu wież, jednak połowa z nich była drewnianą. Wjazd na terytorium dokonany był przy pomocy mostu, przerzuconego przez rów, wypełniany w wodę (przechodził wzdłuż dzisiejszej ul. Dragomanowa). Z biegiem czasu fortyfikacje były stopniowo rozbierane i niszczone, a rowy zasypywane. Do dziś zachowała się tylko jedna wieża, nazwana imieniem książąt Czartoryskich, znanej rodziny szlacheckiej, zamieszkującej w Łucku w XV-XVI wieku.
Pod wieżą znaleziono również podziemne pomieszczenia, które prawdopodobnie były łączone między sobą razem z lochami pod kościołem.
Teraz wieża jest restaurowana oraz planowane jest otwarcie nowoczesnego muzeum ze stosowaniem 3D-efektów, hologramów, będą przeprowadzane tymczasowe wystawy tematyczne.