Оборонна вежа Чарторийських і фрагмент стіни є залишками укріплень Окольного замку, який у середні віки посилював Верхній замок з півдня і заходу. Окольний замок складався із восьми веж, втім половина із них була дерев’яною. В’їзд на територію здійснювався за допомогою моста, перекинутого через рів, що наповнюється водою (проходив вздовж нинішньої вул. Драгоманова). З плином часу зміцнення поступово розбирались та руйнувались, а рови засипали. Збереженою до наших днів є тільки одна вежа, названа на честь князів Чарторийських, відомої шляхетської родини, що проживала у Луцьку у XV-XVI cт.
Під вежею знайдено також підземні кімнати, які, імовірно, сполучались між собою разом з підземеллям під костелом.
Зараз вежу реставрують та планується відкриття сучасного музею із застосуванням 3Д-ефектів, голограм, проводитимуться тимчасові тематичні виставки.
