Строительство начал литовский князь Эдивил. Каменные башни у сооружения появились благодаря князю ВКЛ и королю Литвы Миндовгу.
В 14 веке трижды замок выдержал осаду тевтонцев. Разрушили оборонительное строение в 17-веке русские войска.
Взяв замок, русские бросали горожан в ров, именно с той стены, где сейчас так медленно растет трава. Аккуратный прямоугольник- живое напоминание о русско-польской войне. После тех событий Новогрудок утратил свое величие.