У місті добре збереглися історичні вали – залишки унікальної земляної фортифікаційної споруди середини XVIII століття, збудованої у 1754 році німецьким інженером І. Менцеліусом, площа якої охоплює 6 гектарів. Фортеця мала форму шестикутника, оточеного валами і глибоким ровом. Бастіони мали форму п’ятикутників з відкритими на фортечний плац горжами та подвійні фланки. Равеліни мали форму неправильних ромбів і були відкриті з тилу. Також у фортеці було троє воріт зі сторожовими вежами та кордегардіями: Троїцькі (головні, тепер виїзд на Новоолексіївку), Пречистенські та Всіхсвятські.

Ще у 1754 році навколо споруджуваного укріплення виник населений пункт. В 1763 році у фортеці було відкрито школу для офіцерських дітей, у 1764 році – засновано першу в Україні друкарню цивільного шрифту, у 1787–1788 роках Г.О. Потьомкін заснував тут один з перших в Україні медичних навчальних закладів – медико-хірургічну школу, яку закінчив Є.Й. Мухін, що став видатним хірургом і був одним з вчителів М.І. Пирогова. Сам М.І. Пирогов працював у фортечній лікарні під час Кримської війни 1853–1856 років.

Фортеця і дотепер залишається пам’яткою будівельного таланту і праці сотень українців  – селян, солдатів, козаків, які звели серед степу цей шедевр військово-інженерного мистецтва. Екскурсії по фортеці розповідають про буремне історичне минуле краю, розкриваючи цікаві подробиці тогочасного життя. Також на історичних валах сьогодні розташовані два меморіали. Це – Меморіал Слави – на вшанування пам’яті воїнів, солдат і офіцерів, які загинули у війні 1941–1945 років, а також Меморіал, присвячений вшануванню пам’яті воїнів, які загинули в зоні антитерористичної операції на сході України.