Naast de vesting dat de burcht beschermen moest, had ook de binnenstad zijn eigen stadsmuur, gebouwd sinds de 13e eeuw. Tot de dag van vandaag is er een deel ervan bewaard boven Vajgar, onder de achterrij huizen op het Vredesplein. Vanaf het minorietenklooster (naast de kerk van De Heilige Johannes de Doper) waar de resten van de dwingel en de stadsmuur behouden waren, ging de vesting naar boven richting Střelnice. Toen stond de Praagse poort hier en de stadsmuur leidde ervandaan door de gracht verder door de huidige Husovy boomgaarden tot de plek waar een villa vandaag staat. Tot nu toe herinnert de Na Hradbách (Op de stadsmuur) straat eraan.

Tegenover het vijvertje in het park id een halfrond bolwerk van de stadsmuur overgebleven. De resten van de stadsmuur zijn ook onderweg van het park langs Nežárka richting de Nežárecká poort zichtbaar, en ook aan de achterkant van de toenmalige jezuïetencollege. Van de brug tussen de Kleine en de Grote Vajgar is het originele hoekige bastion zichtbaar, ook een deel van de stadsmuur die tot nu toe in renaissance- en barokke vorm behouden is, de onderste kant ervan is gotisch. In de stadsmuur waren er ooit drie poorten waarvan alleen de Nežárecká poort onder het museum behouden werd. Op het eind van de Rybniční straat die van het Vredesplein tot Vajgar leidt, stond toen de Rybnická poort met de kenmerken en een hangende brug. Op het eind van de Panská straat, op de plek bij de huidige Střelnice, stond ooit de Praagse (Nieuwstadse) poort. Deze poorten werden in de jaren 20 van de 19e eeuw afgebroken toen de stad van de middeleeuwse vesting af wilde en buiten de stadsmuur uitgroeide.