Le mura castellane, anche dette mura malatestiane, risalgono al XV sec., ovvero al periodo in cui i Malatesta fecero costruire le cinte murarie a spese dei fanesi. La storia delle mura è abbastanza travagliata: bisogna tornare indietro nel tempo fino al 1283, anno in cui San Costanzo era uno dei castelli che entrava a far parte del cosiddetto Comitato di Fano, ma purtroppo di questo lasso di tempo non se ne ha traccia documentabile. Le prime attestazioni storiche saranno del 1429, ovvero quando uno dei fratelli Malatesta, Galeotto Roberto Malatesta, decise di ristrutturare le mura, le quali avevano risentito di assedi e ribellioni negli anni che vanno dal 1410 al 1416, creando così una vera e propria fortezza come si presenta tutt'oggi. Il restauro deciso dal Malatesta fu sicuramente uno dei più importanti, delineando la struttura attuale delle mura che, nonostante le molteplici ristrutturazioni, è possibile ammirare. Dal 1520, con Papa Urbano VIII, il borgo di San Costanzo diventò di dominio dello Stato della Chiesa. Lungo il perimetro delle mura, si erge in tutto il suo splendore ciò che un tempo era la parte principale del sistema di difesa, ossia la torre maestra. Inoltre, è possibile osservare le due torri che fiancheggiano una porta di accesso e un'altra torre circolare che presenta al suo interno una scala semicircolare. Intorno agli inizi del XVII secolo, nel parte a sud delle mura, venne costruito il palazzo del Pubblico in cui il Podestà aveva dimora fissa.