La Porta del Passerello, che sorge accanto alla Rocca che porta lo stesso nome, era un tempo inglobata nelle mura medievali e costituiva uno dei quattro accessi alla Cittadella che venne fortificata da Sigismondo Pandolfo Malatesta nel 1449, come ricorda l'epigrafe conservata nel lapidario della Rocca Malatestiana. La porta è stata in parte abbattuta nel 1964 e ricostruita nel 2001 con le pietre originali, da cui proviene uno stemma con le due torri oggi esposto nella Rocca del Sasso. Rappresenta una delle due porte medievali ancora conservate in situ, insieme alla Porta di Sant'Agostino, mentre delle porte dell'Acqua e del Sasso oggi si conosce solo il luogo di originaria collocazione.