La chiesa di Santa Maria di Castello, adiacente all’ostello, risale, così come oggi si presenta, al XV secolo e fonde nella sua struttura stili di epoche diverse, come quello tardo – romanico della costruzione con il portale rinascimentale e, al suo interno, diverse opere di epoche successive (il crocefisso, l’altare, la fonte battesimale, la sacrestia). La chiesa, elevata nel 1629 alla dignità di abbazia, fu parrocchia affidata al clero secolare. Nel 1805, durante l’occupazione francese, il convento fu trasformato in magazzino militare. L’edificio presenta uno stile romanico-gotico e un portale Rinascimentale. L’interno è composto da tre navate con copertura di volte a crociera. La Chiesa conserva una scultura cinquecentesca rappresentante la Deposizione, realizzata in terracotta policroma, sono inoltre presenti un coro seicentesco in legno e una lapide trecentesca appartenente a Federico Dal Pozzo. Molto importante anche il convento adiacente, dove oggi sono situati i locali dell’ostello, affidato prima ai Padri Somaschi e successivamente alle Suore di Carità. Nel Risorgimento Italiano fu utilizzato come caserma e come reparto ospedaliero durante le epidemie in cui venivano isolati malati contagiosi. Di proprietà del Demanio a partire dal 1866 fu destinato in parte ad accogliere magazzini, prigioni e corpi di guardia. Durante la prima guerra mondiale fu utilizzato insieme a parte della chiesa come deposito di generi di monopolio.
Successivamente alla fine della grande guerra il convento diventò sede dell’istituto Nazionale Orfani di Guerra e in seguito, affidato alle Suore Salesiane, ospitò una scuola.