Il Museo Diocesano, intitolato al vescovo Francesco Gonzaga, è ospitato all'interno dell'antichissimo ex-monastero agostiniano di Sant'Agnese, che affaccia sull'ampia Piazza Virgiliana. Il monastero venne edificato nel XIV secolo con una chiesa ricca di opere d'arte, un grande chiostro e corpi annessi. Godette di tanto prestigio da ospitare, in entrambe le sue visite a Mantova, l'imperatore Carlo V. Fu soppresso nel 1782 e la chiesa venne demolita, fu quindi adibito ad usi civili dal governo austriaco. La ristrutturazione - in particolare quella della facciata, curata dall'architetto veronese Paolo Pozzo alla fine del XVIII secolo - ne mantenne inalterata la struttura conventuale. La diocesi ha riscattato l'edificio, andato progressivamente degradandosi, alla metà del '900 e dopo i restauri fu adibito a servizi per la scuola, con il nome di "Casa dello studente Beato Contardo Ferrini".
Il chiostro interno, che cinge il cortile alberato, è sopravvissuto inalterato alla soppressione e alla demolizione settecentesche ed è l'accesso agli ambienti del Museo Diocesano (collocati al piano superiore). Nel Museo sono conservati oggetti di notevole valore sia artistico che devozionale provenienti da chiese mantovane o da collezioni private. Di grande spicco la collezione di armature italiane quattro-cinquecentesche eseguite nella celebre bottega milanese dei Missaglia, i più celebri armaioli di quel tempo.
