H.C. Andersen opsøgte bispen Plum ved datidens bispegård, der lå nærmere Odense å end den nuværende. H.C. Andersen ønskede at tjene penge til sin store rejse for at indfri sine drømme om karriere ved Det Kongelige Teater i København. To dage før sin afrejse optrådte han ved aftale med bispinden med uddrag af komedier og tragedier, med sang og med at recitere digte.

Bispegården blev opført i 1804 til biskop Peder Hansen. Hovedbygningen består samt en mindre sidefløj, tidligere bestod gården af fem fritstående bygninger, hvilke blev revet ned i 1916, da den nuværende bispegård skulle opføres. Bispegården er at finde på Klaregade 25.