H.C. Andersen holdte meget af at komme på Holsteinborg Slotspark og blev en nær ven af familien. Han aflagde i årene 1856-1874 Holsteinborg 17 besøg, og kom også besøg på familiens bopæl i København. H.C. Andersen fik på Holsteinborg indrettet sig sin egen lejlighed i 1856, der efter hans død i 1875 blev låst af og først åbent i nyere tid. H.C. Andersen fandt inspiration her og flere af hans eventyr, historier m.m. knytter sig til Holsteinborg.