De fleste danske voldsteder stammer fra 12-1300-tallet, hvor de ud fra forsvarshensyn blev strategisk anlagt i landskabet. Det er ikke tilfældet med det relativt unge Hagsholm Voldsted fra 1500-tallet, som mere har karakter af en almindelig bolig på et symbolsk voldsted.
Voldstedet ligger på ingen måde uindtageligt i terrænet, og kanonens fremkomst havd desuden gjort, at borge med murværker og voldgrav ikke længere gav nogen særlig beskyttelse.
Hagsholm Voldsted stod færdig i 1594, og blev ifølge skriftlige kilder opført af rigsråd Manderup Parsberg, som havde haft stedet siden 1583.
Bygningerne stod på en næsten kvadratiske 60 x 60 m store banke, som til alle sider er omgivet af en op til 24 m bred voldgrav, som sikkert var vandfyldt i al fald i dele af året. Indersiden af voldgraven er stensat med opstablede kampesten, og mod nord fører en adgangsdæmning over voldgraven. Oprindeligt har der måske været en træbro over voldgraven.
Voldbanken hæver sig ikke nævneværdigt over det omliggende terræn, og yder således ingen beskyttelse, hvorfor stedets opbygning som voldsted mere må mere tilskrives tradition og status frem for forsvar.
På voldbanken stod en firefløjet bygning, hvorfra de nu tilvoksede fundamentrester stadig ses. I sydvesthjørnet stod et tårn, og samme sted var der et trappetårn mod gårdspladsen som bygningerne omsluttede.
I østenden af nordfløjen - lige indenfor portåbningen mod nord - har der ligget en teglopbygget kælder. Skriftlige kilder fra synsforretninger i slutningen af 1600-tallet fortæller, at kapellet lå i nordfløjen, fruerstuen mod øst, riddersalen mod vest og diverse administrations-, lager- og forrådsrum i sydfløjen. Det må formodes at den tilhørende ladegård har ligget et sted nord for voldstedet.
Manderup Parsberg satte sig ikke blot spor ved at bygge Hagsholm. Han skænkede også en ny altertavle, prædikestol og stolegavle til Houlbjerg kirke, som alle sammen prydes med hans våbenskjold.
Bygningerne på Hagsholm voldsted stod i lidt over 150 år.
I 1682 blev stedet solgt til Frijsenborg, og i 1765 blev bygningerne nedrevet og gårdens jordtilliggender fordelt på 6 fæstegårde.
Jorden kom dog tilbage til Hagsholm, da den nye gård blev opført i 1890 ca. 500 m sydøst for det gamle voldsted.