Silkeborg er en ganske ung by som væsentligst opstod omkring papirindustrien ved Gudenåen i midten af 1800-tallet, og kun de færreste kender ret meget til byens tidlige historie som ruinerne på Slotsholmen ved Gudenåens udmunding i Silkeborg Langsø repræsenterer.
Slotsholmen er et fremskudt næs som fra øst rager ud i åen og søen, og her er der gennem arkæologiske undersøgelser i 1880-82 samt 1949 afdækket spor fra flere middelalderlige bygningsværker.
Når man skal besøge stedet i dag er det kun muligt fra Viborgvej, hvor en gangbro forbinder Slotsholmen med fastlandet.
Den første bebyggelse menes at være en palisadebefæstet holm fra 1200-tallet, som lå lige øst for de nu markerede ruiner, hvor den tilhørende borggård fra det senere slot siden hen blev anlagt. Syd for denne holm byggedes det første stenhus på 15 x 7,5 m i begyndelsen af 1400-tallet.
Fra midten af 1414 overgik stedet til biskoppen i Århus. Da opførtes en ny stenbygning yderst på næsset, og det er de udgravede fundamenter af denne bygning, som er markeret på Slotsholmen i dag.
Stenhuset lå adskilt fra fastlandet ved en gravet voldgrav (5), som stadig ses lige øst for ruinen, og øst herfor lå borggården, som igen var adskilt via en voldgrav fra staldgården længst mod øst. Både borggården og staldgården var bindingsværkbygninger, og staldgården formodes af have været befæstet med en mur mod landsiden.
Undergrunden ved Slotsholmen er i sagens natur ganske blød. Derfor var det nødvendigt at understøtte stenhuset med omfattende piloteringer. Langs hele fundamentet og under de fire opmurede piller som bar underetagens hvælvinger blev der nedrammet egetræspæle i omkring 2 m bredde, hvorpå der lagdes en svær konstruktion af vandretliggende tømmer, som kunne understøtte stenhusets sokkel. Huset var efter tiden ganske stort: 30 x 15 m og med et trappetårn på østsiden samt tegltag.
Bygningerne fungerede fra 1400-tallet og frem til reformationen i 1536 som lokalt administrationscenter for Århus-bispen og lejlighedsvis bolig for kongen. Ved reformationen blev ejendommen inddraget som krongods, og forblev i kongens besiddelse helt frem til 1664, hvor Frederik III. skænkede stedet til Christian Thomsen Fischer - kongens vinskænk i Glückstad - som betaling for et lån.
Bygningerne på Slotsholmen forfaldt gradvist i de følgende århundreder, og efter de udmarvende svenskekrige var det store stenhus så forfaldent, at det i 1726 blev nedrevet.
En stor del af stenene fra slottet blev genbrugt til opførelsen af Silkeborg Hovedgård ca. 600 m syd for Slotsholmen, hvor Silkeborg Museum i dag har til huse. Ud over den verdenskendte Tollundmand fra jernalderen rummer museet også en gennemgang af byens historie og fundene fra slotsudgravningerne.
Slotsholmen med det markerede grundrids af stenhuset henligger nu som offentlig bypark. Den nærliggende papirfabrik som gennem 150 år har været Silkeborg største arbejdsplads, er nu også nedlagt og ombygget til private boliger mv., men området øst for Slotsholmen rummer sikkert stadig mange uudforskede muligheder til at belyse byens ældste historie.