Ved søens nordøstlige bred ligger det store bygningskompleks med park, som under navnet [[Silkeborg Sanatorium]] blev opført i 1903 af [http://da.wikipedia.org/wiki/Nationalforeningen_til_Tuberkulosens_Bekæmpelse| Nationalforeningen til Tuberkulosens Bekæmpelse].
1. februar 1959 blevet hele området overtaget af Åndssvageforsorgen, som her indrettede anstalten [[Vejlsøhus]]. I forbindelse med at beboerne blev flyttet ud i mindre enheder overtog Silkeborg Kommune i 1986 bygningerne og i 1. november 1987 . Vejlsøhus blev formelt nedlagt med udflytningen af de sidste beboere i efteråret 1990. Derefter begyndte [[Ferskvandscentret]] at flytte sine aktivitetersine aktiviteter hertil. [[AQUA Ferskvands Akvarium]] blev bygget i årene 1992-93 af Ferskvandscentret og åbnede i juni 1993. I tilknytning til centret findes desuden institutioner som [[Danmarks Miljøundersøgelser]] og [[Danmarks Fiskeriundersøgelsers Afd. for Ferskvandsfiskeri]].
Den rekreative værdi af området omkring Vejlsø er stor på grund af den bynære beliggenhed.