Gården fungerede nu på godt og ondt som fattiggård ([[arbejds- og forsørgelsesanstalt]]) i 41 år. Der var skiftende bestyrere, men ikke hyppige udskiftninger. Hver bestyrer fungerede i gennemsnit i omkring 10 år.
Frydensbjerggaard eksisterede som fattiggård indtil 1943, hvorefter den blev kommunens [[husvildebolig]]. Samme år byggedes på Rylevej 2 barakker med . De rummede ialt 16 lejligheder på med ca. 23 kvadratmeter i hver. Som vicevært ansattes Aage Rasmussen.
I august 1962 nedbrød man gården såvel som barakkerne, og nu ligger [[Sygeplejehøjskolen]] nøjagtigt der, hvor fattiggården lå på [[Høgevej 12]], men intet spor er tilbage af den.