Rytterholtsvej har navn efter det lille næs " Rytterholt", der ligger på den nordøstlige bred i Borresø vest for Svejbæk Snævringen.
Der er dog også sikkert forbindelse til ejendommen " Rytterholt", som ligger på Rytterholtsvej 30.
Karl Gustav besatte Jylland med den svenske hær