Jernbanevej hedder sådan, fordi den løber langs med jernbanen, der kom til Silkeborg i foråret 1871 som en sidelinie fra Skanderborg. Det skete bl.a. med [[Michael Drewsen]] som drivkraft. Jernbanen videreførtes til Herning i 1877. Jernbanenettet på Silkeborgegnen blev efterhånden mere udbygget - [[Langå-banen]] indviedes i 1908, [[Kjellerup-banen]] i 1924 og [[Bryrup-banen]] kom som den sidste jernbanelinie til Silkeborg i 1929. Bilismens fremgang gav dog tilbagegang for togtrafikken. Mange ruter blev nedlagt og erstattet af busdrift - Kjellerup-banen nedlagdes i 1967, Bryrup-banen i 1968 og Langå-banen måtte lukke i 1971. Der findes dog stadig en veteranbane på strækningen Bryrup-Vrads.
Jernbanevej er en af de ældste gader i [[Lyngbykvarteret]], der opstod omkring 1890, da man åbnede en jerbaneoverførsel ved [[Koopmanns Svineslagteri]]. I mange år var forholdene elendige i kvarteret, hvor flertallet af beboerne var arbejdere og småkårsfolk: vejenes brolægning var mangelfuld eller ikke-eksisterende, gadelygter var der ingen af, polititilsyn glimrede ved sit fravær - undtagen når der skulle pantes for skat eller lignende - og postgangen var meget uregelmæssig. Med tiden løstes problemerne dog, efterhånden som bydelen voksede sammen med resten af Silkeborg. I dag er der næppe nogen, der kunne finde på at opfatte Lyngbykvarteret som dét uciviliserede Klondyke, det engang var. Koopmanns Svineslagteri Dette svineslagteri lukkede i 2002. Derefter opførtes boligkomplekset [[Koopmanns Gård]] på den gamle slagterigrund.
Jernbanevej er præget af midtbyvillaer og lavt etagebyggeri, med enkelte mindre forretninger, samt af jernbanen der løber langs vejens nordside.