Hultsfreds station öppnade 1874 som en del av Nässjö–Oskarshamns järnväg (NOJ). Tre år senare öppnades Vimmerby–Hultsfreds järnväg som då anslöt från norr, den förvaltades först av NOJ men blev sedan en del av Östra centralbanan som idag tillsammans med Kalmar–Berga järnväg har bildat Stångådalsbanan Linköping–Hultsfred–Berga–Kalmar. Smalspåriga Hultsfred–Västerviks järnväg öppnades i sin helhet 1879 medan smalspåret från Växjö nådde Hultsfred först 1922.
Hultsfred har än idag fem anslutande linjer i olika riktningar, tre normalspåriga och två smalspåriga. Normalspåret från Nässjö kommer in från nordväst och når den sydsydostliga riktning som spåren har inne på bangården redan en kilometer före densamma. Banan från Linköping och Vimmerby kommer rakt norrifrån och går sedan in parallellt med Nässjöspåret in mot bangården. Normalspårsutfarten söderut sker sedan nästan rakt söderut. Smalspåret från Västervik kommer in från nordost och rundar sjön Hulingens norra ände på väg in mot bangården. Väl inne ligger smalspårsbangården parallellt med och alldeles intill normalspåret. Söderut fortsätter smalspåret följa normalspårets östra sida drygt tre kilometer innan de korsar varandra planskilt och smalspåret fortsätter mot sydväst.
Stationshuset i Hultsfred ligger på bangårdens västra sida. Framför det finns en plattformsövergång till vilken samtliga plattformar ansluter, både för normalspår och smalspår. Norr om övergången finns en stamplattform vid spår 1 och från övergången och söderut finns en plattform mellan spår 2 och 3, alla dessa är normalspår. Längre österut på övergången nås smalspårets mellanplattform, denna del av övergången är dock inte bevakad och normalt spärrad av en låst grind när det inte är trafik på smalspåret. Hultsfreds normalspårsdriftplats styrs sedan 1998 av ett ställverk 59.