Hyltebruk ligger i tätorten med samma namn vid nordöstra änden av den drygt milen långa sidobanan Torup–Hyltebruk till Halmstad–Nässjö järnväg. Samhället är uppbyggt kring bruket och järnvägen har också under lång tid stått för transporterna till och från ortens pappersindustri, en gång ett av världens största tidningspappersbruk.