Varberg utgör knutpunkt mellan Västkustbanan och Viskadalsbanan mot Borås. Stationen och bangården ligger centralt i staden strax nordväst om centrumkärnan i anslutning till hamnen. I anslutning till stationshuset på bangårdens östra sida finns fyra plattformsspår. Närmast stationshuset finns en kort plattform intill spår 1, men de flesta tåg avgår från spåren 2–4 som nås via två längre plattformar och en plattformsövergång i södra änden vid stationshusets södra del. Spår 3 ligger mellan de båda plattformarna och kan därmed nås från båda.
Bangården i Varberg förändras nu kraftigt i samband med att Västkustbanan byggs ut till dubbelspår genom staden och läggs i en tunnel under centrum. En ny station ska byggas vid norra tunnelmynningen strax norr om den gamla och den gamla bangården kommer därefter att rivas. Godshanteringen flyttar till en ny godsbangård längre norrut i anslutning till skiljet mellan Västkustbanan och Viskadalsbanan.