I en liten dalgång mellan högre terräng i öster och de två bergen Kullberget och Selsberget i väster ligger den lilla sjön Selsjön. Byn med öppen jordbruksmark ligger framför allt norr om sjön i småkuperad terräng. På andra sidan bergen i väster döljer sig i stället Ångermanälvens djupa dalgång.
Selsjön är första driftplats norr om Forsmo längs Stambanan genom övre Norrland och strax söder om byn har banan lämnat Ångermanälvens dalgång och passerat under riksväg 90. Infarten söderifrån finns i början av den kurva där banan rundar sjön Selsjöns södra ände. Järnvägen passerar sedan byns östra delar i nord-sydlig riktning öster om sjön. Utfarten norrut finns strax söder om bron för Skorpedsvägen efter en kurva sett från norra bangårdsänden. Här lämnar järnvägen Ådalens bebyggda trakter och går in i de stora sammanhängande skogsmarkerna öster om Ångermanälven.
Stationshuset i Selsjön var av Hällnäsmodellen och stod mitt på bangårdens västra sida strax norr om dagens teknikhus, stationshuset revs redan 1961. Norr om detta har det också stått en magasinsbyggnad intill stickspåret, även denna är riven. Driftplatsen styrs idag av ett ställverk modell 59 som tillåter samtidig infart (ESIL). Normalhuvudspåret ligger på östra sidan, från sidospåret finns ett stickspår på västra sidan som ansluter mot söder. Det är tidvis ganska stort avstånd mellan de båda huvudspåren på bangården då den tidigare har omfattat ytterligare ett spår.
I både södra och norra delen av bangården finns svaga kurvor i anslutning till bangårdsändarna, högerkurvor på nordgång, detta medan bangårdens mellersta del är rak. Landsvägen söderut mot Forsmo passerade tidigare över järnvägen vid kilometer 666 i höjd med dagens mellansignaler i söder, då söder om den betydligt kortare bangården. Strax söder om södra bangårdsänden, i den längre kurvan vid infarten söderifrån där banan rundar sjöns södra ände finns en obevakad gångfålla vid en badplats i sjön.