Fågelsjö ligger i nordöstra Dalarna omkring tre och en halv mil söder om Sveg på norra sidan av Fågelsjön. Järnvägsstationen ligger i sin tur omkring två kilometer öster om byn och där finns även viss bebyggelse utöver järnvägens egen. Bangården ligger nordväst-sydostlig riktning och stationshuset står på sydvästra sidan. Bangården har idag två genomgående spår och ett stickspår närmast stationshuset.