Älvsbyn ligger i Piteälvens dalgång omkring fem mil uppströms Piteå. Här mellan Kanisberget i sydväst och Hundberget i nordost, där Korsträskbäckens dalgång från Stor-Korsträsket och Lill-Korsträsket i väster ansluter till Piteälven, är den senares dalgång något vidare med gynnsamma förhållanden för jordbruk. Dalgångarna har varit befolkade, om än glest, sedan mycket lång tid med Piteälven som en livsnerv och kommunikationsväg. Nuvarande Älvsbyn föddes ur Nedre byn, där bygdens kapellag under Piteå församling vid 1800-talets början beslutade bygga en kyrka för att slippa långa resor till församlingens kyrka i Öjebyn vid kusten. Kyrkan som uppfördes på en liten höjd på Piteälvens västra sida står kvar än idag något om- och tillbyggd och lade inte bara grunden till en ny församling utan också till ett nytt bygdecentrum som idag har utvecklats till tätorten Älvsbyn.
Stambanan genom Älvsbyn öppnades 1894 efter att ha byggts söderut från Boden, rallarlagen från söder och norr möttes som bekant i Koler omkring fyra mil längre söderut. Banan följer Korsträskbäckens dalgång från söder och väster och måste efter passagen över Piteälven runda bergen i nordost på norra sidan, stationen placerades därmed drygt en kilometer nordväst om kyrkplatsen. Stationen fick med dåvarande stavning namnet Elfsby. Stavningen ändrades sedan 1912 till Älvsby vilket gällde fram till 1944 då nuvarande namnform började användas.
Från järnvägens ankomst och lång tid framöver var Älvsbyn fortfarande en liten jordbruksby och järnvägen hamnade med andra ord i dess utkant. Så var förhållandet ända fram till mitten av 1900-talet då industrier med Älvsbyhus i täten etablerade sig på järnvägens nordvästra sida. Centrum ligger idag något närmare stationen än vad kyrkplatsen gör längs vägen mellan dessa. Tätorten har samtidigt växt kraftigt så att villaområden har fyllt upp jordbruksmark söder och väster om kyrkan fram till stambanan och även på järnvägens nordvästra sida intill älven.