
Miesto apylinkėse gyventa jau neolite. Viduramžiais, Alytaus apylinkės buvo gyvenamos mišriai jotvingių ir lietuvių genčių, nes Alytus buvo paribyje tarp šių genčių. Vėliau dėl istorinių aplinkybių, jotvingius asimiliavo lietuvių gentis. Nemuno kairiajame krante yra dvi dešimtys VI–IX amžių pilkapių, XIII–XIV amžiais Nemuno dešiniajame krante, santakoje su Alytupiu čia stovėjo medinė Alytaus pilis, minima nuo 1377 m. 2010 m. kasinėjimai miesto centre parodė, kad istorinės Alytaus ištakos buvo dabartinio miesto centre, nuo XIV a. čia stovėjo rotušė ir bažnyčia.
Alytus – vienas seniausių Lietuvos miestų. Pirmą kartą minimas 1377 m. kaip Alytaus pilis Vygando Marburgiečio kronikoje. Per Alytų į šalies gilumą ėjo kryžiuočių puolimų keliai. 1387 m. LDK dokumentuose minimas kaip miestelis. Po Žalgirio mūšio dešiniajame Nemuno krante ėmė augti gyvenvietė, kuri vadinosi Alytus I, nuo XV a. pabaigos kairiajame krante, Užnemunėje auganti gyvenvietė ėmė vadintis Alytus II. 1466 m. minimas Alytaus valsčius. 1524 m. pastatyta bažnyčia ir įsteigta parapija. 1549 m. LDK Žygimantas Augustas Alytų užrašė Barborai Radvilaitei. 1581 m. birželio 15 d. Lietuvos didysis kunigaikštis Steponas Batoras suteikė Alytui Magdeburgo teises ir herbą. Ši data yra minima kaip Alytaus miesto diena. Praeityje Alytus daug kartų nukentėjo nuo svetimų kariaunų. Ne kartą jį naikino gaisrai, maro epidemijos ir kitos nelaimės. 1586 m. pastatyta cerkvė. Miestas priklausė Trakų vaivadijai.
XVII a. karų su Rusija ir Švedija metu miestas neteko daug gyventojų. 1775 m. iš Trakų ir Merkinės Alytun perkelti pavieto teismai. XVIII a. pabaigoje abiejuose Nemuno krantuose gyveno beveik po vienodai gyventojų, tačiau prekyba ir amatais pirmavo dešiniakrantis Alytus. 1795 m. miestas padalintas: rytinė dalis (Alytus I) atiteko Rusijos imperijai, o vakarinė (Alytus II) – Prūsijos karalystei. 1807 m. Alytus II atiteko Napoleono sukurtai Varšuvos kunigaikštystei, po Vienos kongreso atiteko Lenkijos karalystei (priklausė 1815–1915 m.). Dėl geresnių ūkio sąlygų kairysis krantas ėmė sparčiai plėtotis, o dešinysis nusilpo, ir nuo to laiko Alytus II tapo stipresniu miestu.
1915 m., kai Lietuvoje ir Suvalkų gubernijoje įsitvirtino vokiečių karinė administracija, Alytus I ir Alytus II buvo sujungti į vieną administracinį vienetą. 1919 m. vasarį mieste vyko Alytaus kautynės, kuriose Lietuvos kariuomenė kovėsi su bolševikais, prie Alytaus žuvo pirmasis karininkas Antanas Juozapavičius. Antrojo pasaulinio karo metais Alytuje sušaudyti keli tūkstančiai žydų. 1932 m. Alytui suteiktas kurorto statusas. 1944 m. liepos 15 d. miestą užėmė sovietai (III Baltarusijos fronto kariai). Pokario pasipriešinimo judėjime miestas priklausė Dainavos krašto apygardai. 1946 m. rugpjūčio 3d. tapo apskrities pavaldumo miestu.
Po karo miestas ėmė sparčiai augti, ypač po 1963 m. kaip pramonės centras. Pastatytas didžiausias Pabaltijo respublikose medvilnės kombinatas, didelė šaldytuvų „Snaigė“ gamykla, eksperimentinis namų statybos kombinatas, mėsos kombinatas, „Dainavos“ siuvimo fabrikas, kombinuotųjų pašarų gamykla. 1977 m. kovo 30 d. Alytui suteiktos respublikinio pavaldumo miesto teisės. 1995 m. patvirtintas dabartinis Alytaus herbas.
