Septyniolikto amžiaus pabaigoje pradėjo kurtis pirmieji gyventojai. Tačiau dabartinio miestelio vietoje tuomet buvo vos dvi didelės ūkininkų sodybos.
Padavimuose pasakojama, kad pirmuoju Veiverių gyventoju buvo Jonas Ilgasis. Girioje iš rąstų susirentė trobą, šeimos neturėjo, žemės nedirbo ir ištisas dienas bastėsi po miškus. Medžiojo ir maitinosi žvėriena, laukinių bičių medumi, grybais ir uogomis, rengėsi žvėrių kailiais. Senoliai porino, kad vienišas girių gyventojas buvo tvirtas ir fiziškai stiprus. Savo rankomis įveikdavo briedį ar šerną. Tolimesni apylinkių žemdirbiai jį pradėjo vadinti „vėjagaudžiu“, „vėjavariu“, t. y. gainiojančiu vėjus. Vėliau veiveriais buvo pradėti vadinti visi besiplečiančio miestelio gyventojai.
Veiverių miestelio pradžia siejama su lenkų žemvaldžio Jozefo Godlevskio pavarde. Gyventojų atmintyje išliko istorija apie magnato ryšius su turtingu giminaičiu. Būdamas jaunas Jozefas tarnavo savo dėdės banke Kaune.
Naktį iš banko seifo pagrobė visus pinigus ir paspruko į Užnemunę. 1795 metais visa Sūduva po paskutinio Abiejų tautų respublikos padalijimo atiteko Prūsijos karalystei. Todėl caro valdžia jaunojo plėšiko pasiekti jau negalėjo. Suvalkijoje Juozas Godlevskis nusipirko dviejų tūkstančių valakų žemės plotą, kuriame buvo dvylika kaimų ir visa dabartinė Garliavos ir Pažėrų apylinkė.
Susikvietęs apylinkių valstiečius pareiškė, kad netrukus Šidiškių kaimo (dabar Freda) vietoje iškils klasicizmo architektūros šedevras. Už pagalbą statybose vietiniams atsiskaitydavo pinigais ir degtine. Vėliau prašymų jau nebuvo – žmones į statybvietę ėmė varyti prievarta. Šiuo metu rūmai žinomi Aukštosios Fredos vardu.
Devyniolikto amžiaus pradžioje, 1818 metais, Aukštosios Fredos dvaro savininkas Juozas Godlevskis Veiveriuose pastatė medinę bažnyčią. Vėliau senstelėjęs dvarininkas 1853 m. savo lėšomis miestelį papuošė dabartine Veiverių Šv. Liudviko šventove. Miestelis tapo parapija ir turėjo savo kleboną.
Veiveriai augo, didėjo, plėtėsi. Turėjo jau trisdešimt namų, ir beveik tris šimtus gyventojų. Tolimesni dvarininko planai buvo grandioziniai. Netoli Veiverių esantį Gyvių kaimelį norėjo paversti asmeniniu miestu. Magnato iniciatyva Gyviuose iškilo karčema, keletas sodybų. Žadėjo paversti kaimelį didesniu nei Kaunas. Baudžiavos panaikinimas ir senatvė sugriovė visus J. Godlevskio planus. Senasis magnatas mirė 1867 metais Fredoje.
Caro okupacijos metu rusai šalia plento per Veiverius pastatė milžiniškus arklių pašto rūmus. Čia buvo laikoma aštuoniolika pirmos ir dvylika antros rūšies žirgų. Šalia nuolat stovėjo paruoštos kelionei karietos, bričkos ir tarantasai. Šiomis susisiekimo priemonėmis naudojosi ne tik paprasti rusų valdininkai, bet ir kunigaikščiai, dvarininkai. Vadinamieji „paplenčių“ arklių traukiami pašto punktai prarado savo reikšmę po to, kai 1860 m. nutiesė geležinkelio liniją iš Kauno į Kybartus.
Devyniolikto amžiaus pabaigoje Veiveriuose pradėjo veikti pedagoginiai kursai. Vėliau patalpos paverstos mokytojų seminarijos namais. Rusai turėjo savų tikslų – siekė lietuvių vaikus, būsimus pedagogus, priversti kalbėti rusiškai. Oficialiai mokytojų namai turėjo ruošti tik lietuviukus. Todėl vietiniam viršaičiui prasidėjo aukso amžius. Už keletą rublių lenkų bajorų atžaloms išduodavo pažymą, kuri patvirtindavo jų lietuvišką kilmę.
Seminarijos vadovybė kiekvieną šeštadienį rengdavo auklėtiniams šokių vakarus. Norėdami ištrinti iš būsimų pedagogų lietuviškas mintis šokių partneres kviesdavo išskirtinai rusaites iš Kybartų. Mokytojų seminarijos direktorius merginoms apmokėdavo kelionę, pavaišindavo gėrimais. Daugelis lietuvių tokias šokių pamokas boikotuodavo, tačiau ateiti privalėjo.
Seminarijoje mokėsi iki pietų, vėliau turėdavo dirbti daržuose, kasti griovius ir visaip kitaip prisidėti savo darbu ūkiuose. Mokiniai privalėjo dėvėti pilką, namų darbo milinę, avėti klumpes ir griežtai vengti „poniškumo“. Su gražesne apykakle į pamokas atvykęs seminaristas buvo pastatomas prieš visą klasę ir viešai gėdinamas.
Veiverių mokytojų seminarija evakuota į Rusiją pirmojo pasaulinio karo audrose. Per penkiasdešimt metų buvo parengta beveik tūkstantis mokytojų. Didelė dalis auklėtinių vėliau tapo pradžios mokyklų mokytojais, įžymiais visuomenės ir kultūros veikėjais. 1919 metais mokytojų namuose įkurta Veiverių gimnazija.
Pirmosios Lietuvos respublikos laikais veiveriečiai didžiavosi gimnazija, pašto punktu, vaistine, policijos nuovada, sveikatos centru. Kuklaus miestelio puošmena buvo jau minėta mūrinė Švento Liudviko bažnyčia. Per Veiverius nutiestu plentu kasdien keliaudavo žmonės, kursuodavo autobusai ir vienas kitas automobilis. Daugybė arklių tempiamų vežimų su savo žemės ūkio produktais skindavosi kelią į Kauną. Pagrindiniai srautai buvo iš Vilkaviškio, Kybartų, Kudirkos Naumiesčio ar Marijampolės.