Miestas, kuriame stovėjo karališki rūmai, buvo Žemaitijos širdis ir siela. Netoli Plungės įsikūręs, daugiau nei tris tūkstančius gyventojų prieškaryje turėjęs Rietavas. Senoje žemaičių kunigaikštystėje buvo Rietavo pavietas, o miestas tituluotas centru. Šaltiniai teigia, kad 1529 m. mieste iškilo bažnyčia. Stanislovas Augustas Poniatovskis 1792 m. suteikė Magdeburgo teises ir herbą: bėgančio ir nasruose kalaviją laikančio liūto vaizdinį.
Kunigaikščiai Oginskiai Rietave įsikūrė aštuoniolikto šimtmečio gale. Įkūrus mieste savo rezidenciją, vietovė pasikeitė neatpažįstamai. Miestas buvo pertvarkytas ir pradėtas statyti pagal iš anksto parengtą planą. Pradėjo dygti gražūs mūriniai namai, gatvės tapo nebe tokios siauros.
Viename iš gražiausių Žemaitijos miestelių Oginskiai 1873 metais pastatė dviejų bokštų Šv. Arkangelo Mykolo bažnyčią. Įspūdingo grožio maldos namai prieškaryje buvo lyginami su Kauno ar Vilniaus šventovėmis. Statybas 1853 metais pradėjo ir daugybę asmeninių lėšų skyrė kunigaikštis Irinėjus Oginskis. Po poros dešimtmečių tėvo pradėtą darbą užbaigė sūnus Bogdanas. Tarpukaryje kanauninko Valaičio iniciatyva bažnyčioje buvo įrengtas radijas, sumontuoti garsiakalbiai. Žmonės buvo labai patenkinti, nes pamokslus girdėjo sėdėdami parke ant suoliuko. Šis malonumas klebonui kainavo porą tūkstančių litų. Tarpukaryje maldos namai buvo restauruoti.
Su Oginskių gimine susijusi visa Rietavo pramonė ir kultūra. Pirmoji elektros lemputė Lietuvoje 1892 metais sužibo miestelio bažnyčioje. Tais pačiais metais buvo pastatyta pirmoji elektrinė, o laidai nuvesti į Oginskių dvarą. Neužpučiamos šviesos stebuklo į Rietavą važiavo pažiūrėti karietos iš visos Žemaitijos.
Jau devynioliktame šimtmetyje mieste veikė geležies liejyklos ir muilo fabrikai, plytinės, lentpjūvės, malūnai, įvairios dirbtuvės. Pagrindinis Oginskių tikslas buvo paversti miestelį aukščiausios klasės kultūros žiburiu. Buvo dedamos didžiulės pastangos, kad Varnių vyskupijos kurija įsikurtų Rietave.
Akmenimis buvo išgrįstas visas miestelis. Tam tikslui sukonstravo didelį akmeninį volą, kuriuo spausdavo grindinį ir plento skaldą. Volą tempdavo šešios poros jaučių. Dvaro malūne dideles, akmenines girnas sukdavo dešimtys baudžiauninkų. Malūnas veikė dieną naktį. Ąžuolinį dyzelį sukančius valstiečius kontroliavo šalia stovėjęs prievaizdas.
Kunigaikštis Irinėjus Oginskis 1839 metais Rietave įsteigia pirmąją Lietuvoje žemės ūkio mokyklą. Visos pamokos dėstomos lietuvių kalba su dviejų metų kursu. Mokymo programą sudarė pirmų lietuviškų metraščių leidėjas Laurynas Ivinskis. Buvo paskirtas mokyklos vedėju. Ivinskį išgarsino lietuviškas kalendorius.
Mokyklą lankė tik apylinkės baudžiauninkų vaikai. Ironiška, bet šalia įsteigtame dvaro ūkyje studentai atlikdavo praktiką. Oginskiui dirbantys žmonės buvo laikomi visa galva geresni ūkininkai nei kitose Lietuvos vietose ūkininkaujantys. Kunigaikščio valdymo metu linų pramonė laikyta pavyzdine ir davė didžiulį pelną dvarui. Pamokų dėstymas lietuvių kalba buvo didelis Lauryno Ivinskio nuopelnas. O Oginskis kalbėjo žemaitiškai su savo tarnais ir valstiečiais.
Paskutinis Bogdanas Oginskis, Mykolo Kleopo anūkas, palikuonių nesusilaukė. Mirė 1909 m., palaidotas kartu su broliu Oginskių šeimos koplyčioje. Daugybė vertybių, paveikslų ir baldų pirmojo pasaulinio karo audrose buvo išvežta į Vokietiją. Nepriklausomoje Lietuvoje kunigaikščių rūmais niekas nesirūpino, galiausiai jie buvo nugriauti.
Likus metams iki vyro mirties Oginskienė Rietave įsteigė žemės ūkio kooperatyvą. Buvo vienas iš seniausių visoje Žemaitijoje. Kiekvienais metais našlė įnešdavo į kooperatyvo biudžetą tūkstantį rublių asmeninių lėšų. Pirmojo pasaulinio karo metu veikla tik dar labiau suintensyvėjo. 1927 metais Rietavo kooperatyvas turėjo šešias krautuves, nuosavus sandėlius ir namus. Dirbo apie penkiolika žmonių. Iš ūkininkų buvo superkami linai, sėmenys, grūdai ir kiaušiniai. Pardavinėdavo manufaktūros, galanterijos prekes, žemės ūkio techniką, trąšas. Prekės buvo išvežiojamos arkliais, vėliau už 19 000 tūkstančių litų įsigytu vieninteliu sunkvežimiu.
Prieškario Rietave, dvaro teritorijoje, buvo išlikusios didelės oranžerijos, augo dvi aukštos palmės. Manoma, kad jų amžius siekė tris šimtus metų. Buvo vienintelės visoje Lietuvoje. Jas prižiūrėjo Vytauto Didžiojo universiteto mokslininkai. Buvusio dvaro žaliuojančiame parke stovėjo praeitį menantis juodas granito obeliskas. Paminklo papėdėje buvo iškaltas Irinėjaus Oginskio vardas. Smailėjančio obelisko viršūnėje stovėjo angelas. Tarp šimtamečių maumedžių baltavo Aušros vartų koplyčia, kurioje gulėjo garsiųjų didikų kaulai. Puošniųjų rūmų jau nebebuvo, sodai ir parkai buvo apleisti ir neprižiūrimi. Fazanai ir gulbės iššaudytos. Ištisus dešimtmečius puoselėta didybė liko tik žmonių prisiminimuose.
1939 metais buvo nutiesta magistralė Kaunas-Klaipėda. Prezidentas Antanas Smetona perkirpo juostelę ir aplankė kiekvieną šalia žemaičių plento įsikūrusį miestelį. Susidarė trisdešimties lengvųjų automobilių vilkstinė. Šaltiniuose pabrėžiama, kad Rietavas savo iškilmėmis pralenkė visus miestus. Miestelio centre buvo pastatyta aukšta tribūna. Kelias iki jos išklotas kilimais. Garbės sargyba iš patrankų šaudė salves. Per įrengtus garsiakalbius buvo sakomos kalbos. Dievyčio ežero pakrantėje įvyko procesijos pabaigtuvės. Sutemose, po specialiai iš Kauno atvežta brezentine palapine, svečiai vakarieniavo. Dainavo chorai, šoko tautiniais kostiumais pasidabinę ansambliai.
Mieste gyvenimą reguliavo savivaldybė, paštas, apylinkės teismas, miškų urėdija, žemės ūkio mokykla, pradžios mokykla. Rietavas turėjo savo inžinierių, šešis gydytojus, veterinarą, vaistinę. Buvo daug stiprių prekybos įmonių. Kiekvieno vieškelio pakelėje stovėjo koplytėlės, kuriose buvo laikomi šventi abrozdėliai ir mediniai žemaičių meistrų išdrožti „dievuliukai“.
Mirštančiame dvaro sode tylą išblaškydavo žemę kasinėjantys miestiečiai. Išmirus kunigaikščiams Oginskiams daugeliui ramybės nedavė užkastų lobių legenda. Dvaro sode, prie kapinyno išrausdavo ištisas duobes. Bet jokių turtų per dvidešimt du nepriklausomybės metus niekas taip ir nesurado.