Tarpukario zanavykai didžiavosi gražia mūrine bažnyčia, pradžios mokykla, paštu, gariniu malūnu, krautuvėmis ir didele plytine.
Tačiau prieš penkis šimtus metų apylinkėse nebuvo nei vienos sodybos. Žaliavo girios ir krūmokšniai. Miškuose veisėsi laukiniai žvėrys, kurių kailiai viliojo medžiotojus iš tolimiausių kampelių. Manoma, kad karaliaus dvariškiai medžioklės plotus vadino Gedigaudiškiu.
Šešiolikto amžiaus pradžioje Lietuvos Didysis kunigaikštis miškus, kaip Skirsnemunės dvaro priedą, padovanojo Jonui Sapiegai. Didikas iškirto dalį miškų ir medieną nuplukdė į Prūsiją. Skynimuose įkūrė nedidelį dvarelį ir pastatė medinę bažnytėlę. Po kelių dešimčių metų Sapiegos vaikaitis Andrius dvarvietę pardavė magnatui Masalskiui, kuris vietovei suteikė Gelgaudiškio vardą.
Vėliau Gelgaudiškį nupirko didikas Oziemblovskis. Jo gentainiai teritoriją valdė iki pat aštuoniolikto amžiaus pradžios. Legendos mena, kad naujasis savininkas buvo ypatingai godus ir keistas. Iškirto dar daugiau miškų ir aplink dvarą įkūrė penkiolika kaimų.
Svajodamas pasistatyti prabangius rūmus Krokuvoje, suko galvą, kaip daugiau uždirbti. Sklido legendos apie kvietimą į Gelgaudiškio dvarą atvykti auksą gaminti mokančius alchemikus. Iš Vokietijos atvyko garsiu alchemiku save laikantis Gruberis. Save pristatė puikiu meistru ir gyrėsi, kad auksą gamindavo Bavarijos karaliui. Didikas Oziemblovskis svečiui parūpino keletą kambarių, pristatė gyvsidabrio, švino ir vario.
Alchemikas turėjo visko, ko pageidavo. Naktimis savo laboratorijoje visada kažką virė, degino ir kalbėjo užkeikimus. Nuolat reikalavo pinigų, bet aukso vis dar nebuvo. Taip tęsėsi du metus. Burtininkas teisinosi, kad piktosios dvasios trukdo jam dirbti. Naivusis dvarininkas užpirko mišias ir šaukėsi kunigų pagalbos kovoje prieš velnią. Apsukrūs dvasininkai už pagalbą išsireikalavo didesnių žemių plotų, naujos medinės šventovės ir parapijos teisių.
Gelgaudiškio valdovas įlindo į skolas, bet vilties dėl aukso neprarado. Dar po dviejų metų alchemikas iš Vokietijos užtikrino, kad vyksta paskutiniai bandymai ir netrukus bus krūvos aukso. Pareikalavęs paskutinio atlyginimo vieną naktį Gruberis iš dvaro dingo.
Oziemblovskis pasijutęs apgautas pasiuntė karius sugauti pabėgėlį. Alchemikas įkliuvo Kidulių miškuose, netoli prūsų sienos, buvo atvarytas į Gelgaudiškį atgal. Iki beprotystės privestas dvarininkas įsakė plakti alchemiką rykštėmis, reikalavo pasakyti aukso gamybos paslaptį. Galų gale nurodė pririšti jam po kaklu akmenį, nuvedė prie Nemuno ir įmetė į vandenį. Nuskurdęs ir skolų prispaustas magnatas netrukus mirė.
Vėliau dvarvietė atiteko Gelgaudams, o po jų Čertoriškių giminei. Pastarieji Gelgaudiškyje negyveno – atvykdavo pramogauti, medžioti ir susirinkti iš gyventojų mokesčius. Po trečiojo Lenkijos-Lietuvos padalinimo visa Suvalkija atiteko prūsams. Gelgaudiškyje eilinį kartą pasikeitė savininkai. Dvarą nupirko vokiečių didikas Teodoras Koidelis.
Apylinkių gyventojai šį laikotarpį prisiminė su siaubu. Naujasis valdovas buvo gobšesnis už patį Oziemblovskį. Tiesa alchemija jis netikėjo, o kapitalą didino daug žiauresniais metodais. Valstiečiai reguliariai vežiojo įvairiausias duokles ir šešias dienas per savaitę dirbo Gelgaudiškio dvaro laukuose.
Baudžiauninkų vaikai per vasarą privalėjo surinkti dvarui penkis gorčius riešutų ir dešimt krepšių grybų. Pirmos nakties teise Koidelis nesinaudojo, bet tik dėl to, kad turėjo labai piktą žmoną. Tačiau valstietis norėdamas susituokti mokėjo ponui dvidešimt sidabrinių monetų. O nuotakos atseikėdavo dešimt „uolekčių“ drobės ir dešimt porų vilnonių pirštinių.
Suvargę, išbadėję, rykščių sukapoti gelgaudiškiai palikdavo savo namus, gyvulius ir ūkius. Su šeimomis naktimis bėgdavo per sieną į rusų pusę. Į ištuštėjusias sodybas Koidelis atkeldavo vokiečių kolonistus. Vėliau iš likusių lietuvių atiminėjo ūkius, naikino kaimus ir kūrė naujus dvarelius. Po 1844 metų buvo įkurti dvidešimt du nauji palivarkai. Girdavosi savo sadistiškais metodais ir žadėjo sunaikinti visus lietuvius.
Kartą dvaro rūmuose apsistojo čigonų taboras. Tai pamatęs Koidelis liepė visus išvaikyti, tačiau senoji čigonė maldavo pasigailėjimo. Žadėjo atsilyginti geros ateities spėjimu. Saulei nusileidus pasikvietė magnatą prie Nemuno. Kiti taboro nariai laiko veltui negaišo: išvedė iš dvaro tvartų geriausius arklius, iš svirno dingo lašiniai ir rūbai. O senoji čigonė tėškė dvarininkui į akis uostomojo tabako ir pranyko nakties tamsoje.
Napoleonui nepavykus užkariauti Rusijos Suvalkija grįžo į caro rankas. Tačiau Koidelis vis dar vykdė vokietinimo politiką ir engė valstiečius. 1875 m. visiems Koideliams buvo atimtos rusų pilietybės. Rusų valdžia vokiečių giminei metė kaltinimus šnipinėjimu. Vėliau buvo paskelbtas įstatymas draudžiantis svetimšaliams valdyti dvarus pasienio zonoje. Galų gale Koidelis pasidavė: pardavė dvarą ir visus palivarkus. Magnatas Komaras sumokėjo vokiečiui 800,000 tūkstančių rublių. Sadistiškos giminės atstovų era Gelgaudiškyje baigėsi.