Kairiajame Nemuno krante už miško baltuoja dvaro rūmai. Juos supa iškasti tvenkiniai, sodai. Užlipus ant kalniuko, prieš akis atsiverdavo ištisos išpuoselėto sodo alėjos. Prieškaryje šimto aštuoniolikos hektarų ploto parke, rūmai spindėdavo įvairiausių medžių fone. Manoma, kad rūmus jungia požeminis tunelis su kitoje Nemuno pusėje stovinčia Panemunės pilimi. Tarpukaryje legendinis tunelis, kaip neatrastas lobis viliodavo atskalūnus ir nuotykių ieškotojus.
Gelgaudiškio rūmų viduje pasitikdavo didžiuliai veidrodžiai, keletas durų į svetainę, valgomąjį, raštinę. Visose patalpose jautėsi gero skonio interjeras. Ponios buduaro kambario sienos buvo padengtos šilku. Dėmesį traukdavo kabančios freskos, jaukiais ornamentais išraižyti lipdiniai.
Dvarininko žmonos kambariuose buvo keletas židinių. Šalia jų, galbūt šimtus kartų sėdėjo gyvenimo tuštybės ir prabangos apsupti aristokratiško kraujo magnatai. O židinio žarijos spragsėdamos išklausė šimtus pašnekesių ir istorijų.
Didysis parkas buvo suformuotas iš daugybės ąžuolų, kaštonų, gluosnių, beržų alėjų. Gražiai susiliejęs su netoliese buvusiu mišku suteikdavo nepaprastą įspūdį. Susikertančios alėjos sudarydavo kryžkeles ir aikšteles. Kopiant nedideliu kalniuku link miško atsiverdavo susikaupimo ir atodūsių vieta.
Ten, ąžuolų ir liepų pavėsyje, miškelio viduryje stūksojo seni, samanomis apaugę akmenys, marmuro paminklai ir kryžiai. Menkai įskaitomos raidės liudijo Von Frydrik Koidel, Von Albert Koidel giminės kapus.
Susikaupimo vardu vadintoje alėjoje buvo kalnelis. Tai pakaruoklių kalnas, kuriame nubausdavo mirtimi neįtikusius baudžiauninkus ir sukilėlius. Prieškario Gelgaudiškio apylinkėse kiekvienas sutiktas senelis žinojo, kur stovi garsioji kartuvių vieta ir dvi duobės stulpams.
Kalbama, kad Gelgaudiškio praeitis buvo kelianti siaubą ir pavojų ten dirbusiems baudžiauninkams. Rūmai visu savo puošnumu iškilo 1842-1846 metais, vokiečių barono Koidelio iniciatyva. Barono giminaitis antrajame praėjusio amžiaus dešimtmetyje vadeliojo Veimaro respublikos ministro portfelį.
Gelgaudiškio dvaro savininkas Koidelis žmonių prisiminimuose išlikęs, kaip vienas žiauriausių ir nuožmiausių aristokratų. Turėjo dešimtis piktų šunų, kuriais užpjudė ne vieną dvariškį. Savo sesers dukrą nuvežė į mišką ir pakabino už kojų šalia skruzdėlyno.
Legendos mena, kad teritorijoje buvo daugybė šunų voljerų. Kiekvienas turėjo savo minkštą guolį, net pagalves. O Koidelio veislyną prižiūrėdavo dešimtys tarnų. Kiekvieną rytą ir vakarą dvarininko žmona vaikščiodavo šunidėje ir stebėdavo savo augintinius. Vietiniai tą vietą vadindavo prieglauda, šunų prieglauda.
XIX a. pabaigoje caro valdžia išvijo visus vokiečius iš Lietuvos. XX a. pradžioje dvarą įsigijo Medardas Komaras ir savo lėšomis jį restauravo. Žiaurumu nenusileido buvusiam savininkui. Vietiniai jį vadindavo „fanabernu“. Kumečius magnatas laikė gyvuliais. Įsakydavo nusiimti kepurę ir mušdavo tik per galvą.
Komaras norėjo savo kambarių aslą išgrįsti sidabriniais rubliais. Prašė caro leidimo. Caras sutiko su viena sąlyga: rubliai turėjo būti guldomi ne šonu, o statomi stačiomis ant gurto. Baimintasi, kad bus suteršta caro garbė. Nes svečiai mindžios monetose iškaltą caro veidą ar imperijos herbą. Tačiau tokiu būdu išgrįsti grindis Komarui neužteko rublių.
Po pirmojo pasaulinio karo Komaras dvarą pardavė Lietuvos moterų draugijai. Atgavus nepriklausomybę baudžiava ir priespauda liko užmarštyje. Apylinkės virto kultūros ir socialinės globos vieta. Puošniuose „pajakuose“ įsikūrė šimtas mažutėlių prieškario našlaičių. Komaro valdose, sode ir rūmuose mužikų vaikams vietos nebuvo. Tačiau nepriklausomos Lietuvos ligonių kasa kasmet vasaromis įkurdavo „biednuomenės“ vaikams skirtą stovyklavietę.
Tarpukaryje Gelgaudiškio susisiekimas su Šakiais buvo katastrofiškas. Apylinkes skirdavo tik 20 kilometrų, bet per vieškelį vasarą reikėdavo bristi vandeniu. Gelgaudiškyje buvo įsikūrusi plytinė, bet Šakių mieste retai buvo sutinkami mūriniai namai, o tuo labiau plytos. Gelgaudiškis buvo turtingas ir savo žvyru. Todėl Šakius žvyras pasiekdavo arklių tempiamais vežimais ir kainuodavo brangiau nei marcipanas. Buvo juokaujama, kad jeigu Šakiuose gatvėje atsiranda degta plyta, tai žmonės atbėgdavo apžiūrėti, kaip nukritusio iš dangaus meteorito.
1928 m. ministrų kabinetas leido tiesti siaurąjį geležinkelį iš Šakių į Gelgaudiškį. Iš Marijampolės buvo paimta dvidešimt kilometrų bėgių ir atvežta prie Šakių-Gelgaudiškio kelio. Buvo nupirktas vagonėlis ir garvežiukas. Tačiau Šakių valdininkai, skurdo genami, niekaip negalėjo pradėti darbų.
Pagalbos ranką Šakiams ištiesė Gelgaudiškio plytinė. Pažadėjo nutiesti „siauruką“, tačiau paprašė leisti dešimt metų valdyti visą bėginį ruožą. Po kelių metų derybų, 1931 m. bėgiai buvo nutiesti. Susisiekimo priemonę vietiniai vadino „konkė“. Vagonėlius ir krovinius tempė arkliai. Siaurukas kursavo į netoli Gelgaudiškio esantį žvyriaus karjerą, taip pat į Panemunės prieplaukas. Žmonių prisiminimai liudija, kad tarpukario Gelgaudiškio gyventojams siaurukas nebuvo naujiena. Manoma, kad miestelio geležinkeliuko istorija siekia žiauriojo Komaro ir baudžiavos laikus.
