Krajovai és topolyai báró Kray Pál megbízásából 1800-ban kezdték építeni a barokk stílusú kastélyt, ahová 1803-ban be is költözhetett a bárói család. A katolikus templomon kívül közel kilencven évig Topolya egyetlen emeletes építményének számított, hiszen a Járásbíróság épülete – melyben jelenleg közjegyzőiroda működik az alsó szinten – csak 1890-ben került átadásra. Ezt követte a Büchner-féle Kaszinó-szálló 1904-ben, majd a polgári iskola 1912-ben, mely ma a Csáki Lajos Általános Iskola nevet viseli.
Az épület ma kettős funkciót lát el. Az alsó szint jelenleg képzőművészeti kiállításoknak ad helyet, valamint esketőteremként működik, míg az emeleten található Topolya Község Múzeuma gazdag gyűjteménnyel várja a látogatókat. A múzeumban állandó kiállítások mutatják be a biológiai, régészeti, helytörténeti, irodalmi és képzőművészeti értékeket.
A látogatók megismerhetik a Bácsér partjának gazdag élővilágát, valamint a környék őskori, szarmata, avar és középkori régészeti lelőhelyeinek leleteit. A helyi képzőművészek és irodalmárok alkotásai is megtekinthetők. Külön érdekesség dr. Harkai Imre építész könyvtára és dr. Hadzsy János – a nagy tiszteletben álló, és a XIX. sz. végén egyetlen topolyai – orvos emlékszobája, melyek betekintést nyújtanak a település híres személyiségeinek életébe és munkásságába.
