1800-те године, по налогу крајовског и тополског барона Пала Караиа започета је изградња барокног каштела, у који се 1803. породица и усељава. Осим католичке цркве, ово је била прва кућа спратница у Тополи, а и једина, скоро деведесет година, јер је зграда Окружног суда, у чијем је приземљу данас канцеларија јавног бележника, предата тек 1890. године. Следиле су Бухнеров Казино – хотел 1904. године, те грађанска школа 1912. године, данашња Основна школа „Чаки Лајош“.
Некадашњи каштел породице Краи данас има двојну функцију. У приземљу зграде се одржавају ликовне изложбе и служи као сала за венчања, док је на спрату смештен Музеј општине Бачка Топола, који посетиоце очекује са богатом колекцијом. Сталне поставке музеја представљају биолошке, археолошке, локалноисторијске, књижевне и ликовне вредности.
Посетиоци могу да сазнају више о богатом живом свету обале Криваје, као и о налазима праисторијских, сарматских, аварских и средњевековних археолошких локалитета на том подручју. Такође се могу видети уметничка и књижевна дела везана за Бачку Тополу. Посебно је интересантна библиотека архитекте др Имре Харкаија, као и спомен-соба посвећена цењеном и једином лекару који је радио на крају 19. века, Јаношу др Хаџију, који пружају увид у животе и рад познатих личности насеља.
