Jednou z najvýznamnejších pamiatok obce Ožďany je kaštieľ, ktorý je situovaný v strede dediny. Tento renesančný kaštieľ zo 14. storočia sa vypína na menšej vyvýšenine nad dedinou. Súčasťou kaštieľa bola rozsiahla knižnica, archív, obrazáreň a pôvabný park. Staviteľom hradného kaštieľa a zároveň prvým zemepánom obce bola rodina Orlé. Kaštieľ neskôr prešiel rukami barónov, zemepánov a istý čas patril aj náboženskej inštitúcii. Za zmienku stojí obdobie od roku 1452 až 1460, kedy bol obsadený husitskými vojskami a jeho majiteľom sa stal Ján Jiskra z Brandýsa. O nepoddajnosti kaštieľa svedčia aj vpády Turkov a Tatárov, boje kurucov a labancov a vpád boľševikov, ktoré kaštieľ pretrval.