Skoro po svojom vzniku sa stal majetkom magnátskej rodiny Balašovcov, ktorej potomkovia ho vlastnili do konca feudalizmu.
Prvým známym majiteľom bol zvolenský župan, krajský prokurátor Ondrej II. Detrich Balaša.
Za kráľa Belu IV. sa hrad zmenil na protitureckú pevnosť. Hrad sa často opravoval a prestavoval. Roku 1576 sa ho predsa len zmocnili Turci a držali ho vo svojich rukách až do roku 1593. Poškodený hrad, ktorý sa znovu vrátil do vlastníctva Balašovcov, opravili v rokoch 1609 – 1612, v druhej polovici 17. storočia bol však opäť zničený. Ďalšie rozsiahle opravy sa vykonávali v rokoch 1680 – 1681.
V roku 1730 dal Gabriel Balaša na dolnom hrade postaviť kaštieľ. Horný hrad zostal v ruinách a slúžil panstvu na prechádzky, posedenia a peknú vyhliadku. |