Sa position stratégique laisse supposer un habitat défensif très ancien. Il fut édifié sur un pic rocheux au début du XIème siècle pour surveiller les limites très discutées entre l’Auvergne et Ebreuil, le Berry à Naves, et celles encore imprécives souhaitées par les Sires de Bourbon.
Veauce apparaît dans l’histoire avec Arnauld de Veauce qui vivait à la fin du XIème siècle. Sous Louis 1er de Bourbon, le château était devenu seigneurie ducale puis, après la mort du Connétable, releva de la couronne.

Les noms les plus illustres du Bourbonnais s’y sont succédés : les Chauvigny-de-blot, Le Loup, du Buysson, et de 1700 à 1970, les De Cadier originaires de Château-sur-Allier.
La famille De Cadier, dont les portraits sont au musée Anne de Baujeu à Moulins, le conservera jusqu’en 1970.

Au milieu du XIXème siècle, le château est en très mauvais état.
Charles Eugène De Cadier, Baron de Veauce, fit réaliser d’importants travaux de restauration au château, de 1841 à 1846. Il lui donne l’aspect qu’il conserve aujourd’hui.
A la même époque, le bourg de Veauce subit d’importantes modifications :
- remblaiement du vallon,
- création de la route départementale,
- constructions de la mairie-école (1863). L’école a été fermée en 1967
- du presbytère (1879)
- restauration de l’église,
- constructions de maisons, …

A partir de cette époque et pendant des décennies, les châtelains, qui possédaient la plus grande partie de la commune, furent les principaux employeurs.
Le maximum de la population fut atteint en 1841 avec 218 habitants.
Encore aujourd'hui, certains se souviennent d'un parent ou d'un ami ayant travaillé au service de la famille De Cadier.
Charles Eugène De Cadier et ses successeurs donnèrent un grand éclat à la vie au château et dans le village, menant grand train d’équipage.
Charles Eugène De Cadier, ami du Duc de Morny, fut maire de Veauce, conseiller général d’Ebreuil ; il siégea au Corps législatif de 1852 à 1870, et devint sénateur de l’Allier en 1876.
Il crée à Veauce un élevage de pur-sang et participe à la création des champs de course de Moulins et de Vichy (on peut y voir son buste et chaque année est organisé “le prix de Veauce”)
L’importante sellerie du château de Veauce est exposée au musée de Gannat ainsi que les voitures hippomobiles.
Il crée l’exploitation de Kaolins des Colettes.
Son fils lui succédera à la mairie puis son petit-fils, jusqu’à la dernière guerre.
Ce dernier, Eugène De Cadier, Baron de Veauce posséda le premier avion de la région.
Il créa, en 1934, un terrain d’aviation pour son usage personnel, au lieu-dit Pallevezin, à la place du champ de course de son aïeul, sur le plateau qui s’étend sur les communes de Veauce et Valigalas. Dans les années 60, les Ailes Montluçonnaises ont organisé de nombreux meetings.
Actuellement, une partie de ce terrain est aménagée en piste d’U.L.M.

De 1972 à 2002 le château a appartenu à la famille Tagori et il a acquis une certaine célébrité médiatique grâce au fantôme de Lucie.
Madame Elizabeth MINCER est actuellement propriétaire de ce château classé monument historique.