Les fouilles sur le site font remonter les premières constructions au milieu du XIIIe siècle. Il s’agissait alors d’une Maison-Forte remaniée en 1426 selon une reconnaissance de fief par Étienne de Montrost vis à vis du Duc de Bourgogne Philippe le Bon. Le XVIe siècle marque l’époque de prospérité du château. En 1516 à la mort de Philibert de Montrost, grand Maître d’artillerie de Maximilien Ier d’Autriche, les terres et les titres passent à son neveu Florent de Vaudrey, cadet de la branche Vaudrey-Saint-Phalle. Celui-ci aménage le château en résidence seigneuriale de style Renaissance avec grandes fenêtres à meneaux, cheminées monumentales, galerie de circulation, viorbe, tout en lui gardant son aspect défensif. Le déclin du château commence après la guerre de Trente ans et se poursuit au XVIIIe siècle, il devient une exploitation agricole tenue par un intendant. À la Révolution, le château est vendu comme Bien national en 1794 et racheté par des habitants du village.

Quasiment abandonné après la 1ère Guerre mondiale et, passée une campagne de travaux dans les années 60, il est classé Monument Historique en juillet 1964 par le peintre Pierre Jouffroy. Repris en 1990 et progressivement restauré, le château s’ouvre de plus en plus au public : classes Patrimoine, visites de groupes, fêtes…