La seigneurie de Vregille remonterait au XIe siècle. À cette époque est cité un premier château-fort, constitué d’une tour ronde et de quatre tours carrées, avec pour mission de protéger le passage sur la rivière l’Ognon. En 1364, les Grandes Compagnies s’opposent à l’amiral Jean de Vienne sur le pont de Vregille.

Louis de La Tour Saint-Quentin reconstruit une maison forte en 1570. Les textes anciens évoquent « un vivier, une tour de guet et un chêne bénit. » Le domaine fut vendu au baron Gaspard de Blisterswick de Moncley, puis il est acquis, en 1699, par Claude-Alexandre Courlet, Parlementaire, qui devient seigneur de Vregille. Claude-Alexandre va reconstruire le logis seigneurial selon le goût de l’époque, de 1713 à 1730, avec grand portail, cour d’honneur et jardins vivriers ordonnancés qui deviennent ensuite à la Française dont les projets sont conservés au château. Ils sont remis plus tard au goût du jour, dans le style paysager par Mansuit de Vregille, peut-être aidé par son beau-frère Théophile de Boulot, peintre reconnu et dessinateur de jardins pour le duc de Birkenfeld*, en Bavière.

Au milieu du XIXe siècle, (1854), Auguste de Vregille reçoit par héritage une importante bibliothèque pour laquelle il fait construire un pavillon adjacent au logis central côté sud avec symétrie côté nord, donnant ainsi sa physionomie actuelle au château. À la même époque, il fait également agrandir le parc à l’anglaise qui prendra alors l’aspect qu’on lui connaît aujourd’hui.

Le château de Vregille, (dont le propriétaire actuel est le descendant direct de Claude-Alexandre), avec son orangerie, son parc et son important cabinet de curiosités est une véritable maison de famille typiquement franc-comtoise, bien dans l’esprit des maisons de parlementaires qui bordent les rivages de l’Ognon. L’ ensemble du domaine est inscrit au titre des Monuments Historiques.

* Le duc de Birkenfeld semble bien être Guillaume comte palatin de Birkenfeld-Gelnhausen (1752-1837), arrièregrand-père de l’Impératrice Élisabeth d’Autriche (Sissi).