La terre et la seigneurie de Boulot furent acquises en 1683 par Claude-Alexandre Courlet (1647-1719), Vicomte-Maïeur de Besançon et Conseiller au Parlement de Franche-Comté. Son petit-fils, Alexandre-Joseph Courlet de Boulot (1715-1754), ne conserva pas l’ancienne maison forte et fit construire un pavillon s’apparentant à une folie, comprenant un rez-de-chaussée surélevé dominé par une haute toiture comtoise et orné de frontons armoriés surmontant les deux façades principales. L’ensemble fut achevé à la demande de Claude-François Courlet de Boulot (1723-1807), qui en confia l’exécution à l’architecte comtois Claude-Damien Gardaire, célèbre pour sa statuaire. Ce dernier réalisa à Boulot les deux superbes mascarons représentant Diane et Apollon, ornant les deux ouvertures centrales du rez-de-chaussée de l’édifice.

Cette première campagne de travaux se terminera en 1763, attesté par le cartouche rocaille inséré dans la ceinture de la façade ouest. Théophile Courlet de Boulot (1766-1846), fils de Claude-François, transforma le château en 1827-1828 conformément à ses goûts palladiens rapportés d’émigration. Il ajouta alors deux étages à l’édifice (le second formant attique), le tout coiffé d’une grande terrasse délimitée par une génoise, avec en son centre un pavillon aux frontons triangulaires. Une toiture à quatre pans viendra dès 1829 remplacer la terrasse, plus en adéquation avec le climat local. Les descendants directs du seigneur des lieux au XVIIe siècle sont toujours propriétaires du château, ISMH depuis 1994.