Le château de Pin est situé à flanc de coteau et bénéficie d’une belle vue sur la vallée de l’Ognon.

On pénètre dans la cour d’honneur par une porte monumentale classique avec grille en fer forgé (XVIIIe). À gauche, l’ancien corps de logis, de la fin du XVe, s’ouvre par une porte à accolade donnant accès à un escalier de pierre à noyau. Dans les deux salles basses trônent deux grandes cheminées de pierre aux manteaux à ressaut soutenus par de fines colonnettes. 

Le château XVIIIe est une robuste construction barlongue à un étage, couverte d’une toiture très relevée à quatre versants. La sobriété de l’ensemble est rompue par un avant-corps cintré sur la façade d’entrée. Un simple volume conique évitant le dôme donne à la façade ce cachet particulier.

Les bâtiments et le parc du château de Pin sont ISMH depuis 1967, l’intérieur du bâtiment XVIIIe depuis 1994. 

Après la mort de Charles le Téméraire en janvier 1477 sous les murailles de Nancy, les troupes de Louis XI entrent en Franche-Comté. Une bataille se déroule le 17 juin sur le pont entre Pin et Emagny. Le corps de logis est reconstruit pour Jean de Scey avant la fin du XVe siècle.

À la fin du XVII e siècle, Philippe-Eugène Chifflet, fils du grand humaniste Jean-Jacques Chifflet, achète la seigneurie de Pin à la famille du Chatelet. Il a eu pour parrain Philippe IV d’Espagne et pour marraine l’infante Isabelle.

Sa fille Catherine Chifflet (1671-1708) épouse Christophe de Chaillot.

C’est au profit de leur fils, Christophe-Ignace de Chaillot, président à mortier au parlement de Besançon, que les terres de Pin sont érigées en marquisat en 1746. En même temps que son hôtel particulier à Besançon (1738-1739), il fait construire le bâtiment XVIIIe, en remplacement d’un édifice ne correspondant plus aux conditions de vie de l’époque.