Le Château
A l'origine
Les bâtiments actuels du château ont été construits sur l'emplacement d'un bâtiment plus ancien dont la construction primitive pourrait remonter au XIIIème siècle.
Ce château de plaine occupe une position stratégique au sud de la généralité de Champagne, en face de la Bourgogne.
Cédé par l'évêque de Langres à la famille de Saulx vers 1530, il deviendra un rare et emblématique exemple de la Renaissance en Champagne.
La famille de Gaspard de Saulx-Tavannes
Fils de Jean de Saulx et de Marguerite de Tavannes, Gaspard est nommé page de François 1er à l'âge de 14 ans. Il suit bientôt le roi en Italie au côté duquel il combat avec beaucoup de courage. De retour en France, il n'a de cesse de continuer la guerre contre l'empire de Charles Quint. Soldat rude, courageux et infatigable, son esprit de décision fait souvent la différence. Lorsqu'éclatent les guerres de religion, il combat aux côtés des catholiques. En 1570 il est nommé Maréchal de France et en 1572, Amiral des Mers du Levant et Gouverneur de Provence. Un an après, il s'éteint dans son château de Sully.
Gaspard de Saulx-Tavannes hérite de son père du château du Pailly, qu'il qualifie volontiers de « méchante maison ». En 1563, affligé par la mort de son fils aîné, il va faire de la forteresse médiévale un fleuron de l'architecture Renaissance, tant il avait été ébloui dans sa jeunesse par les palais italiens.
Le château du Pailly reste dans la famille Saulx-Tavannes jusqu'en 1764. Il connaît plusieurs propriétaires jusqu'à ce qu'il soit racheté en 1821 par Jean-François Moreau du Breuil qui entreprendra de le restaurer.
La famille Moreau du Breuil de Saint-Germain
Né à Langres en 1774, Jean-François Moreau du Breuil de Saint-Germain s'exile sur l'île de Tobago (Petites Antilles), où il fera fortune. Il rentre en France et achète le château du Pailly en 1821. À sa mort, la propriété revient à son fils Thomas, membre du Conseil Général de la Haute-Marne, puis à son petit-fils Albert, qui sera aussi membre du Conseil Général et député de la Haute-Marne.
Albert Moreau du Breuil de Saint-Germain a eu deux fils: Jean, qui meurt au combat en 1915, et Pierre, qui n'ont pas laissé de descendance.
En 1921, le château est classé au titre des monuments historiques, puis il est cédé en 1936 aux Mutuelles Agricoles de l'Est. Il devient propriété de l’État en 1963.