Dominant la Loire du haut d’une falaise, le château de Chaumont est à l’origine une forteresse bâtie par les comtes de Blois à partir du 10e siècle. Devenue propriété des Chaumont-Amboise, celle-ci est démantelée par Louis XI en 1465. Entreprise la même année, la reconstruction se poursuit jusqu’en 1510, pour glorifier la famille d’Amboise, qui s’était illustrée durant les guerres d’Italie.
En 1559, Catherine de Médicis achète Chaumont en 1560 et contraint Diane de Poitiers à l’accepter en échange de Chenonceau. Sacré Cathy !
Le château de Chaumont a en partie perdu son aspect militaire au 18e siècle, avec la disparition du bâtiment fermant la cour intérieure du côté de la vallée.