L'Hôtel et sa forme en U existe depuis le XIIIe siècle. La résidence est cependant reconstruite au XVe siècle par Jacques Amboise, abbé de Cluny en Bourgogne, devenant, par la qualité de son ornementation, un joyau de l'art flamboyant.