Château de la Clayette, logis repris au XIXe