Roquetaillade, Clément V mais aussi Viollet-le-Duc