À l’origine, la tour carrée dite « Argentaria » ou tour de Bonnegarde est élevée au XIIe siècle par les évêques de Viviers pour à la fois protéger l’exploitation, mettre en sécurité l’argent tiré des mines.
Le donjon est une tour de style roman, solide, sans ornementation, avec une arcade plein cintre sur une face. L’unique porte est au premier étage. Les autres étages ne sont accessibles que par un escalier pratiqué dans l’épaisseur d’un murs. A la base, les murs font presque trois mètres d’épaisseur.
Au XVe, les évêques Jean de Montchenu et Claude de Tournon renforcent l’enceinte et agrandissent le château. Ils intègrent à l’enceinte fortifiée les deux tours jumelles qui surplombent désormais la porte principale. Un chemin de ronde mène à une autre tour puis rejoint les remparts de la ville.