Le château de Sabarda prend place sur un rocher situé au sud du château Saint-Pierre. Sur un plan architectural, il constitue un exemple rare par son homogénéité. L’édifice que l’on connait aujourd’hui, en ruine, correspond à une reconstruction du château datant de la fin du XIIIème siècle, sur ordre du roi de France, après la croisade des albigeois. L’administration royale y installe une garnison, qui tiendra la place jusqu’au XVIème siècle, avant qu’elle ne soit abandonnée.