Château des seigneurs de Vuissens puis résidence baillivale

Le château passe ensuite à Guillaume de Challant, qui l'hypothèque à Fribourg, puis à Bernard de Menthon, gendre de Guillaume. Le 19 mars 1461, les troupes fribourgeoises s'en emparent sans résistance et le fortifient ; elles se retirent trois ans plus tard après un arrangement négocié par Bernard de Menthon. Après l'assassinat de ce dernier en 1479, sans héritier, le château change plusieurs fois de mains. Lors de la conquête du pays de Vaud en 1536, Fribourg occupe de nouveau Vuissens sans y installer de bailli, le châtelain Michel Mussard prêtant hommage aux nouveaux seigneurs. En 1562, Ulrich d'Englisberg acquiert la seigneurie par son mariage avec Ursule de Paroman ; sanctionné en 1591 par Fribourg pour avoir soutenu Henri de Navarre, il est contraint par ses dettes de la mettre aux enchères. Le gouvernement fribourgeois l'achète en 1598 (la seigneurie avait changé treize fois de mains avant cet achat, selon le Dictionnaire historique de la Suisse). Rattachée en 1603 au bailliage de Font-La Molière, elle a pour résidence le château, où logent les baillis fribourgeois jusqu'à la fin de l'Ancien Régime. Le château est partiellement réparé en 1715 puis fait l'objet de gros travaux vers 1750 sans être restauré dans son ensemble. À l'Acte de Médiation, la commune de Vuissens en devient propriétaire en 1803-1804 ; la chapelle castrale est alors supprimée (démolie en 1803 selon le DHS) et les fossés sont comblés. Vuissens a fusionné en 2017 avec Estavayer.