C’est dans le château de Quart qu’habitait l’une des plus illustres familles de la vallée d’Aoste, aussi ancienne que les seigneurs de Challand. Les seigneurs de Quart portaient à l’origine le nom de seigneurs de la Porte-Saint-Ours, car leur maison forte était située sur la porte dite Porte de la Trinité et qu’ils exerçaient leurs juridictions sur les maisons et terres du bourg de Saint-Ours.
Ce n’est qu’en 1185 qu’ils prirent le titre de chevaliers, sire de Quart, année où Jacques, premier du nom, fit bâtir le château de Quart, qui s’élève encore aujourd’hui au même emplacement.
Le château a subi plusieurs élargissements successifs au XIIe et XVIIe siècle. La restauration et les fouilles exécutés ont mis à jour plusieurs éléments permettant de découvrir et de comprendre les plans de construction de cette véritable forteresse.
D’intéressantes fresques, restaurées avec la technique du laser, ont été mises à jour dans le donjon,
et la restauration d'élégants stucs dans la chapelle, construite en 1606 par John Gabuto Tessin.
A la mort du dernier représentant de la famille, Henri de Quart, en 1378, ses fiefs retournèrent au duc de Savoie qui fit occuper la forteresse jusqu’en 1550, par des châtelains chargées de percevoir les revenus du domaine. Le château et les terres de Quart seront vendus au président Laschis, qui les revendit l’année suivante aux Balbis qui le conservera jusqu’en 1612.
Au XVIIe siècle le château devint propriété d'abord du comte Nicola Coardo, ensuite le comte Charles Perron de Saint-Martin, acquit le château en 1612 qui restera dans la famille jusqu’en 1807. Les descendants en feront don à la commune du château et des terres.
La seigneurie de Quart se composait des terres autours du château jusqu’à Nus, du bourg de Quart, de Villefranche, d’Oyace, de Valpelline, et des droits de juridiction sur le bourg de Saint-Ours et d’une portion de la cité.
L’on accède au château par un chemin à flanc de coteau. Le chemin d’origine s’arrête devant le terre-plein du château, le pont qui en permettait l’accès est effondré. Une pièce d’eau alimentée par le ruisseau voisin agrémentait l’esplanade.
Des jardins en palier étaient situés au pied du château. Le lieu est calme et offre une belle vue sur la vallée.