Le château de Portes ne se trouve pas là où il est par hasard. Sur le col de Portes, l’édifice classé monument historique, guettait l'ancienne voie dite de Régordane qu'empruntaient les pèlerins de Saint-Gilles et les croisés cheminant vers la Terre sainte. Le chemin de Régordane est un tronçon d'une très ancienne route unissant l'Auvergne à la Méditerranée et le port de Saint-Gilles-du-Gard. Sanctuaire du monde chrétien au XIIe siècle.

HISTORIQUE : Le château de Portes a été construit en trois étapes différentes.

Les origines les plus anciennes remontent au XI-XII^ème, il a été construit par les barons d'Anduze. C'était un poste de garde sur la route des Cévennes pour protéger les pèlerins sur la voie Régordane. Cette propriété des barons d'Anduze reste en leurs mains jusqu'au début du XIV^ème.

Les Budos deviennent propriétaires de Portes dans les années 1320 et s'y installent apportant quelques modifications au château. Ils seront propriétaires du château jusqu'à la fin du XVII^ème. Au XIVème et au XV^ème on surélève la courtine Nord et Ouest  à l'aide d'un second chemin de ronde qui s'appuie sur le premier. Façade Ouest on ajoute deux tours rondes. On agrandit le logis plus au Sud avec un bâtiment sur trois niveaux de salles voûtées. Dans l'angle nord-est on construit une troisième tour carrée.

Jean De Budos hérite de la propriété au début du XVI^ème. Il revient au château de Portes et y fait ajouter quelques éléments renaissance: la galerie à arcades surmontée d'une deuxième galerie identique, la tour rectangulaire. Sous le règne d'Henri III la propriété est érigée en Vicomté. Quand Jean décède Jacques, son fils, arrive à la tête de Portes.

Avant de décéder Jacques Budos a eu le temps d'ajouter une dernière construction au château "Le château neuf" qui se trouve dans l'angle sud-est de l'ancien château. Toujours sur l'extérieur, on ajoute la barbacane à l'Ouest qui permet d'étendre la construction avec un chemin de ronde. En 1613 la propriété est érigée en Marquisat. La même année Antoine Hercule De Budos est fait Vice-Amiral de France. Il devient lieutenant des armées du roi en Languedoc et Gévaudan. Il lutte contre le protestantisme, reprend des villes importantes aux protestants et décède en 1629 au siège de Privas. Quand Antoine Hercule décède il laisse une veuve: Louise de Crussol, elle est la soeur du duc d'Uzès. Il laisse une fille d'un an Marie-Félice et trois mois après sa mort naît une seconde fille Diane-Henriette.

Marie-Félice à dix ans entre au couvent de la Sainte Trinité à Caen. Elle ne prend pas le voile mais prononce un voeu de perpétuelle chasteté. Elle ressort de ce couvent cinq ans plus tard.   Sa jeune soeur épouse le duc de St Simon. Elle a une fille Gabrielle Louise qui épouse le duc de Brissac. Cette nièce de Marie-Félice et sa soeur décèdent avant elle.

Marie-Félice est donc la dernière héritière des Budos. Elle lutte contre le protestantisme. A Portes il y a une armée de cent cinquante dragons chargés de convertir par la force les protestants au catholicisme. Elle décède en 1693 en laissant un mauvais souvenir dans la mémoire des cévenols. N'ayant aucun héritier en ligne directe c'est une branche cadette qui hérite du château de Portes. Ce sont les Princes de Conti les neveux du Grand Condé de France. Ils sont propriétaires du château pendant quatre générations. Le dernier d'entre eux en 1782 vend la propriété en dix-sept parcelles. Ces parcelles correspondent aux communes qui entourent Portes.
LOUIS XVI achète le château puis le donne en apanage à son frère le Comte de Provence le futur Louis XVIII.
A la Révolution le château est confisqué, il sert de prison d'état.
En 1805 il est vendu aux enchères par la commune. Jusqu'en 1841 on dénombre au moins six propriétaires.
En 1841 c'est Pagèse de la Vernède qui rachète le château, il le fait restaurer dans un style purement XIX^ème. Pagèse de la Vernède décède, les De Neuville héritent de la propriété. Les descendants de ces De Neuville sont les propriétaires actuels.
Le château était intact et habité en 1929. Il a été évacué en 1929 car il menaçait de s'effondrer ce qui se produisit par la suite.
La ruine du château a été provoqué par les galeries de charbon creusées sous le château au cours de la première guerre mondiale.
En 1968 l'association RENAISSANCE du CHATEAU de PORTES est créée. Depuis elle restaure le château à l'aide de chantiers de bénévoles.
Le château est classé monument historique depuis 1984.