Die übersichtliche Höhenlage des Dorfes war prädestiniert, um das Tal zu überwachen und zu verteidigen. Es überrascht darum nicht, dass hier auf kleinem Raum während Jahrhunderten vier Burgen oder burgenähnliche Festungen bewohnt waren.
In Graubünden finden wir eine ähnliche Massierung von Burgen nur noch im Domleschg. Die mittelalterliche Burganlage ist die imposanteste und älteste der Surselva. Ein einmaliges Denkmal. Schon im Tello-Testament aus dem Jahre 765 und im rätischen Reichsgutsurbar aus der Mitte des 9. Jahrhunderts ist von einer Burg - dem "Agnum super castellum"- und Kirche an diesem Ort zu lesen. Demnach gehörte die Burg zuerst dem Kloster Disentis, danach dem Bischof von Chur und später als Feudalburg den Freiherren von Rhäzüns. Die grösste Bedeutung kam der Herrschaft Jörgenberg im 14./15. Jhd. zu, vor allem als Hochgericht Waltensburg. Erst 1734 gelangte die Gemeinde Waltensburg in den Besitz der Burg.
In den Jahren 1997 - 2001 erfolgt etappenweise eine Restaurierung der Burgruine durch die im Jahr 1996 gegründete Stiftung. Im Zusammenhang mit der Erhaltung dieses Monumentes ist, in Zusammenarbeit mit den an der Restaurierung beteiligten Personen und Ämter, ein Kunstführer in Arbeit.