El Castillo propiamente templario se remonta a cuando en 1178 Ponferrada es donada a la Orden del Temple. Lo levantan donde originariamente se piensa que pudo haber un castro celta, lugar en que que luego se construiría una ciudadela romana. De este modo, los templarios amplían y mejoran el fuerte, obra que concluye en 1282.

Pero con la disolución de la Orden en 1312, el castillo se convertirá en objeto codiciado y pasará de mano en mano recibiendo, de cada una de ellas, ampliaciones y mejoras. La Corona de León, los Condes de Lemos y Sarria, la familia Castro, los Reyes Católicos y, ya en 1558, el Marqués de Villafranca ostentan la titularidad de esta fortaleza.

Pero a pesar de tanto trajín de propietarios, el edificio presentó un buen estado hasta que en plena Guerra de la Independencia, en 1811, se procede a volar las fortalezas interiores para evitar la ocupación francesa.

Así las cosas, en el siglo XX comienzan a acometerse una serie de reformas que darán como resultado final el castillo que hoy puede visitarse y que en 1924 fue declarado monumento nacional. Los escudos y blasones recuerdan las diferentes etapas de este castillo, así como una placa “a la memoria y honra de la Orden de Caballeros del Temple de Jerusalén, defensores de la Cristiandad e impulsores de la grandeza de Pons-Ferrata, baluarte del Occidente” mantiene vivo el legado de esta orden militar medieval.

Se pueden distinguir en esta fortaleza dos partes diferenciadas. La norte, de origen templario que data del siglo XII, y el resto que recoge las aportaciones de sus distintos propietarios hasta el siglo XVI así como algunas obras llevadas a cabo en el XIX, como las caballerizas, o las reformas de la pasada centuria. Salvo en el lienzo noroccidental, resguardado por el río, el castillo estuvo protegido por un foso.

De la construcción templaria quedan aún los restos de una barbacana en el acceso a un patio, entre otros. La portada principal, de mampostería, está compuesta por dos torreones que flanquean un amplio arco de medio punto. Detrás de este arco se alzaban las puertas de acceso al patio en el que, a la izquierda, se sitúa la torre del homenaje, desde la que se accede a la plaza de armas.

Antes de entrar en el patio hay un recinto defensivo que conduce a la torre Cabrera, emplazada al sur, que comunica con la primera línea defensiva del lado este y en cuyo punto medio se alza una torre semicircular, destinada a calabozos y a la comunicación con la segunda línea de defensa.