En la parte alta, con una excelente vista panorámica, encontramos los restos del antiguo Castillo de l'Albagés, que data del siglo XII y que tres siglos más tarde pasó a ser palacio del administrador del Monasterio de Poblet. Destacan en él la gran ventana gótica germinada y el bello escudo heráldico del abad Guimerà de Poblet, esculpido a cada lado de la ventana.