El conocido como Castillo de Rodalquilar es Bien de Interés Cultural desde 1985
Por abandono y falta de conservación ha llegado hasta la actualidad en estado ruinoso
Conocida también como Castillo de la Ermita o Castillo de Rodalquilar, se construyó en 1509, por orden de Francisco de Vargas, para la defensa de la mina de alumbres de Rodalquilar, ante los numerosos ataques de piratas berberiscos. Junto con ella se construyó otra torre hecha de tapial, que desapareció en el siglo XVIII.
Fue abandonada en 1555 y hacia 1590 fue convertida en la cárcel de Cabo de Gata, además de seguir apoyando la vigilancia de la costa ante las correrías de magrebíes y turcos.
En 1755, se realizaron obras de reparación dado que la torre se encontraba en estado ruinoso. En 1768, fue abandonada de nuevo, debido a la distancia que la separaba de la costa (1 kilómetro) y la construcción del castillo de San Ramón. A mediados del siglo XIX sirvió como alojamiento para los torreros destinados en la vecina torre del Cerro del Lobo. Después, por abandono y falta de conservación, ha llegado a nuestros días en el estado ruinoso.
Bien de Interés Cultural, en la categoría de Monumento desde 1985, la Junta de Andalucía otorgó reconocimiento especial a los castillos de la Comunidad Autónoma de Andalucía, en 1993. La torre se hunde poco a poco sin que nadie tome medidas para su reparación, destacando su base notablemente socavada.
Su inclusión en la lista roja se debe a la pérdida del edificio por abandono y la acción de la vegetación e inclemencias del tiempo. El 30 de octubre de 2013, la Consejería de Educación, Cultura y Deporte de la Junta de Andalucía obligó al Ayuntamiento a la redacción de un proyecto de conservación, cuya ejecución ascendía a 359.975 euros. El Ayuntamiento de Níjar procedió entonces al vallado perimetral de la Torre de los Alumbres.