A fines del siglo XVIII estos cerros fueron destinados para instalar la cárcel y los cementerios de Valparaíso. En el año 1880 se construyó en el Almacén de Pólvora de la Quebrada Elías, el penal que funcionó hasta el año 1999. Luego por iniciativa de las comunidades, el Gobierno Regional transformó este recinto en un centro cultural activo llamado Ex Cárcel de Valparaíso donde se conservan algunos pabellones en memoria de las duras condiciones de quienes estuvieron encarcelados. El pequeño Cerro Panteón alberga tres necrópolis. El Cementerio General N° 1, que acogía a los porteños católicos, el Cementerio de Disidentes de la población extranjera protestante y el Cementerio N° 2. Los tres son parte importante de la historia de Valparaíso. Destacan sus obras de mármol, tumbas y epitafios que se pueden recorrer lejos del ruido del Plan. Otros atractivos de este cerro son: en la plazoleta El Descanso se encuentra el Conjunto Daneri un edificio de viviendas colectivas construidas en el año 1925. En la circunvalación de los cementerios con la Calle Dinamarca, se ubica el Colectivo Hermanos Montgolfier, un edificio de 45 viviendas modestas que datan del 1900 y al final de la subida Cumming se encuentra la importante Av. Alemania y la Plaza Mirador Bismark junto al Liceo Pedro Montt inaugurado en el año 1919.