O bairro tem uma pré-história que explica por que ele fica exatamente ali. A primeira cidade, Panamá Viejo, foi fundada em 1519 e foi o primeiro assentamento europeu na costa do Pacífico das Américas. Em 1671, o corsário inglês Henry Morgan a incendiou. Os sobreviventes mudaram a cidade alguns quilômetros para oeste, para um cabo estreito mais fácil de defender — e a cercaram de muralhas. Essa cidade murada é o Casco Viejo.
Hoje ele está vivo: parte dos prédios foi restaurada como apartamentos, parte ainda está sob andaimes, parte espera sua vez. Aqui não se compram metros quadrados, compra-se história.
É a única parte da cidade onde os documentos exigem uma verificação especialmente cuidadosa: o status de patrimônio limita a reconstrução, até o que se pode e não se pode fazer com a fachada.