Filippo II ne ordinò la costruzione nel 1570. Il Re aveva una grande passione per i cavalli e un interesse speciale a proteggere la pura razza spagnola. Per questo vennero costruite queste Scuderie Reali nel terreno della fortezza.