Дворец Эль Алкасар де Колон был построен на высоком берегу реки Осама в промежутке между 1510 и 1514 годами. Семья Диего Колумба – он сам, его супруга Мария Толедская и их потомки – проживали здесь вплоть до 1577 года.
В 1586 году дворец был захвачен пиратами Фрэнсиса Дрейка. После этого здание пришло в запустение.
Находящийся под опасностью исчезновения дворец был восстановлен по поручению доминиканского правительства лишь в 1955—1957 годах, его интерьер образовали старинная мебель, произведения искусства и другие предметы обстановки периодов расцвета дворца.
Реконструкция Алькасар-де-Колона была проведена по проекту испанского архитектора Хавьера Барросо. Вместо первоначальных 52-х комнат в восстановленном дворце осталось лишь 22, где экспонируются древние манускрипты, утварь, мебель и произведения искусства той эпохи.
