Виллу «Гермес» в качестве подарка своей супруге преподнес император Франц-Иосиф. Императрица Елизавета на радостях назвала ее «Дворцом мечты». Здание в 80-х годах XIX века построили на территории императорского охотничьего заказника Лайнцер Тиргартен. Проект разработал Карл фон Газенауер, известный венский архитектор. Виллу назвали в честь Гермеса – древнегреческого бога, статую которого установили в парке возле дома.
Елизавете подарок пришелся по душе, и каждой весной императрица приезжала сюда на несколько недель. Чтобы хозяйке не было скучно, для нее на вилле установили первый в Вене телефон, а улицу, которая вела к зданию, подсветили электричеством. Частенько заглядывал сюда и Франц-Иосиф, чтобы отдохнуть от государственных дел.
Идиллия продолжалась до 1898 года, до трагической гибели жены монарха. Затем вилла была императорской резиденцией до 1918 года. После падения империи здание перешло на баланс городских властей Вены.
Во время войны виллу разграбили сначала немецкие солдаты, а затем и войска союзников. Ко второй половине ХХ века в здании ничего не осталось от былой красоты.
Вторую жизнь вилла «Гермес» обрела после того, как зданием заинтересовались кинематографисты из студии Уолта Диснея. Они не только сняли здесь сказку «Чудо белых скакунов», но и привели сооружение в порядок. Посильную помощь оказали и городские власти Вены, выделив на восстановление вилы средства из бюджета. Реконструкция продлилась с 1968 по 1974 годы.
В наши дни в здании, которое так любила императрица Елизавета, оборудован музей «Вилла Гермеса». Его экспозиция знакомит посетителей с историей династии Габсбургов. К обозрению публики представлены личные вещи монархов, документы, портреты, старинная мебель.