Дворец герцога Филиппа Вюртембергского, в котором ныне расположен один из самых дорогих венских отелей, построили в 1862-1865 годах. Над созданием проекта в стиле неоренессанса трудился архитектор Арнольд Ценетти. Здание, украшенное фигурами животных с фамильного герба, стало городской резиденцией особ королевских кровей.
Однако в 1871 году Филипп и Мария Тереза (супруга вельможи) продали здание финансисту Горацию фон Ландау. Герцог охладел к своему детищу после того, как вид на реку из окон дома закрыло новое сооружение, а чтобы попасть в парк, надо было перейти оживленную улицу.
В 1873 году дворец перестроили под отель, получивший название «Империал». Новый проект разработал архитектор Вильгельм Гросс. Поражая своим внешним величием, здание не менее помпезное и внутри. В его апартаментах в разные годы останавливались Отто фон Бисмарк, монархи Сербии и Болгарии, Сара Бернар, Рихард Вагнер.
В 1928 году здание реконструировали, добавив ему еще два этажа. В нацистскую эпоху отель «Империал» был одним из любимых мест Адольфа Гитлера. В послевоенные годы здесь проживали американский президент Джон Ф. Кеннеди и советский генсек Никита Хрущов. В этой гостинице останавливались преимущественно высокопоставленные дипломаты или состоятельные люди, которые могли себе такое позволить: Фрэнк Синатра, Уолт Дисней, Мик Джаггер, Вуди Аллен, Мэрайя Кэри, Майкл Джексон.
В 1994 «Империалу» присудили звание лучшего отеля в мире по версии читателей издания «Condé Nast».
На первом этаже гостиницы обустроено одноименное кафе, в котором по секретному фирменному рецепту пекут торт «Империал» с молочным шоколадом, миндальными коржами, кремом из какао и марципанами. Гостям его подают в специальных коробках.