Императорский путевой дворец построили на месте, где раньше стоял архиерейский дом (постройка полностью сгорела при пожаре). Сперва тверские градоначальники думали восстановить сгоревшее здание, но позже пришли к решению, что на свободном месте вместо дома предпочтительней построить огромный дворец. К тому же, новая постройка должна была стать местом для отдыха императрицы Екатерины II, часто путешествующей из Санкт-Петербурга в Москву и обратно.
В первоначальном виде архитектурный комплекс Императорского путевого дворца состоял из центрального корпуса и двух выгнутых флигелей, построенных в стиле классицизма. По критериям XVIII века здание было классикой архитектурной мысли. В центре здания располагался огромный зал для приемов и балов, в восточном крыле обустроили покои для императрицы, а в западном располагались церковь и библиотека. Позже комплекс дополнили конюшня и каретный сарай.
После смерти Екатерины II интерес венценосных особ к этому дворцу постепенно угас. Некоторое время здание было резиденцией княгини Екатерины Павловны и ее мужа принца Георга Ольденбургского. Полюбоваться дворцом приезжали император Александр I, поэты Глинка и Жуковский, историк Карамзин.
Императорский путевой дворец сильно пострадал от авианалетов немецких бомбардировщиков во времена Великой Отечественной войны. После реставрации, которая началась в послевоенные годы, в здание переехала Тверская картинная галерея. Также здесь расположены экспозиции литературного и историко-архитектурного музеев.
