На набережной Волги (когда-то неподалеку от этого места располагался челночный перевоз через реку), в конце улицы 1 Мая, установлен обелиск Московской заставы. Он первым встречает гостей Костромы, прибывших в город речным транспортом. Пышным «приветственным» парадным обликом город обогатился в 1823 году, когда жители Костромы ожидали визита императора Александра I.
Автором проекта памятника стал местный архитектор П. Фурсов, который в те времена был всего лишь выпускником петербургской Академии художеств. Позже Фурсов построит в родном городе еще много зданий, ставших для наших дней архитектурными достопримечательностями.
Парадный въезд в Кострому юный архитектор старался оформить изыскано, торжественно и парадно. Он придумал два четырехугольных обелиска, увенчав их шарами и позолоченными двуглавыми орлами. К обелискам прилегали невысокие стены с арочными нишами.
В 1912 году, к празднованию 300-летия Дома Романовых, обелиск Московской заставы переделали. Новый проект разработал архитектор Н. Горлицын. Он пристроил два одноэтажных здания из кирпича, в которых разместились лавки и пивная. Обелисков, придуманных Фурсовым, перестройка не коснулась, и они сохранились до наших дней в своем первоначальном виде.