У католического храма Непорочного Зачатия Пресвятой Девы Марии довольно мрачная история. Несмотря на то, что святыню в стиле неоготики возвели довольно быстро, во время строительства скоропостижно скончались два архитектора. Благополучно завершить постройку удалось лишь зодчему Евгению Лыщинскому.
Костел с нетипичным для смоленской архитектуры внешним видом освятили в 1896 году. На фоне других городских зданий храм отличался устремленным в небо фасадом, вытянутыми стрельчатыми окнами и тонкими шпилями. Святыня вызывает восхищение своим строгим видом и прохладным величием.
В начале ХХ столетия в костеле одновременно могли поместиться три тысячи прихожан. В святыне было пять резных алтарей из дуба, красивые витражи, а на колокольне красовались пять колоколов.
Все свое величие храм Непорочного Зачатия Пресвятой Девы Марии потерял после установления советской власти. Первым делом большевики сняли и отдали на переплавку колокола, а внутренние помещения занял сначала архив НКВД, а в послевоенные годы – Смоленский областной государственный архив.
В настоящее время святыня нуждается в капитальном ремонте – здание огорожено, а для безопасности прохожих над тротуаром возле храма натянута сетка. После реконструкции костела городская администрация Смоленска планирует открыть в нем Органный зал.