Церковь Иоанна Богослова, которую в старину называли храмом «на варяжке», построили в 1173 году на средства смоленского князя Романа Ростиславича, одного из наиболее просвещенных правителей времен Киевской Руси. Постройка из узкого кирпича являлась одноглавым, четырехстолпным, крестово-купольным храмом, расписанным внутри уникальными фресками. Помимо богослужений, которые здесь регулярно проводились, в Иванобогословской церкви трудились смоленские летописцы.
В своем первозданном виде святыня просуществовала до начала XVII столетия, а после захвата Смоленска польско-литовскими войсками ее переоборудовали в костел. Еще раз православным храмом постройка стала в 1654 году после возвращения города под власть российского царя.
В XVIII веке храм Иоанна Богослова претерпел серьезные перестройки: были переложены подкупольные столбы, упразднены полуколонны на фасадах, строители частично заложили древние окна и пристроили к зданию трапезную с колокольней.
Во время оккупации Смоленска французскими войсками церковь была разорена, но после отступления неприятеля быстро вернула себе былую роскошь. Богослужения в храме проводились вплоть до 1933 года, когда церковь закрыли, а здание отдали под филиал музея и библиотеку.
В Великую отечестенную войну святыня получила серьезные увечья – пострадала западная часть старинного храма, а пристроенные трапезная и колокольня и вовсе превратились в руины.
К восттановлению церкви приступили только в 70-х годах прошлого века. Группа смоленских архитекторов разработала проект, согласно которому храму вернули вид, максимально приближенный к первоначальному.
В 1993 году храм Иоанна Богослова вернулся под юрисдикцию Смоленской епархии и после дополнительного ремонта в нем возобновились богослужения.
