В Савватьево в XV в. была возведена деревянная часовня, куда поставили привезенную преподобным Савватием икону Божией Матери "Одигитрия".
До XVIII века в пустыни селились лишь монахи-отшельники. В 1757 году старая часовня была отремонтирована, устроены новые кельи, на озере построена пристань.
Уже в ХIХ веке пустынь стала местом, где летом жили монастырские рыбаки и сенокосцы. В 1858-1860 годах построена каменная церковь в честь Смоленской иконы Божией Матери "Одигитрия" (архитектор – Шахларев). После освящения храма пустынь получила устав заштатного общежительного скита.
В советское время монашеская жизнь в Савватиевском скиту была приостановлена, однако возобновилась в 1994 г. в 2005 г. были проведены реставрационные работы в храме, которые закончились в 2009 г.