В 1839 году город Зарасай назывался Новоалександровск и в этом же году была построена Православная Церковь. В этой церкви имеется ряд икон написанных в греческом стиле, а так же охраняемый образ Богоматери из монастыря в деревни Сувекас, она считается чудотворной и ей поклоняютя не только православные, но и католики.
В 1869 году , после визита преемника М.Муровьёва, А.Потапова, было принято решение, что новый кирпичный  молитвенный дом будет строиться возле деревянной православной церкви. В 1885 году на этом месте было создано кладбище (в настоящий момент Вальстиечу ул.). Православная Церковь в центре кладбища стоит и по сей день.