Костел стоит на площади в центре села, на перекрестье дорог. Главный фасад костела, обращен к площади. С западной стороны стоит деревянная колокольня. Этот храм имеет богатую историю. В начале семнадцатого века Юрий Самсон Подберезский в местечке Смалвос построил деревянную церковь и позвал монахов из ордена регулярных каноников служить там. Они были знатного происхождения, жили в усадьбе, учили местных детей и служили в костеле. В войне 1812 года костел был сожжен и ограблен. Спустя пару десятилетий представители царского правительства монахов изгнали из костела и его переняли мирские священники. Ныне существующий Смалвосский костел уже не тот, что был построен в семнадцатом веке. В 1857 г. граф Плятер вместе со Смалвосскими прихожанами построили и снарядили ныне существующий костел.
Костел был построен на каменном фундаменте. Его план прямоугольный, внутри — три нефа. Интерьер оформлен в народном стиле барокко, богатые декоративные элементы, преобладают растительные мотивы. Церковные полы - широкие доски деревянными штифтами и калёными гвоздями прибиты к балкам. Главный алтарь сделан из сосны, довольно богато позолоченный. Икона Божией Матери написана Казимиром Горацким. Выделяется резная отделка обводов наружных окон и дверей — скорее всего перенятые у домов и сараев — видимо для того чтобы придать костелу больше народности. Передний фасад костела уникальный трехэтажный портик. На первом этаже вход, на втором — балкон, а на третьем - фронтон с окошком.
Интересно, что в ризнице церкви по-прежнему хранится портрет основателя Юрия Самсона Подберёзского. Всё имущество Подберёзского в 1920 году было завещано костелу.