В 1892 году в Пальмникене (Янтарный) по проекту архитектора В.Л. Бесселя-Лорка была возведена евангелистская кирха. Строительство финансировала фирма «Штантиен и Беккер». Для ее сооружения использовались валуны и фигурный кирпич. Кирха являлась уменьшенной копией капеллы Святого Георгия в саду королевского замка Монбиньон в предместье Берлина. Витражи в кирхе были созданы на темы местных сюжетов, внутреннее убранство выполнено в романском стиле.
Кирха имела два именных колокола от Штантиена и Беккера, в ней был смонтиован орган. В послевоенное время в здании кирхи располагался клуб, затем бильярдная, спортивный зал и, наконец, склад. Орган и витражи были утрачены.
В 1990 году полуразвалившееся здание кирхи было передано русской православной церкви, 13 января 1991 года храм Казанской Иконы Божьей матери освятил митрополит Смоленский и Калининградский Кирилл.