Нынешняя часовня построена в 1895 году . Подняться в часовню можно по деревянной лестнице. Изнутри часовня не имеет особых украшений, стены и потолок выкрашены простой белой краской. Лишь на восточной стене помещены две иконы современного письма: одна — Божией Матери Коневской, другая преп. Арсения. Перед иконами стоит аналой для чтеца. Конь-камень — огромный валун серого гранита с прожилками кварца размером 9 на 6 и высотой чуть более 4 метров — является одной из самых ярких достопримечательностей острова Коневец. Это единственный камень на Коневце таких больших размеров, вес его — более 750 тонн.
В историческом отношении валун представляет собой древний памятник народного суеверия. Много лет назад, ещё до прихода на остров преподобного Арсения, камень служил местом языческих ритуалов. Ежегодно местные жители использовали Коневец как летнее пастбище для своих лошадей и приносили в жертву на этом камне коня, дабы возблагодарить тем самым духов острова, которые, как считали, обитали здесь. Поэтому валун и был назван Конь-камнем, а сам остров — Коневцом.
Преподобный Арсений, пришедший на остров в конце XIV века, провёл у камня ночь в молитве, а под утро совершил крестный ход вокруг камня с иконой Богородицы в руках и окропил его святой водой. По преданию, духи и бесы пропали. Исчезли и змеи (Коневец — это единственный остров на Ладоге, где нет змей!).