В ноябре 1804 года имение с двухэтажным господским домом в селе Захарово покупает Мария Алексеевна Ганнибал, бабушка поэта . В конце мая следующего 1805 года сюда на лето приезжает ее дочь Надежда Осиповна Пушкина с детьми. Будущий поэт проводил здесь каждое лето, а также зиму 1808-1809 годов, вплоть до отъезда в Лицей в 1811 году, после чего М.А. Ганнибал продает усадьбу.
Здесь же, возле пруда, в 1999 году к 200-летию со дня рождения поэта установлен памятник юному Пушкину,работа скульптора Хижняка.