Думаю, что ключ от часовни у местной бабушки есть. Поспрашивайте у местных. И, скорее всего, священник приезжает служить молебен в дни памяти Нила Столобенского.
Раньше в такие часовни ставили покойника.

Сергею:
Исправь в посте название павского храма. Он назван у тебя Успенским.