Духовника мы менять не хотим.
Мне, кстати, не совсем понятно, почему тогда вопрос Вы задаете на форуме, а не духовнику (раз он у Вас имеется) - это, на мой взгляд решение всей проблемы - помолитесь и, положась на волю Божию, задайте вопрос духовнику - и поступите так, как он скажет.
От себя добавлю, что организация хорошей воскресной школы (а Вы говорите, что это так и есть) большой труд настоятеля, в том числе и молитвенный. И если ему удалось создать и руководить хорошей школой, возможно, он что-то видит и в вашем случае и поэтому так настаивает (хотя, как Вы пишете, для других детей требования иные).