PDF Печать E-mail
О конструировании бинарных динамических оценочных систем
Различные образовательные системы по-разному понимают функцию оценки личных учебных достижений обучающихся и используют различные оценочные системы [6, с. 3]. Если в открытых образовательных системах целью обучения является максимально полное (в существующих условиях) раскрытие личностного потенциала каждого ученика, развитие его индивидуального знания-органа [3; 4] и используется, как правило, порядковая или дескриптивная оценка, то царящая сегодня традиционная классно-урочная система, основанная на парадигме пансофизма Я. Коменского, оперирует понятием «обязательные результаты обучения» (будь то пресловутые знания, умения и навыки или ключевые компетентности) и использует количественные оценочные шкалы.

Изменения в подходах к оценке, происходящие в последние годы, коснулись в основном итоговой аттестации; текущий контроль учебных достижений по-прежнему основан на старой доброй пятибалльной системе, введенной (после многолетнего перерыва) постановлением СНК РСФСР от 10 января 1944 года № 18. Время от времени раздаются призывы «размельчить» оценочную шкалу, перейдя, например, на 12-балльную [2] или 10-балльную систему отметок (что реализовано в постсоветских Украине, Молдавии, Белоруссии, Латвии) или, наоборот, ввести по ряду предметов (изобразительное искусство, музыка, физическая культура) двухбалльную систему «зачтено» – «не зачтено».
В настоящей работе мы предлагаем подход к конструированию оценочных шкал, основанный на концепциях умений-индикаторов [5, с. 104–110] и семантических сетей [10].
1. Умения-индикаторы
Заметим прежде всего, что развитие знания-органа в открытых образовательных системах или достижение обязательных результатов обучения в классно-урочной системе — не самоцель, а лишь средство, обеспечивающее адаптацию индивида в культурной и материальной среде. Такая адаптация происходит благодаря умениям — «способности личности к эффективному выполнению определенной деятельности на основе имеющихся знаний в измененных или новых условиях» [7, с. 8]. Таким образом, с точки зрения мониторинга качества образования и личных учебных достижений индивида (а это основная функция оценки в любой образовательной системе [1, с. 11–22]), умение можно рассматривать как индикатор (indicator, лат. — указатель) как знания, так и, более общо, результата обучения в целом.
Отметим, что если в классно-урочной системе речь, как правило, идет о неких обязательных умениях (сопоставимых с эталонами [1, с. 164–165]), то открытые образовательные системы исходят из тезиса об индивидуальности структуры умений каждого обучающегося. Поэтому под умениями-индикаторами мы понимаем в первую очередь некие интегральные умения (может быть, не формируемые в процессе обучения напрямую), наличие которых позволяет сделать вывод о развитости знания-органа (в открытых образовательных системах) или о достижении обязательных результатов обучения (в традиционной системе).
Приведем простой пример. Предположим, вы обучаете ребенка предсказывать погоду. Если в качестве индикаторов взять умения определять скорость ветра, направление движения облаков или процент влажности воздуха, это будут, безусловно, индикаторы знаний и умений, планово формируемых по учебным программам. Для измерения уровня развития знания-органа или достижения обязательного результата обучения все эти умения абсолютно не важны — единственным индикатором здесь может служить правильность или неправильность прогноза. Последнее и является тем универсальным индикатором, по которому мы можем судить о зрелости знания — независимо от парадигмы той образовательной системы, в которой оно сформировано или развито.
Конечно, не все так просто. Горькая правда состоит в том, что со времени внедрения в практику классно-урочной системы Я. Коменского (1652) не только образование, но и науки Нового времени развивались под мощным воздействием классно-урочных процедур, превращаясь постепенно из живого знания в формализованные замкнутые грамматики. Поэтому отбор умений-индикаторов, кажущийся не таким сложным в «практических» областях типа игры на рояле, шитья сапог или пилотирования самолета, является очень тонким делом в традиционных знаковоориентированных предметах типа математики или химии. Если, например, в русском языке в качестве индикатора вполне подойдет умение грамотно писать изложение (и совершенно не важно при этом, знаете ли вы правила), то что есть настоящее знание математики? Ведь не знание же наизусть теорем и формул? И какие умения могут служить индикатором подлинного, живого (т. е. развитого в себе, а не «выученного») знания математики?
Ситуация усугубляется еще и тем, что, реализуя какие бы то ни было образовательные системы, мы делаем это в существующих российских условиях. Поэтому единственным реальным вариантом представляется отбор умений-индикаторов в соответствии с действующими образовательными стандартами, но с условием, что эти умения являются универсальными в том смысле, что обеспечиваются как знаковоопосредованными знаниями, так и знанием-органом.

2. Семантическая сеть умения
Отбор совокупности умений-индикаторов является весьма трудной задачей, однако не менее трудна для анализа и «внутренняя структура» умения. Такой анализ, однако, совершенно необходим — именно для построения перечня умений-индикаторов, для определения «уровня», или «степени размельчения» этих умений. В отличие от традиционного взгляда на «внутреннее устройство» умения как на совокупность операций [2, с. 58–68], мы предлагаем взгляд на структуру умения как на семантическую сеть; поясним это понятие на близком нам примере из математики.
Рассмотрим умение решать квадратное уравнение (только лишь для примера, не утверждая при этом, что его можно использовать в качестве индикатора!). Его решение основано на ряде «нижестоящих» умений, которые, в свою очередь, «распадаются» на еще более «мелкие». Такую структуру удобно моделировать с помощью ориентированного графа [8], который мы и будем называть семантической сетью умения [10] (в теории графов под сетью понимается нагруженный граф, поэтому семантическая сеть не является, строго говоря, сетью в терминах теории графов). В узлах этой сети располагаются умения, а ориентированные ребра соединяют родительские и дочерние умения (в рассматриваемом примере мы будем использовать направление от родительского умения к дочернему).
В данной модели умению решать квадратные уравнения соответствует семантическая сеть, изображенная на рисунке.
Безусловно, выделенные умения можно было бы «размельчать» и далее, мы приводим данную сеть в качестве иллюстрации. Ее узлы являются следующими умениями (см. табл. 1):
Таблица 1
Номер узла    Умение
1    Решение квадратного уравнения
2    Определение типа уравнения: полное, неполное, приведенное
3    Приведение уравнения к каноническому виду  и определение коэффициентов a, b, c
4    Решение неполного квадратного уравнения
5    Решение приведенного квадратного уравнения по теореме, обратной теореме Виета
6    Вычисление корней уравнения по формуле корней
7    Вычисление дискриминанта уравнения и определение его знака
8    Извлечение квадратного корня или вынесение множителя из-под знака радикала
9    Преобразования алгебраических и числовых выражений и арифметические действия с вещественными числами


Заметим, что семантическая сеть не является деревом: умение, например, совершать арифметические действия с вещественными числами является дочерним для нескольких родительских узлов сети. Поэтому при построении семантической сети умения крайне важно избежать семантических апорий, то есть, говоря языком теории графов, циклических ориентированных маршрутов. Эта проблема, впрочем, является предметом отдельного анализа.

3. Бинарная динамическая оценочная система
Конструирование предлагаемой оценочной системы начинается с формирования перечня умений, являющихся результатом изучения курса (этот алгоритм относится, конечно, в большей степени к традиционной классно-урочной системе; в открытых образовательных системах формирование перечня умений-индикаторов является гораздо более сложным). В традиционной практике разумнее ориентироваться на предусмотренные программой и тематическим планированием курса контрольные точки, формируя для каждой из них свою часть перечня.
Далее для каждого умения, входящего в перечень, составляется семантическая сеть дочерних умений (подобно тому, как мы сделали это для умения решать квадратные уравнения). Итогом является общая семантическая сеть (онтология изучаемого курса или его части), возможно, состоящая из нескольких связных компонент.
Следующий этап чрезвычайно важен: в полученной онтологии (единой семантической сети курса) необходимо выделить умения-индикаторы, которые и станут предметом оценивания. Эту работу следует проводить, помня о трех принципах:
1) совокупность выделенных умений-индикаторов вместе со всеми их дочерними умениями должна составлять всю онтологию курса (то есть всю объединенную семантическую сеть);
2) выделять следует именно индикаторы (об этом мы говорили выше), то есть те умения, которые свидетельствуют о сформированности знания-органа, личных средств познания мира, когнитивных, креативных и других базовых компетентностей;
3) отобранные индикаторы должны сопровождаться четкими критериями, позволяющими определить, сформировано соответствующее умение или нет. Понятно, что элемент субъективности при оценке сформированности умения будет всегда, но следует стремиться к максимально возможной объективности соответствующего критерия.
Грубо говоря, работа по отбору умений-индикаторов сводится к решению множества вопросов типа «брать в качестве индикатора умение А или же его дочерние умения B, C и D (или вместо D его дочерние умения D1 и D2 и т.д.)?» Понятно при этом, что слишком уж «размельчать» индикаторы было бы неправильным: многие умения не сводимы к совокупности своим дочерних.
Умения-индикаторы разумно разбить на группы в соответствии с периодами промежуточной аттестации (например, перечень умений, формируемых во второй четверти). Таким образом, в каждом учебном периоде у нас появляются индикаторы двух типов, в зависимости от того, формируются ли соответствующие умения в данном периоде или должны были быть сформированы ранее. Последние индикаторы будем условно называть базовыми.
Собственно оценочная система предлагается бинарной и динамической. Поясним оба этих термина.
Наличие или отсутствие каждого умения-индикатора оценивается по двухбалльной (0 или 1), или бинарной, шкале отметок. Важно, что эта отметка является динамической, то есть может неоднократно меняться в ходе текущего мониторинга учебных достижений обучающихся. Опишем, какой нам представляется соответствующая процедура мониторинга.
На каждое задание, включенное в процедуру контроля (контрольную работу, задание для практической работы, проблему для развернутого устного ответа и т. д.), составляется семантическая сеть задания с выделением в ней умений-индикаторов. Этот процесс рассмотрен нами выше: составление общей семантической сети (онтологии) курса или его раздела происходит одновременно с этой работой применительно к каждой контрольной точке курса. Нечто подобное уже было в поздней советской школе, когда вместе с так называемыми «срезами знаний» предлагалась и схема анализа допущенных учащимися ошибок, являющаяся по сути семантической сетью умений, востребуемых конкретным заданием.
При проверке письменного задания (или заслушивании устного ответа) оценивается сформированность умений-индикаторов, и по каждому из них выставляется отметка 0 или 1. Никаких других отметок (как в традиционной системе) не выставляется.
Отметим, что одно задание, например, контрольной работы может выявлять сформированность нескольких индикаторов. Более того, совершенно естественной и уместной является форма мониторинга, которую можно условно назвать «попутной»: отслеживание сформированности индикаторов может происходить не только напрямую, а и в ходе как текущей учебной работы, так и контрольных мероприятий, направленных на выявление других умений. Если, например, в ходе решения логарифмического уравнения ученик демонстрирует умение решать квадратное, никто не мешает выставить ему 1 за умение решать квадратные уравнения.
Принципиальным свойством предлагаемой оценочной шкалы является ее динамичность. Если в процессе мониторинга обнаружится, что какое-то ранее сформированное умение-индикатор учащимся утрачено, соответствующая отметка 1 заменяется на 0. Это «колебание» в ту и другую сторону может происходить многократно, причем не только по индикаторам текущего учебного периода (четверти, семестра), но и по базовым, ранее сформированным умениям-индикаторам. С переходом к фиксации результатов мониторинга учебных достижений в электронной форме такую динамичность отметок несложно реализовать технически.

4. Отметки промежуточной аттестации
На основе бинарной динамической оценочной шкалы достаточно легко конструируется механизм определения отметки промежуточной аттестации за учебный период (четверть, полугодие, год). Понятно, что в существующих сегодня условиях такую отметку приходится выставлять по пятибалльной системе.
Наиболее простым является выставление отметки в зависимости от процента умений-индикаторов, за которые стоит отметка 1. Могут быть предложены различные критерии (например, отметка «3» за 50% сформированных на конец учебного периода умений-индикаторов, «4» за 70%, «5» за 90%). Важным при этом является вопрос о том, какой массив умений-индикаторов использовать для определения отметки промежуточной аттестации: только за данный учебный период или включая некие базовые (ранее сформированные) индикаторы, возможно, не все. Наконец, никто не мешает шкалировать результаты текущего мониторинга сформированности умений-индикаторов подобно тому, как это делается, например, при проведении Единого государственного экзамена [9].
Более сложным является подход, когда для определения отметки промежуточной аттестации умения-индикаторы используются с некоторыми весовыми коэффициентами. Подбор таких коэффициентов требует отдельного исследования: понятно, например, что количество дочерних учений данного умения-индикатора в его семантической сети вряд ли может быть взято в качестве весового коэффициента. По-видимому, на первом этапе конструирования предлагаемой оценочной шкалы не следует использовать весовые коэффициенты, сосредоточившись на тщательном отборе умений-индикаторов примерно равного «веса».

5. Эффективность оценочной системы
Безусловно, предлагаемая оценочная система не является совсем новой. Бинарная оценка используется, например, при проверке частей А и В Единого государственного экзамена (правда, с тем принципиальным отличием, что в ЕГЭ оцениваются задания в целом, а не сформированность специально отобранных умений-индикаторов). Критерии оценки заданий части С тоже представляют собой (в сильно грубом приближении) шкалу сформированности соответствующих умений. Наконец, используемые сегодня при тестовой системе оценки различные процедуры и модели шкалирования [9] также имеют много общего с предлагаемым нами подходом; следует, правда, отметить, что шкалирование результатов ЕГЭ, например, никак не учитывает структуру онтологии курса или «насыщенность умениями» включенных в тест заданий.
Тем не менее в текущем мониторинге учебных достижений пока повсеместно используется традиционная пятибалльная система отметок. Важным поэтому является вопрос об оценке эффективности различных оценочных систем, о критериях выбора той или иной из них. Выскажем лишь предварительные соображения на этот счет.
Главным аргументом в пользу предлагаемой системы (нуждающимся, впрочем, в валидной верификации) является тезис о большей объективности и прозрачности, понятности для учащихся бинарной отметки по сравнению, например, с 5-балльной или 12-балльной. Конечно, определяющим при этом является наличие соответствующих критериев; нам, однако, представляется, что разработать критерий типа «есть–нет» существенно проще, чем хотя бы в какой-то степени объективную 5-балльную шкалу оценки уровня сформированности того или иного умения.
Наконец, о собственно критериях эффективности. Пока из таких критериев на поверхности лежит только один: коэффициент корреляции между отметками промежуточной и итоговой аттестации. Если принять в качестве разумного допущения (пусть и с многочисленными оговорками), что процедуры государственной итоговой аттестации измеряют уровень освоения образовательных программ (или, применительно к открытым образовательным системам, уровень сформированности знания-органа) достаточно объективно, то высокий коэффициент корреляции между отметками промежуточной и итоговой аттестации будет с достаточной степенью надежности свидетельствовать об эффективности и низкой степени субъективности оценочной системы, применяемой на этапе текущего мониторинга учебных достижений.

Список использованной литературы
1. Амонашвили Ш. А. Воспитательная и образовательная функция оценки учения школьников: Экспериментально-педагогическое исследование. — М.: Педагогика, 1984.
2. Беспалько В. П. Слагаемые педагогической технологии. — М.: Педагогика, 1989.
3. Гольдин А. М. К построению модели знания в парадигме М. А. Балабана // Вопросы психологии. — 2002. —
№ 1. — С. 104–110.
4. Гольдин А. М. Образование 2.0: модный термин или новое содержание? // Вопросы образования. — 2010. —
№ 2. — С. 224–237.
5. Гольдин А. М. Образовательная система «Школа-парк»: теория и практика. — Екатеринбург: Полиграфист, 2002.
6. Гузеев В. В. Оценка, рейтинг, тест. // Школьные технологии. — 1998. — № 3. — Часть III.
7. Селевко Г. К. Современные образовательные технологии. — М.: Народное образование, 1998.
8. Уилсон Р. Введение в теорию графов. — М.: Мир, 1977.
9. Шкалирование результатов ЕГЭ [Электронный ресурс] — Режим доступа: http://www1.ege.edu.ru/scaling.
10. Roussopoulos N. D. A semantic network model of data bases: Doctoral Dissertation / University of Toronto, Department of Computer Science. — 1976. — TR No 104.

А. М. Гольдин,
учитель,
СУНЦ УрФУ им. А. М. Горького,
г. Екатеринбург