45411 КНИГА 2 I SBN 5 9 8 7 0 4 5 4 6 - 0 THE WORLD BANK 9 785987 045466 Ðàçðàáîòêà òåñòîâ è àíêåò äëÿ íàöèîíàëüíîé îöåíêè ó÷åáíûõ äîñòèæåíèé Developing Tests and Questionnaires for a National Assessment of Educational Achievement National Assessments of Educational Achievement VOLUME 2 Developing Tests and Questionnaires for a National Assessment of Educational Achievement Prue Anderson and George Morgan Vincent Greaney and Thomas Kellaghan, Series Editors THE WORLD BANK Национальная оцен а чебных достижений Пр Андерсен, Джордж Мор ан Ðàçðàáîòêà òåñòîâ è àíêåò äëÿ íàöèîíàëüíîé îöåíêè ó÷åáíûõ äîñòèæåíèé КНИГА 2 Реда торы серии – Винсент Грини, Томас Келла ан Ìîñêâà Ëîãîñ 2011 ÓÄÊ 378 Èçäàíèå ïîäãîòîâëåíî ïðè ïîääåðæêå ÁÁÊ 74.58 Ìåæäóíàðîäíîãî áàíêà ðåêîíñòðóêöèè è ðàçâèòèÿ À65 Ïåðåâîä ïîäãîòîâëåí ïî èíèöèàòèâå Öåíòðà ìåæäóíàðîäíîãî ñîòðóäíè÷åñòâà ïî ðàçâèòèþ îáðàçîâàíèÿ Ðîññèéñêîé àêàäåìèè íàðîäíîãî õîçÿéñòâà è ãîñóäàðñòâåííîé ñëóæáû ïðè Ïðåçèäåíòå Ðîññèéñêîé Ôåäåðàöèè Àíäåðñåí, Ïðó À65 Ðàçðàáîòêà òåñòîâ è àíêåò äëÿ íàöèîíàëüíîé îöåíêè ó÷åá- íûõ äîñòèæåíèé / Ïðó Àíäåðñåí, Äæîðäæ Ìîðãàí; ïåð. ñ àíãë. Â.Í. Ñèìêèíà; íàó÷. ðåä. Â.È. Çâîííèêîâ. – Ì.: Ëîãîñ, 2011. – 196 ñ.: èë. – (Íàöèîíàëüíàÿ îöåíêà ó÷åáíûõ äîñòèæåíèé). ISBN 978-5-98704-546-6 Ïðåäñòàâëåíà òåõíîëîãèÿ ðàçðàáîòêè íàäåæíîãî èíñòðóìåíòàðèÿ äëÿ ñèñ- òåì îöåíêè ó÷åáíûõ äîñòèæåíèé. Îñâåùåíî êîíñòðóèðîâàíèå òåñòîâ ó÷åáíûõ äîñòèæåíèé, âêëþ÷àÿ ðàçðàáîòêó ñòðóêòóðû çàäàíèé, èõ ïðåäâàðèòåëüíóþ ïðî- âåðêó, îòáîð è ñîçäàíèå îêîí÷àòåëüíîãî òåñòà. Ðàñêðûòû îñíîâíûå ýòàïû êîí- ñòðóèðîâàíèÿ àíêåò: èõ ïðîåêòèðîâàíèå, íàïèñàíèå âîïðîñîâ, êîäèðîâàíèå îò- âåòîâ. Ðàññìîòðåí âîïðîñ ñîîòâåòñòâèÿ äàííûõ àíêåò è òåñòîâ. Ïîêàçàíî, êàê ñïðîåêòèðîâàòü ðóêîâîäñòâî äëÿ àäìèíèñòðàòîðà òåñòèðîâàíèÿ è ãàðàíòèðî- âàòü, ÷òî ó÷àùèåñÿ âûïîëíÿþò òåñò â ðàâíûõ óñëîâèÿõ. Õàðàêòåðèçóþòñÿ îáÿ- çàííîñòè àäìèíèñòðàòîðà ïî òåñòèðîâàíèþ. Èçëîæåí ïîäõîä ê ðåôîðìèðîâà- íèþ øêîë â íàöèîíàëüíîì îöåíèâàíèè. Äëÿ ñïåöèàëèñòîâ ïî ðàçðàáîòêå ñïåöèàëèçèðîâàííûõ òåñòîâ è ñïåöèàëè- ñòîâ-ïðåäìåòíèêîâ, à òàêæå äëÿ ìåòîäèñòîâ, ó÷àñòâóþùèõ â îðãàíèçàöèè òåñòè- ðîâàíèÿ è äðóãèõ îöåíî÷íûõ ìåðîïðèÿòèé. Ïðåäñòàâëÿåò èíòåðåñ äëÿ øèðîêî- ãî êðóãà ñïåöèàëèñòîâ-ïðåäìåòíèêîâ – ó÷èòåëåé è ïðåïîäàâàòåëåé ðàçëè÷íûõ äèñöèïëèí, ñàìîñòîÿòåëüíî ðàçðàáàòûâàþùèõ è/èëè èñïîëüçóþùèõ òåñòû è äðóãèå òåõíîëîãèè ïåäàãîãè÷åñêèõ èçìåðåíèé, êîòîðûå ïîçâîëÿþò îöåíèâàòü ó÷åáíûå äîñòèæåíèÿ îáó÷àåìûõ è ñîïóòñòâóþùèå èì ôàêòîðû. Ìîæåò èñïîëü- çîâàòüñÿ â ó÷åáíîì ïðîöåññå ïî ïåäàãîãè÷åñêèì íàïðàâëåíèÿì (ñïåöèàëüíîñ- òÿì), à òàêæå ïðè ïîâûøåíèè êâàëèôèêàöèè ïåäàãîãè÷åñêèõ êàäðîâ è èõ ïîä- ãîòîâêå â ìàãèñòðàòóðå â îáëàñòè òåñòîëîãèè è ïåäàãîãè÷åñêèõ èçìåðåíèé, ïðè èçó÷åíèè òåìàòèêè, ñâÿçàííîé ñ êîíòðîëåì è îöåíêîé çíàíèé îáó÷àåìûõ. Ïðåä- ñòàâëÿåò èíòåðåñ äëÿ øèðîêîãî êðóãà ó÷èòåëåé, ïðåïîäàâàòåëåé è ìåòîäèñòîâ ó÷åáíûõ çàâåäåíèé âñåõ âèäîâ è óðîâíåé. ÓÄÊ 378 ÁÁÊ 74.58 ISBN 978-5-98704-546-6 © Ìåæäóíàðîäíûé áàíê ðåêîíñòðóêöèè è ðàçâèòèÿ/ Âñåìèðíûé áàíê, 2008, 2011 © Ëîãîñ, 2011 1818 H Street NW Washington, DC 20433 Òåëåôîí: 202-473-1000 Internet: www.worldbank.org E-mail: feedback@worldbank.org Âñå ïðàâà çàùèùåíû 1 2 3 4 10 09 08 07 Ýòà êíèãà ïîäãîòîâëåíà ïîä ýãèäîé Ìåæäóíàðîäíîãî áàíêà ðåêîíñòðóêöèè è ðàçâèòèÿ. Ïðåäñòàâëåííûå â íåé ìàòåðèàëû íå âñåãäà îòðàæàþò òî÷êó çðåíèÿ èñïîëíèòåëüíûõ äèðåêòîðîâ Âñåìèðíîãî áàíêà èëè ïðàâèòåëüñòâ ãîñóäàðñòâ, êîòîðûå îíè ïðåäñòàâëÿþò. Âñåìèðíûé áàíê íå ãàðàíòèðóåò òî÷íîñòè ïðèâåäåííûõ äàííûõ. Ãðàíèöû, öâåòà, ãåîãðàôè÷åñêèå íàèìåíîâàíèÿ è èíàÿ èíôîðìàöèÿ, ïðèâåäåííàÿ íà êàðòàõ, íå îòðàæàåò ïîçèöèþ Âñåìèðíîãî áàíêà îòíîñèòåëüíî ïðàâîâîãî ñòàòóñà òåððèòîðèé. Àâòîðñêîå ïðàâî Ïðîèçâåäåíèå çàùèùàåòñÿ àâòîðñêèì ïðàâîì. Êîïèðîâàíèå è/èëè ïåðåäà- ÷à ïðîèçâåäåíèÿ èëè åãî ÷àñòåé áåç ðàçðåøåíèÿ ïðàâîîáëàäàòåëÿ ïðåñëåäó- åòñÿ ïî çàêîíó. Ìåæäóíàðîäíûé áàíê ðåêîíñòðóêöèè è ðàçâèòèÿ ïîîùðÿåò ðàáîòû ïî ðàñïðîñòðàíåíèþ êíèãè è ãàðàíòèðóåò ïðåäîñòàâëåíèå ðàçðåøåíèÿ íà âîñïðîèçâåäåíèå åå ÷àñòåé. For permission to photocopy or reprint any part of this work, please send a request with complete information to the Copyright Clearance Center Inc., 222 Rosewood Drive, Danvers, MA 01923, USA; telephone: 978-750-8400; fax: 978- 750-4470; Internet: www.copyright.com. All other queries on rights and licenses, including subsidiary rights, should be addressed to the Offi ce of the Publisher, The World Bank, 1818 H Street NW, Washington, DC 20433, USA; fax: 202-522-2422; e-mail: pubrights@worldbank.org. Cover design: Naylor Design, Washington, DC ISBN-13: 978-0-8213-7497-9 eISBN: 978-0-8213-7498-6 DOI: 10.1596/978-0-8213-7497-9 Library of Congress Cataloging-in-Publication Data Anderson, Prue, 1954– Developing tests and questionnaires for a national assessment of educational achievement / Prue Anderson, George Morgan. p. cm.—(National assessment of educational achievement ; volume 2) Includes bibliographical references and index. ISBN 978-0-8213-7497-9 (alk. paper)—ISBN 978-0-8213-7498-6 1. Educational tests and measurements—United States. 2. Educational evaluation— United States. I. Morgan, George, 1945– II. Title. LB3051.A715 2008 371.26”1—dc22 2008002684 Âûðàæåíèå ïðèçíàòåëüíîñòè Íàó÷íûå êîíñóëüòàíòû, ïåðåâîä÷èêè, ðåäàêòîðû Èçäàòåëü- ñêîé ãðóïïû «Ëîãîñ» âûðàæàþò ïðèçíàòåëüíîñòü Ìîñêîâñêî- ìó ïðåäñòàâèòåëüñòâó Ìåæäóíàðîäíîãî áàíêà ðåêîíñòðóêöèè è ðàçâèòèÿ, îñîáåííî Èñàêó Ôðóìèíó è Òèãðàíó Øìèñó, çà ïî- ìîùü è ïîääåðæêó â ïîäãîòîâêå è âûïóñêå ýòîé êíèãè è âñåé ñåðèè êíèã «Íàöèîíàëüíàÿ îöåíêà ó÷åáíûõ äîñòèæåíèé». Ìû áëàãîäàðèì Â.À. Áîëîòîâà, âèöå-ïðåçèäåíòà Ðîññèéñêîé àêàäå- ìèè îáðàçîâàíèÿ, êîòîðûé íàïðàâëÿë íàøè óñèëèÿ íà äîñòè- æåíèå öåëåé, èìåþùèõ èñêëþ÷èòåëüíîå çíà÷åíèå äëÿ ðåôîðìè- ðîâàíèÿ ðîññèéñêîé ñèñòåìû îáðàçîâàíèÿ. Âûñîêîé îöåíêè çàñëóæèâàåò âêëàä Öåíòðà ìåæäóíàðîäíîãî ñîòðóäíè÷åñòâà ïî ðàçâèòèþ îáðàçîâàíèÿ, êîòîðûé âûñòóïèë èíèöèàòîðîì ïåðåâîäà êíèã ïî îöåíêå ó÷åáíûõ äîñòèæåíèé íà ðóññêèé ÿçûê. ÑÎÄÅÐÆÀÍÈÅ ПРЕДИСЛОВИЕ ................................................................................ 13 ОБ АВТОРАХ И РЕДАКТОРАХ ......................................................... 15 БЛАГОДАРНОСТИ ............................................................................ 17 СПИСОК СОКРАЩЕНИЙ .................................................................. 19 ЧАСТЬ 1 КОНСТРУИРОВАНИЕ ТЕСТОВ УЧЕБНЫХ ДОСТИЖЕНИЙ ГЛАВА 1 ПРЕДВАРИТЕЛЬНЫЕ ЗАМЕЧАНИЯ ............................. 21 ГЛАВА 2 РАЗРАБОТКА СТРУКТУРЫ ........................................... 29 Ïðîåêò òåñòà, èëè Òàáëèöà ñïåöèôèêàöèè ................. 31 Âàëèäíîñòü ........................................................................ 37 ßçûê òåñòà .......................................................................... 37 Ôîðìà çàäàíèÿ .................................................................. 38 Ãåíåðàëüíàÿ ñîâîêóïíîñòü ó÷àùèõñÿ äëÿ ïðîâåäåíèÿ îöåíêè ................................................... 46 Ñîîáùåíèå ðåçóëüòàòîâ ................................................... 46 Êîíòåêñò ............................................................................ 48 ГЛАВА 3 НАПИСАНИЕ ЗАДАНИЙ ................................................ 51 Òðóäíîñòü çàäàíèÿ ............................................................ 53 Ñèñòåìàòè÷åñêàÿ îøèáêà çàäàíèÿ ................................. 55 8 СОДЕРЖАНИЕ Ìàòåðèàë ñòèìóëà ............................................................ 56 Ôîðìà çàäàíèÿ .................................................................. 58 Òðåíèðîâî÷íûå çàäàíèÿ ................................................. 72 Ðàñïîëîæåíèå è äèçàéí çàäàíèé ................................... 73 Êîìàíäà, ïèùóùàÿ çàäàíèÿ ............................................ 79 Ãðóïïû ýêñïåðòîâ ïî çàäàíèÿì ...................................... 83 Äðóãèå ýêñïåðòû ............................................................... 86 Îòñëåæèâàíèå çàäàíèé .................................................... 87 ГЛАВА 4 ПРЕДВАРИТЕЛЬНАЯ ПРОВЕРКА ЗАДАНИЙ ............... 91 Äèçàéí ïðåäòåñòîâîé ôîðìû ......................................... 95 Âû÷èòêà è òèðàæèðîâàíèå ïðåäâàðèòåëüíîãî òåñòà .. 100 Ïðîâåäåíèå ïðåäâàðèòåëüíîãî òåñòèðîâàíèÿ .......... 103 Îöåíêà ïðåäâàðèòåëüíîãî òåñòà ................................. 104 Íàäåæíîñòü ..................................................................... 111 ГЛАВА 5 ОТБОР ТЕСТОВЫХ ЗАДАНИЙ ................................... 113 ГЛАВА 6 СОЗДАНИЕ ОКОНЧАТЕЛЬНОГО ТЕСТА .................... 121 Ïðîåêòèðîâàíèå îêîí÷àòåëüíîãî òåñòà .................... 121 Âû÷èòêà è òèðàæèðîâàíèå ........................................... 125 ГЛАВА 7 ОЦЕНКА ТЕСТОВЫХ ЗАДАНИЙ ВРУЧНУЮ ............... 129 ЧАСТЬ 2 КОНСТРУИРОВАНИЕ АНКЕТ ГЛАВА 8 ПРОЕКТИРОВАНИЕ АНКЕТ ........................................ 137 Ñîäåðæàíèå àíêåò .......................................................... 139 Ïðîåêò àíêåòû ................................................................ 144 Çàäàíèÿ àíêåòû ............................................................... 146 Ôîðìà çàäàíèé ................................................................ 148 ßçûê àíêåòû .................................................................... 149 Ðåñïîíäåíòû .................................................................... 149 Ïðåäúÿâëåíèå àíêåò ...................................................... 150 Ïëàí àíàëèçà äàííûõ ..................................................... 151 ГЛАВА 9 НАПИСАНИЕ ЗАДАНИЙ ДЛЯ АНКЕТ ......................... 153 Âîïðîñû ........................................................................... 154 Óòâåðæäåíèÿ ................................................................... 154 Âàðèàíòû îòâåòîâ .......................................................... 155 Óïðàâëåíèå ïðîáëåìàìè ÷óâñòâèòåëüíîñòè .............. 157 Ìàêåò àíêåòû .................................................................. 158 Ýêñïåðòèçà àíêåò ............................................................ 158 СОДЕРЖАНИЕ 9 ГЛАВА 10 КОДИРОВАНИЕ ОТВЕТОВ НА АНКЕТЫ .................... 163 Ïîäãîòîâêà àíêåò äëÿ ââîäà äàííûõ ........................... 165 Êîäèðîâàíèå ïðîïóùåííûõ èëè íåîäíîçíà÷íûõ îòâåòîâ ............................................................................. 165 ГЛАВА 11 СООТВЕТСТВИЕ ДАННЫХ АНКЕТ И ТЕСТОВ ........... 167 Àíêåòû äëÿ ó÷àùèõñÿ ..................................................... 168 Àíêåòû äëÿ ðîäèòåëåé ................................................... 168 Àíêåòû äëÿ îïðîñà ïðåïîäàâàòåëåé è äèðåêòîðîâ øêîë .................................................................................. 169 ЧАСТЬ 3 ДИЗАЙН РУКОВОДСТВА ПО ПРЕДЪЯВЛЕНИЮ ТЕСТА ГЛАВА 12 РУКОВОДСТВО ПО ПРЕДЪЯВЛЕНИЮ ТЕСТА .......... 173 Ñîäåðæàíèå ðóêîâîäñòâà .............................................. 174 Èñïîëüçîâàíèå ðóêîâîäñòâà ......................................... 176 Îñîáåííîñòè ðóêîâîäñòâà ............................................. 176 Ñêîëüêî äåòàëåé íåîáõîäèìî? ..................................... 178 Òðåíèðîâî÷íûå âîïðîñû .............................................. 179 Àïðîáàöèÿ ....................................................................... 179 Îáçîð ................................................................................ 182 ГЛАВА 13 АДМИНИСТРАТОР ПО ТЕСТИРОВАНИЮ .................. 183 Âûáîð àäìèíèñòðàòîðà ................................................. 183 Ñëåäîâàíèå èíñòðóêöèÿì .............................................. 184 Ïðîâåðêà êà÷åñòâà ......................................................... 186 Êîíòðîëüíûé ñïèñîê îáÿçàííîñòåé àäìèíèñòðàòîðà .............................................................. 187 ГЛАВА 14 ИНФОРМИРОВАНИЕ ШКОЛ О НАЦИОНАЛЬНОЙ ОЦЕНКЕ ...................................................................... 191 ЛИТЕРАТУРА ДЛЯ ДАЛЬНЕЙШЕГО ЧТЕНИЯ ......................... 193 ДОПОЛНИТЕЛЬНЫЕ МАТЕРИАЛЫ 2.1. Ó÷åáíûé ïëàí ïî ìàòåìàòèêå â Ïàïóà – Íîâàÿ Ãâèíåÿ ................................................................................. 32 2.2. Ïðîåêò Íîâîé Çåëàíäèè ïî àíãëèéñêîìó ÿçûêó .. 32 2.3. Ïðèìåðû çàäàíèé ñ ìíîæåñòâåííûì âûáîðîì .... 39 2.4. Ïðèìåð çàäàíèÿ ñ êðàòêèì êîíñòðóèðóåìûì îòâåòîì ............................................................................... 39 2.5. Ïðèìåð îòêðûòîãî çàäàíèÿ ñ êðàòêèì îòâåòîì ... 40 2.6. Ïðèìåð êðàòêîãî ýññå .............................................. 41 10 СОДЕРЖАНИЕ 3.1. Ïðèìåð èððåëåâàíòíîãî ìàòåðèàëà ñòèìóëà ...... 58 3.2. Ïðèìåð çàäàíèÿ ñ íåòî÷íîé èëè ââîäÿùåé â çàáëóæäåíèå èíôîðìàöèåé ............................................ 59 3.3. Ïðèìåð çàäàíèÿ ñ ìíîæåñòâåííûì âûáîðîì ....... 60 3.4. Ðàññòàíîâêà çíàêîâ ïðåïèíàíèÿ â ñëó÷àå, åñëè âàðèàíòû îòâåòîâ ïðåäñòàâëÿþò ñîáîé çàêîí÷åííûå ïðåäëîæåíèÿ ..................................................................... 61 3.5. Ðàññòàíîâêà çíàêîâ ïðåïèíàíèÿ, åñëè âàðèàíòû îòâåòîâ äàíû â ôîðìå ïåðå÷íÿ ...................................... 61 3.6. Ñîêðàùåíèå òåêñòà çàäàíèÿ .................................... 62 3.7. Çàäàíèå ñ îòðèöàíèåì â îñíîâíîé ÷àñòè .............. 62 3.8. Íåêîððåêòíûé ïîäáîð ñëîâ â äèñòðàêòîðàõ ........ 63 3.9. Êîððåêòíîå ñî÷åòàíèå îñíîâíîé ÷àñòè ñ äèñòðàê- òîðàìè ................................................................................ 63 3.10. Ïðèìåð íåãðàìîòíî ñîñòàâëåííîãî çàäàíèÿ ñ êðàòêèì îòâåòîì ............................................................... 67 3.11. Ïðèìåð ãðàìîòíî ñîñòàâëåííîãî çàêðûòîãî çàäàíèÿ ñ êîíñòðóèðóåìûì îòâåòîì .............................. 68 3.12. Çàäàíèå ñ ÷àñòè÷íûì êðåäèòîâàíèåì .................. 68 3.13. Ïðèìåð îòêðûòîãî çàäàíèÿ ñ êðàòêèì îòâåòîì ñ ðóêîâîäñòâîì ïî îöåíêå ............................................... 70 3.14. Ïðèìåð çàêðûòîãî çàäàíèÿ ñ êîíñòðóèðóåìûì îòâåòîì è ðóêîâîäñòâî ïî îöåíêå .................................. 71 3.15. Èñïîëüçîâàíèå ðèñóíêîâ äëÿ ñîêðàùåíèÿ ôîðìó- ëèðîâîê .............................................................................. 75 3.16. Ïðèíöèï ïðîñòîòû èçîáðàæåíèÿ ........................ 76 3.17. ×åòêàÿ ìàðêèðîâêà èçîáðàçèòåëüíîãî ìàòåðèàëà ........................................................................... 76 3.18. ßñíûå îáîçíà÷åíèÿ íà êàðòàõ ............................... 77 3.19. Ðîëü ñâîáîäíîãî ïðîñòðàíñòâà äëÿ ïîíèìàíèÿ ìàòåðèàëà ñòèìóëà ............................................................ 78 3.20. Ïðèìåð òàáëèöû ñòèëåé äëÿ àâòîðîâ çàäàíèé ... 82 4.1. Ïðèìåð çàäàíèÿ â ôîðìå ñ ìíîæåñòâåííûì âûáîðîì è â îòêðûòîé ôîðìå ...................................... 105 4.2. Ïðèìåð ôîðìàòà ââîäà äàííûõ äëÿ ïðåäòåñòà .................................................................. 107 6.1. Ïðèìåð îáëîæêè òåñòà ........................................... 122 8.1. Ïðîåêò àíêåòû ïî îòíîøåíèÿì è öåííîñòÿì .... 145 9.1. Ïðèìåð íåãðàìîòíîãî ðàñïîëîæåíèÿ êâàäðàòèêîâ äëÿ îòâåòîâ ...................................................................... 159 9.2. Ïðèìåð ãðàìîòíîãî ðàñïîëîæåíèÿ êâàäðàòèêîâ äëÿ îòâåòîâ ...................................................................... 159 СОДЕРЖАНИЕ 11 10.1. Ïðèìåð êîäèðîâàíèÿ îòâåòîâ áåç âûäåëåíèÿ ................................................................. 164 10.2. Ïðèìåð ðàññìîòðåíèÿ êàæäîãî âàðèàíòà îòâåòà â îòäåëüíîñòè ïðè ââîäå äàííûõ .................................... 164 12.1. Èíñòðóêöèè ðóêîâîäñòâà ïî ïðèìåíåíèþ òåñòà .................................................... 177 12.2. Èíôîðìàöèÿ äëÿ ïðåïîäàâàòåëåé è ðóêîâîäèòåëåé ............................................................. 178 12.3. Ïðåäúÿâëåíèå òðåíèðîâî÷íûõ çàäàíèé ........... 180 13.1. Ñïèñîê îáÿçàííîñòåé àäìèíèñòðàòîðà: ïðèìåð èç Ôèëèïïèí ..................................................... 188 РИСУНКИ 1.1. Îðãàíèçàöèîííàÿ ñòðóêòóðà íàöèîíàëüíîé îöåíêè ................................................................................ 24 1.2. Ýòàïû íàöèîíàëüíîé îöåíêè .................................. 25 4.1. Ïðèìåð êðóãîâîé ñâÿçè çàäàíèé ............................. 97 4.2. Ìîäåëü äëÿ âåðòèêàëüíî ñâÿçóþùèõ çàäàíèé ...... 98 ТАБЛИЦЫ 1.1. Ýòàïû ðàçðàáîòêè òåñòîâ è àíêåò .......................... 26 2.1. Ïðîåêò òåñòà ïî îñíîâàì ìàòåìàòèêè äëÿ ñðåäíèõ êëàññîâ íà÷àëüíîé øêîëû ............................................... 33 2.2. Ñïåöèôèêàöèÿ òåñòà ïî ìàòåìàòèêå â èññëåäîâà- íèè TIMSS, 3-é è 4-é êëàññû ........................................... 34 2.3. Ïðîåêò ñîäåðæàíèÿ òåñòà ïî ìàòåìàòèêå â Ïàïóà – Íîâîé Ãâèíåè .................................................................... 35 2.4. Ïðåèìóùåñòâà è îãðàíè÷åíèÿ ôîðì òåñòîâûõ çàäàíèé ............................................................................... 44 2.5. Ôîðìû òåñòîâûõ çàäàíèé ïî ìàòåìàòèêå â Ïà- ïóà – Íîâîé Ãâèíåè ........................................................ 45 4.1. Ñâÿçóþùèå çàäàíèÿ â äâóõ þíèòàõ ïî ÷òåíèþ .... 99 4.2. ×àñòü êðóïíîôîðìàòíîé òàáëèöû äëÿ îòñëåæèâà- íèÿ çàäàíèé ïî ôîðìàì ................................................. 100 5.1. Ïðèìåð ðåçóëüòàòîâ àíàëèçà çàäàíèÿ ñ ìíîæå- ñòâåííûì âûáîðîì ......................................................... 115 5.2. Ïðèìåð ðåçóëüòàòîâ àíàëèçà îòêðûòîãî äèôôåðåí- öèðîâàííîãî çàäàíèÿ ..................................................... 117 8.1. Êîìïîíåíòû ïðîöåññà ðàçðàáîòêè àíêåò ........... 140 8.2. Ôóíêöèè ÷òåíèÿ â ìåæäóíàðîäíîì èññëåäîâàíèè .................................................................. 147 ÏÐÅÄÈÑËÎÂÈÅ Êà÷åñòâî ëþáîãî îöåíî÷íîãî ïðîöåññà â îáðàçîâàíèè çàâèñèò îò êà÷åñòâà èñïîëüçóåìîãî èíñòðóìåíòàðèÿ. Êàê ïðàâèëî, åñëè èíñòðóìåíòàðèé ðàçðàáîòàí ïëîõî, îöåíêà ïðåâðàùàåòñÿ â ïóñòóþ òðàòó âðåìåíè è äåíåã. «Ðàçðàáîòêà òåñòîâ è àíêåò äëÿ íàöèîíàëüíîé îöåíêè ó÷åá- íûõ äîñòèæåíèé» ÿâëÿåòñÿ âòîðîé èç ïÿòè êíèã â ñåðèè «Íà- öèîíàëüíàÿ îöåíêà ó÷åáíûõ äîñòèæåíèé».  íåé îïèñàíà òåõ- íîëîãèÿ ðàçðàáîòêè íàäåæíîãî èíñòðóìåíòàðèÿ äëÿ íàöèîíàëüíîãî îöåíèâàíèÿ. Ïðè ýòîì îñîáîå âíèìàíèå óäåëå- íî ðàçâèâàþùèìñÿ ñòðàíàì.  ïåðâîé êíèãå ñåðèè îñâåùàþòñÿ êëþ÷åâûå öåëè è îñî- áåííîñòè ñèñòåìû íàöèîíàëüíîé îöåíêè. Îíà, â îñíîâíîì, àäðåñîâàíà òàêòèêàì è ðóêîâîäÿùèì ëèöàì, ïðèíèìàþùèì ðåøåíèÿ â ñôåðå îáðàçîâàíèÿ.  îñòàëüíûõ êíèãàõ äåòàëüíî ðàññìàòðèâàþòñÿ ÷àñòíûå âîïðîñû – ïðîåêòèðîâàíèå, ïðèìå- íåíèå, àíàëèç è ñîîáùåíèå èíôîðìàöèè â ñèñòåìå íàöèîíàëü- íîé îöåíêè. Îíè ïðåäíàçíà÷åíû, ãëàâíûì îáðàçîì, äëÿ êîìàíä ïî íàöèîíàëüíîìó îöåíèâàíèþ. Êíèãà, êîòîðóþ âû äåðæèòå â ðóêàõ, ïîñâÿùåíà ðàçðàáîòêå è äèçàéíó äâóõ âèäîâ èíñòðóìåíòàðèÿ äëÿ ñáîðà äàííûõ: òåñ- òàì ó÷åáíûõ äîñòèæåíèé è àíêåòàì. Ïåðâàÿ ÷àñòü îõâàòûâàåò ðàçðàáîòêó ñòðóêòóðû îöåíèâàíèÿ è ïðîåêòà òåñòà, íàïèñàíèå 14 ПРЕДИСЛОВИЕ çàäàíèé, ïðîâåäåíèå ïðåäâàðèòåëüíîãî è îêîí÷àòåëüíîãî òåñ- òèðîâàíèÿ. Âî âòîðîé ÷àñòè îïèñàíû îñíîâíûå ýòàïû êîíñò- ðóèðîâàíèÿ àíêåò ïî ñáîðó êîíòåêñòíîé èíôîðìàöèè. Àíêåòû íåîáõîäèìû äëÿ ñáîðà èíôîðìàöèè îá ó÷àùèõñÿ è èõ ðîäèòå- ëÿõ, ïðåïîäàâàòåëÿõ èëè äèðåêòîðàõ øêîë ïî ïåðåìåííûì, êî- òîðûå ìîãëè áû ïîìî÷ü îáúÿñíèòü ðàçëè÷èÿ â ðåçóëüòàòàõ âû- ïîëíåíèÿ òåñòà ó÷àùèìèñÿ.  òðåòüåé ÷àñòè ðàññìàòðèâàåòñÿ, êàê ñïðîåêòèðîâàòü ðóêîâîäñòâî äëÿ àäìèíèñòðàòîðîâ òåñòè- ðîâàíèÿ è ãàðàíòèðîâàòü, ÷òî ó÷àùèåñÿ âûïîëíÿþò òåñò â ñòàíäàðòèçèðîâàííûõ óñëîâèÿõ.  òðåòüåé êíèãå ñåðèè îñíîâíîå âíèìàíèå óäåëÿåòñÿ ïðî- áëåìàì, ñâÿçàííûì ñ ïðîâåäåíèåì êðóïíîìàñøòàáíûõ ïðî- ãðàìì îöåíèâàíèÿ, âêëþ÷àÿ ëîãèñòèêó, ôîðìèðîâàíèå âûáîð- êè, ÷èñòêó äàííûõ è óïðàâëåíèå.  ÷åòâåðòîé êíèãå ðàññìàòðèâàåòñÿ, êàê ïîëó÷àòü äàííûå ïî çàäàíèÿì è òåñòîâûå îöåíêè, à òàêæå ñâÿçü ïîëó÷åííûõ ðåçóëüòàòîâ ñ äðóãèìè îáðà- çîâàòåëüíûìè ôàêòîðàìè. Íàêîíåö, ïÿòàÿ êíèãà îõâàòûâàåò âîïðîñû íàïèñàíèÿ îò÷åòîâ, êîòîðûå îñíîâàíû íà ðåçóëüòà- òàõ íàöèîíàëüíîãî îöåíèâàíèÿ, è èõ èñïîëüçîâàíèÿ äëÿ ïîâû- øåíèÿ êà÷åñòâà îáðàçîâàòåëüíîé ïîëèòèêè. Ïîñëå ïðî÷òåíèÿ íàñòîÿùåé êíèãè ñòàíåò ÿñíî, ÷òî ðàçðà- áîòêà îöåíî÷íîãî èíñòðóìåíòàðèÿ – ýòî ñëîæíàÿ è çàòðàòíàÿ ïî âðåìåíè çàäà÷à, äëÿ ðåøåíèÿ êîòîðîé òðåáóþòñÿ çíàíèÿ, óìåíèÿ è ðåñóðñû.  òî æå âðåìÿ, êàê ïîêàçûâàåò îïûò, ïîëüçà îò ãðàìîòíî ñïðîåêòèðîâàííîãî èíñòðóìåíòàðèÿ ìîæåò áûòü ñóùåñòâåííîé ñ òî÷êè çðåíèÿ êà÷åñòâà èíôîðìàöèè îá óðîâíå ó÷åáíûõ äîñòèæåíèé ó÷àùèõñÿ, î øêîëüíûõ è âíåøêîëüíûõ ôàêòîðàõ, êîòîðûå íà íèõ âëèÿþò. Âûñîêîêà÷åñòâåííûé èí- ñòðóìåíòàðèé ïîâûñèò êðåäèò äîâåðèÿ ê ðåøåíèÿì â îáðàçî- âàòåëüíîé ïîëèòèêå. Îí òàêæå ìîæåò óâåëè÷èòü âåðîÿòíîñòü òîãî, ÷òî òàêòèêè áóäóò èñïîëüçîâàòü ðåçóëüòàòû íàöèîíàëü- íîé îöåíêè ïðè ðàçðàáîòêå ïëàíîâ è ïðîãðàìì, íàïðàâëåííûõ íà ïîâûøåíèå êà÷åñòâà îáðàçîâàíèÿ. Åñëè òåñòû è àíêåòû ïðè- âåäóò ê äîñòèæåíèþ ýòèõ ðåçóëüòàòîâ, òî âðåìÿ è óñèëèÿ, çà- òðà÷åííûå íà èõ ðàçðàáîòêó, áóäóò áîëåå ÷åì îïðàâäàíû. Ìàðãàðèò Êëàðê, ãëàâíûé ñïåöèàëèñò ïî îáðàçîâàíèþ, Ìåæäóíàðîäíûé áàíê ðåêîíñòðóêöèè è ðàçâèòèÿ ÎÁ ÀÂÒÎÐÀÕ È ÐÅÄÀÊÒÎÐÀÕ АВТОРЫ Ïðó Àíäåðñåí – ñòàðøèé íàó÷íûé ñîòðóäíèê â Àâñòðàëèéñêîì ñîâåòå ïî èññëåäîâàíèÿì â îáëàñòè îáðàçîâàíèÿ. Îíà ðàçðàáî- òàëà îöåíî÷íûå ìàòåðèàëû ïî ÷òåíèþ äëÿ ïðîãðàìì ñèñòåìû òåñòèðîâàíèÿ ó÷àùèõñÿ íà÷àëüíûõ è ñðåäíèõ êëàññîâ øêîëû. Ó÷àñòâîâàëà â ïðîãðàììàõ ìîíèòîðèíãà îáðàçîâàíèÿ â Àâñòðà- ëèè, Áðóíåé-Äàðóññàëàìå, Ïàïóà – Íîâîé Ãâèíåå è íà Ôèëèïïè- íàõ.  íàñòîÿùåå âðåìÿ ÿâëÿåòñÿ ìåíåäæåðîì ïðîåêòà ïðîãðàì- ìû «Ìåæäóíàðîäíàÿ îöåíêà øêîë». Ñôåðà ïðîôåññèîíàëüíûõ èíòåðåñîâ: ñîïîñòàâëåíèå äàííûõ îöåíèâàíèÿ ñ ãîñóäàðñòâåí- íûìè ðåçóëüòàòàìè ó÷åáíûõ ïëàíîâ, èçìåðåíèÿ ñîöèàëüíûõ ðåçóëüòàòîâ îáó÷åíèÿ â øêîëå. Äæîðäæ Ìîðãàí – êîíñóëüòàíò ïî îáðàçîâàíèþ. Ðàáîòàë ñòàðøèì íàó÷íûì ñîòðóäíèêîì â îòäåëå ïî èçìåðåíèÿì è ðóêî- âîäèòåëåì ãðóïïû ðàçðàáîòêè òåñòîâ ïî ìàòåìàòèêå è åñòåñòâåí- íûì íàóêàì â Àâñòðàëèéñêîì ñîâåòå èññëåäîâàíèé â îáðàçîâà- íèè â òå÷åíèå òðèäöàòè ëåò. Ðàçðàáàòûâàë ó÷åáíûå ïëàíû ïî ìàòåìàòèêå è åñòåñòâåííûì íàóêàì è îöåíî÷íûå ìàòåðèàëû äëÿ âñåõ óðîâíåé îáðàçîâàíèÿ. Ðàáîòàë â ïðîãðàììàõ òåñòèðîâàíèÿ íà êðóïíîìàñøòàáíîé øêàëå. Ó÷àñòâîâàë â ïðîåêòàõ ïî îöåíêå 16 ОБ АВТОРАХ И РЕДАКТОРАХ â Êàìáîäæå, Âîñòî÷íîì Òèìîðå, Ëàîññêîé Íàðîäíî-Äåìîêðà- òè÷åñêîé Ðåñïóáëèêå, Ïàïóà – Íîâîé Ãâèíåå è Ñàìîà. РЕДАКТОРЫ СЕРИИ Âèíñåíò Ãðèíè – êîíñóëüòàíò ïî îáðàçîâàíèþ. Áûë âåäóùèì ñïåöèàëèñòîì â îáëàñòè îáðàçîâàíèÿ Ìåæäóíàðîäíîãî áàíêà ðåêîíñòðóêöèè è ðàçâèòèÿ, ðàáîòàë â ñòðàíàõ Àôðèêè, Àçèè è Áëèæíåãî Âîñòîêà. Áûâøèé ïðåïîäàâàòåëü, íàó÷íûé ñîòðóä- íèê Öåíòðà èññëåäîâàíèé â îáðàçîâàíèè â êîëëåäæå Ñâÿòîãî Ïàòðèêà â Äóáëèíå; ïðèãëàøåí ïî ïðîãðàììå Ôóëáðàéòà, ïðî- ôåññîð Çàïàäíî-Ìè÷èãàíñêîãî óíèâåðñèòåòà â Êàëàìàçó. ×ëåí ÷èòàëüíîãî çàëà ñëàâû Ìåæäóíàðîäíîé àññîöèàöèè ïî ÷òåíèþ. Ñôåðà ïðîôåññèîíàëüíûõ èíòåðåñîâ: îöåíêà, ïåäàãîãè÷åñêîå îáðàçîâàíèå, ÷òåíèå, ïðîïàãàíäà ñîöèàëüíîé ñïëî÷åííîñòè ïîñðåäñòâîì ðåôîðìèðîâàíèÿ ó÷åáíèêîâ. Òîìàñ Êåëëàãàí – äèðåêòîð Öåíòðà èññëåäîâàíèé â îáðà- çîâàíèè â êîëëåäæå Ñâÿòîãî Ïàòðèêà â Äóáëèíå, ÷ëåí Ìåæäó- íàðîäíîé àêàäåìèè îáðàçîâàíèÿ. Ðàáîòàë â óíèâåðñèòåòå ãîðîäà Èáàäàí â Íèãåðèè è â Êîðîëåâñêîì óíèâåðñèòåòå â Áåë- ôàñòå. Ñôåðà ïðîôåññèîíàëüíûõ èíòåðåñîâ: îöåíêà è ýêçàìå- íû, íåäîñòàòêè â îáðàçîâàíèè, ïðîáëåìà ñâÿçè îáðàçîâàíèÿ è äîìàøíåé îáñòàíîâêè. Çàíèìàë ïîñò ïðåçèäåíòà Ìåæäóíàðîä- íîé àññîöèàöèè ïî îöåíêå îáðàçîâàíèÿ ñ 1997 ïî 2001 ãîä. Ó÷à- ñòâîâàë â ïðîåêòàõ ïî îöåíêå â Àôðèêå, Àçèè, Ëàòèíñêîé Àìå- ðèêå è íà Áëèæíåì Âîñòîêå. ÁËÀÃÎÄÀÐÍÎÑÒÈ Êîìàíäà ðåäàêòîðîâ âî ãëàâå ñ Âèíñåíòîì Ãðèíè (êîíñóëüòàíò, öåíòð «Ðàçâèòèå ÷åëîâå÷åñêîãî ïîòåíöèàëà», ãðóïïà ïî îáðà- çîâàíèþ, Ìåæäóíàðîäíûé áàíê ðåêîíñòðóêöèè è ðàçâèòèÿ) è Òîìàñîì Êåëëàãàíîì (Öåíòð èññëåäîâàíèé â îáðàçîâàíèè, êîë- ëåäæ Ñâÿòîãî Ïàòðèêà, Äóáëèí), ïîäãîòîâèëè ñåðèþ ïîä íà- çâàíèåì «Íàöèîíàëüíàÿ îöåíêà ó÷åáíûõ äîñòèæåíèé», â òîì ÷èñëå äàííóþ êíèãó.  ðàáîòå íàä êíèãîé òàêæå ïðèíèìàëè ó÷àñòèå Ñèëüâèÿ Àêàíà (Óãàíäà, Ñîâåò ïî íàöèîíàëüíûì ýêçàìåíàì), Ïðó Àí- äåðñåí (Àâñòðàëèéñêèé ñîâåò ïî èññëåäîâàíèÿì â îáðàçîâà- íèè), Ôåðíàíäî Êàðòðàéò (Êàíàäñêèé ñîâåò ïî îáó÷åíèþ), Æàí Äþìåé (Ãðóïïà ñòàòèñòèêîâ, Êàíàäà), Êðèñ Ôðèìåí (Àâ- ñòðàëèéñêèé ñîâåò ïî èññëåäîâàíèÿì â îáðàçîâàíèè), Õüþ Ãîô (Ãðóïïà ñòàòèñòèêîâ, Êàíàäà), Ñàðà Õàóè (Óíèâåðñèòåò Ïðåòî- ðèè), Äæîðäæ Ìîðãàí (Àâñòðàëèéñêèé ñîâåò ïî èññëåäîâàíè- ÿì â îáðàçîâàíèè), Ò. Ñêîòò Ìþððåé (Èíñòèòóò ñòàòèñòèêè, ÞÍÅÑÊÎ), Äæåððè Øèë (Öåíòð èññëåäîâàíèé â îáðàçîâàíèè, Êîëëåäæ Ñâÿòîãî Ïàòðèêà, Äóáëèí). Îáùåå ðóêîâîäñòâî îñóùåñòâëÿëè Ðóôü Êàãèà, äèðåêòîð îá- ðàçîâàòåëüíûõ ïðîãðàìì, è Ðîáèí Õîðí, ðóêîâîäèòåëü öåíò- ðà «Ðàçâèòèå ÷åëîâå÷åñêîãî ïîòåíöèàëà». Èíèöèàòîðîì ïðî- 18 БЛАГОДАРНОСТИ åêòà áûë Ðîáåðò Ïðàóòè, îí æå ðóêîâîäèë èì äî àâãóñòà 2007 ãîäà. Íà áîëåå ïîçäíèõ ñòàäèÿõ ðóêîâîäñòâî îñóùåñòâëÿ- ëà Ìàðãàðèò Êëàðê (ïîäãîòîâêà ê ïóáëèêàöèè). Ìû âûðàæàåì áëàãîäàðíîñòü çà áîëüøîé âêëàä â ðàáîòó ãðóïïå ýêñïåðòîâ: Îëó Áèòîíó (Áîñòîíñêèé êîëëåäæ), Èðâèíó Êèðøó (Ñëóæáà òåñòèðîâàíèÿ â îáðàçîâàíèè) è Áåíóà Ìèëëî- òó (Ìåæäóíàðîäíûé áàíê ðåêîíñòðóêöèè è ðàçâèòèÿ). Òàêæå áûëè ó÷òåíû çàìå÷àíèÿ Õåëåí Àáàäçè, Ðåãèíû Áåíäîêàò, Ìàð- ãàðèò Êëàðê, Ðîáèíà Õîðíà, Ýëèçàáåò Êèíã, Ìîðèíà Ëüþèñà, Ãàððè Ïàòðèíîñà, Êàðëîñà Ðîõàñà, Äæè-Ïýí Òàí, Ýäóàðäî Âå- ëåñà è Ðàèñû Âåíàëàéåí. Ìû ïîëó÷àëè öåííûå ñîâåòû îò Êàðëè ×èâåðñà, Äýâèäà Õàðäèíãà, Ýéäàí Ìàëêèí, Àëåêñàíäðû Ñàâèöêà, Òõè ×àíà, Õè- ëàðè Óîëø è Ãàíñà Óîäæåìàéêåðà. Îñîáóþ áëàãîäàðíîñòü ìû âûðàæàåì ó÷ðåæäåíèÿì, ñàíêöè- îíèðîâàâøèì âûïóñê ñåðèè: Àâñòðàëèéñêîìó ñîâåòó ïî èññëå- äîâàíèÿì â îáðàçîâàíèè; Öåíòðó èññëåäîâàíèé â îáëàñòè îá- ðàçîâàíèÿ, Äóáëèí; Ìåæäóíàðîäíîé àññîöèàöèè ïî ýâàëþàöèè îáðàçîâàòåëüíûõ äîñòèæåíèé; Ìàññà÷óñåòñêîìó äåïàðòàìåíòó îáðàçîâàíèÿ; Íàöèîíàëüíîìó öåíòðó ñòàòèñòèêè â ñôåðå îá- ðàçîâàíèÿ ÑØÀ; Îðãàíèçàöèè ýêîíîìè÷åñêîãî ñîòðóäíè÷åñòâà è ðàçâèòèÿ; Äåïàðòàìåíòó îáðàçîâàíèÿ Ïàïóà – Íîâîé Ãâèíåè. Ðåäàêòîðñêèå ïðàâêè, îôîðìëåíèå êíèãè è ïå÷àòü áûëè ñîãëàñîâàíû ñ Ìýðè Ôèñêè è Ïàîëîé Ñêàëàáðèí – ñîòðóäíèêà- ìè èçäàòåëüñòâà Ìåæäóíàðîäíîãî áàíêà ðåêîíñòðóêöèè è ðàç- âèòèÿ. Òàêæå ñåðüåçíóþ ïîääåðæêó îêàçàëè Èðëàíäñêèé îáðàçîâà- òåëüíûé äîâåðèòåëüíûé ôîíä, Áàíê ïàðòíåðñêèõ ïðîãðàìì Íèäåðëàíäîâ è Àâñòðàëèéñêèé ñîâåò ïî èññëåäîâàíèÿì â îá- ðàçîâàíèè. ÑÏÈÑÎÊ ÑÎÊÐÀÙÅÍÈÉ ÌÁÐÐ Ìåæäóíàðîäíûé áàíê ðåêîíñòðóêöèè è ðàçâèòèÿ (Âñåìèðíûé áàíê) ÎÎÍ Îðãàíèçàöèÿ Îáúåäèíåííûõ Íàöèé ÎÝÑÐ Îðãàíèçàöèÿ ýêîíîìè÷åñêîãî ñîòðóäíè÷åñòâà è ðàçâèòèÿ ÞÍÅÑÊÎ Îðãàíèçàöèÿ Îáúåäèíåííûõ Íàöèé ïî âîïðîñàì îáðàçîâàíèÿ, íàóêè è êóëüòóðû ÑÒÒ Ñlassical Test Theory: êëàññè÷åñêàÿ òåîðèÿ òåñòîâ IRT Item Response Theory: ñîâðåìåííàÿ òåîðèÿ òåñòîâ PIRLS Progress in International Reading Literacy Study: Ìåæäóíàðîäíîå èññëåäîâàíèå ïðîãðåññà â ãðà- ìîòíîñòè ÷òåíèÿ PISA Program for International Student Assessment: Ïðî- ãðàììà ìåæäóíàðîäíîãî îöåíèâàíèÿ ó÷àùèõñÿ TIMSS Trends in Mathematics and Science Study: Ìåæäó- íàðîäíîå èññëåäîâàíèå òåíäåíöèé â ìàòåìàòè- ÷åñêîì è åñòåñòâåííîíàó÷íîì îáðàçîâàíèè 1 ×ÀÑÒÜ ÊÎÍÑÒÐÓÈÐÎÂÀÍÈÅ ÒÅÑÒΠÓ×ÅÁÍÛÕ ÄÎÑÒÈÆÅÍÈÉ 1 ÃËÀÂÀ ÏÐÅÄÂÀÐÈÒÅËÜÍÛÅ ÇÀÌÅ×ÀÍÈß Íàöèîíàëüíàÿ îöåíêà ó÷åáíûõ äîñòèæåíèé âêëþ÷àåò öåëûé êîìïëåêñ ìåðîïðèÿòèé – îò îñîçíàíèÿ åå íå- îáõîäèìîñòè äî îçíàêîìëåíèÿ ñ ïîëó÷åííûìè ðåçóëüòàòàìè. Êíèãè, âîøåäøèå â ñåðèþ «Íàöèîíàëüíàÿ îöåíêà ó÷åáíûõ äîñòèæåíèé», îñâåùàþò ýòîò ïðîöåññ ñ ðàçíûõ ñòîðîí. Îñî- áîå âíèìàíèå óäåëÿåòñÿ ðàçâèâàþùèìñÿ ñòðàíàì.  íèõ åùå íå ñëîæèëèñü óñòîÿâøèåñÿ òðàäèöèè ýìïèðè÷åñêèõ èññëåäî- âàíèé â îáðàçîâàíèè è ïîòîìó åäâà ëè îòðàáîòàíà òåõíîëîãèÿ ïðîâåäåíèÿ íàöèîíàëüíîé îöåíêè. Íàñòîÿùàÿ ñåðèÿ ÿâëÿåòñÿ ïîïûòêîé îáñòîÿòåëüíîãî àíàëèçà ìåðîïðèÿòèé, ïðîâåäåíèå êîòîðûõ íåîáõîäèìî äëÿ àäåêâàòíîé îöåíêè äîñòèæåíèé â ñôåðå îáðàçîâàíèÿ. Îíà ïðåäíàçíà÷åíà äëÿ ÷èòàòåëåé, êîòî- ðûå, êàê ìû ïðåäïîëàãàåì, áóäóò íåñòè îòâåòñòâåííîñòü çà íå- êîòîðûå àñïåêòû îöåíèâàíèÿ, ÷òîáû ïîìî÷ü èì ïîíÿòü ñîäåð- æàíèå è ñóòü äåÿòåëüíîñòè ïî îöåíèâàíèþ. Êàê ïðàâèëî, îáùåå ðóêîâîäñòâî ñèñòåìîé íàöèîíàëüíîãî îöåíèâàíèÿ îñóùåñòâëÿåò ìèíèñòåðñòâî îáðàçîâàíèÿ èëè íà- çíà÷åííûé èì íàöèîíàëüíûé ðóêîâîäÿùèé êîìèòåò, êîòîðûå íåñóò ïîëíóþ îòâåòñòâåííîñòü è îêàçûâàþò ïîääåðæêó. Ïîä èõ íåïîñðåäñòâåííûì ðóêîâîäñòâîì îñíîâíóþ ÷àñòü ðàáîò âûïîë- íÿåò èñïîëíèòåëüíîå àãåíòñòâî. Îíî, â ñâîþ î÷åðåäü, êîíòðî- 24 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ ëèðóåò ìåíåäæåðà ïî ðàçðàáîòêå òåñòîâ, à òàêæå ñïåöèàëèñòîâ- ïðåäìåòíèêîâ è ñïåöèàëèñòîâ ïî ñòàòèñòè÷åñêîìó àíàëèçó è îòâå÷àåò çà ëîãèñòè÷åñêîå ñîïðîâîæäåíèå ïðîöåññà. Ýòà êíèãà, «Ðàçðàáîòêà òåñòîâ è àíêåò äëÿ íàöèîíàëüíîé îöåíêè ó÷åáíûõ äîñòèæåíèé», ïîñâÿùåíà ãëàâíûì îáðàçîì äå- ÿòåëüíîñòè ìåíåäæåðà ïî ðàçðàáîòêå òåñòîâ è ñïåöèàëèñòîâ- ïðåäìåòíèêîâ, à òàêæå ìåðîïðèÿòèÿì ïðåäâàðèòåëüíîãî òåñ- òèðîâàíèÿ (ðèñ. 1.1). Äðóãèå íàïðàâëåíèÿ äåÿòåëüíîñòè, ïðåäñòàâëåííûå íà ðèñóíêå, òàêèå êàê ôîðìèðîâàíèå âûáîð- êè, ëîãèñòèêà (êîíòàêòû ñî øêîëàìè, ââîä è ÷èñòêà äàííûõ), ðàññìîòðåíû â òðåòüåé êíèãå ñåðèè – «Ïðîâåäåíèå íàöèîíàëü- íîé îöåíêè ó÷åáíûõ äîñòèæåíèé». ×åòâåðòàÿ êíèãà, «Àíàëèç äàííûõ íàöèîíàëüíîé îöåíêè ó÷åáíûõ äîñòèæåíèé», ïîñâÿùå- íà ñòàòèñòè÷åñêîìó àíàëèçó. Ñõåìà, ïðåäñòàâëåííàÿ íà ðèñ. 1.2, ñèñòåìàòèçèðóåò àñïåê- òû íàöèîíàëüíîé îöåíêè. Áîëüøèíñòâî èç íèõ âåñüìà ïîäðîá- Рис. 1.1 Ор анизационная стр т ра национальной оцен и Министерство образования/ Комитет по национальном ре лированию Исполнительное а ентство/ Р оводитель р ппы Разработ а тестов/ Анализ Ло исти а Менеджер Специалисты-предметни и Анализ чебно о плана Управление Совершенствование стр т ры Формирование выбор и предварительным Разработ а заданий Ввод и чист а данных тестированием Предварительное тестирование Статистичес ий анализ Конта ты со ш олами Отбор о ончательных заданий Тиражирование тестов Интерпретация рез льтатов Предварительная провер а заданий тестов и ан ет Отбор о ончательных заданий Интерпретация рез льтатов Составление отчета Источни : разработ и авторов. Рис. 1.2 Этапы национальной оцен и 1.ПодначаломМинистерства М 2.Министерствообразования 3.Исполнительноеа ентство, 4.Специалисты-предметни и 5.Менеджерпоразработ е образованияилинационально о илинациональный р оводитель р ппы, анализир ют чебныйплан тестовпроводитоб чение р оводяще о омитета р оводящий омитет менеджерпоразработ е иопределяютобъе ты авторовзаданий формир етсяисполнительное со ласовываютпорядо работ тестовиспециалисты- оценивания а ентство.Р оводитель р ппыи ← понациональнойоцен е ← предметни иразрабатывают ← ← членыисполнительно оа ентства чебныхдостижений(в лючая первоначальныепрое ты определяютосновныенаправления дисциплиныисостав тестовиан ет работпонациональнойоцен е аттест емых) чебныхдостижений 10.Р оводитель р ппыи 9.Менеджерпоразработ е 8.Исполнительноеа ентство 7.Исполнительноеа ентство 6.Менеджерпоразработ е менеджерпоразработ етестов тестов онтролир ет проводитпредварительное ор аниз етэ спертн ю р пп тестовир оводитель р ппы рир ютработыпонаписанию э спертиз заданийиан ети тестирование рир ютработыпо о ончательныхзаданийтестови ← принеобходимостиснова ← ← ← составлениюзаданийтестов, ← ан етир оводствпоих ор аниз етпредварительное вопросован етинаписанию предъявлению тестирование р оводствапопредъявлению теста ПРЕДВАРИТЕЛЬНЫЕ ЗАМЕЧАНИЯ 11.Исполнительноеа ентство 12.Исполнительноеа ентство 13.Исполнительноеа ентство 14.Исполнительноеа ентство 15.Исполнительноеа ентство формир етэ спертн ю р пп формир етвыбор ш ол ор аниз еттиражирование проводитоб чение рир етработ посбор  ← ← ← тестов,ан етир оводства ← администраторовпо ← ипол чениюрез льтатов попредъявлениютестов предъявлениютестовиан ет, использ яр оводствопо предъявлениютестов 20.Министерствообразованияи 19.Министерство 18.Исполнительноеа ентство 17.Исполнительноеа ентство 16.Исполнительноеа ентство др иезаинтересованныелица образованияили составляетпервоначальные проводитанализрез льтатов ор аниз етоцениваниетестов, использ ютрез льтатыоцен ив ← национальныйр оводящий ← отчетыипередаетихна ← тестирования ← сообщениевсехрез льтатови ← дальнейшейработе омитетп бли етотчеты м тверждениевМинистерство чист данных образованияили национальныйр оводящий омитет 25 Источни : разработ и авторов. ТАБЛИЦА 1.1 26 Этапы разработ и тестов и ан ет Этап Деятельность Сро Ответственныеисполнители 1 Определениецелинациональной От4до Министерствообразованияилинациональный омитет,исполнительное РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ оцен и,разработ астр т ры,тестови 6недель а ентство,р оводитель р ппы,специалистпоразработ етестов, ан ет;формированиевыбор и заинтересованныелицаипредставителиправительственныхстр т р Разработ апрое таилиспецифи ации, От4до Министерствообразованияилинациональный омитет,исполнительное онс льтации 6недель а ентство,специалистпоразработ етестов, р ппыэ спертов, сширо ойобщественностью опытныепреподаватели,специалисты-предметни и,специалистыпо системном анализ ,опытныеавторызаданий,заинтересованныелица ипредставителиправительственныхстр т р 2 Написаниезаданийтестовиан ет От12до Менеджерпоразработ етестов,специалисты-предметни и,авторы 14недель заданийизаинтересованныелица (от20до 30заданийна авторавнеделю)* Разработ апредварительных 4недели Р оводитель р ппы,специалистпоразработ етестов,авторы вариантовтестовиан ет заданий,дизайнеры,верстальщи и, орре торы Тиражированиепредварительных 2недели Исполнительноеа ентствоиадминистраторыпопредъявлениютестов вариантовтестовиан ет Распространениепредварительных От2до3недель Исполнительноеа ентство,р оводитель р ппы,менеджерпо вариантовтестовиан ет разрабо етестовиавторызаданий 3 Апробацияпредварительныхвариантов От2до3недель Исполнительноеа ентствоиадминистраторыпопредъявлениютестов тестовиан етвш олах Оцен азаданийвр чн ю(если 2недели Р оводитель р ппы,специалистпоразработ етестов,специалисты- необходимо) предметни ииавторызаданий Введениеданныхпредварительно о 1неделя Исполнительноеа ентство,специалистыповвод ианализ данных тестирования 4 Анализданныхпредварительно о 2недели Исполнительноеа ентство,специалистыповвод ианализ данных,авторы тестированияиан етирования заданийименеджерпоразработ етестов Отборзаданийдлятестовиан ет 2недели Менеджерпоразработ етестов,специалистыпосистемном анализ ,авторы заданийизаинтересованныелица 5 Производствоо ончательных 2недели Исполнительноеа ентство,менеджерпоразработ етестов,дизайнеры, тестов,ан етир оводствдля верстальщи и, орре торыиавторызаданий администраторов Тиражированиетестовиан ет 4недели Исполнительноеа ентство,р оводитель р ппыименеджерпоразработ е тестов Па етированиетестов От2до Исполнительноеа ентствоименеджерпоразработ етестов иан ет 3недель (взависимости отрасстояния 6 Предъявлениетестовиан етв От3до Исполнительноеа ентство,менеджерпоразработ етестов ш олах 4недель иадминистраторы Оцен азаданийвр чн ю(если От3до Менеджерпоразработ етестовиавторызаданий ПРЕДВАРИТЕЛЬНЫЕ ЗАМЕЧАНИЯ необходимо) 4недель 7 Вводичист аданных От4до Специалистыповвод ианализ данных 6недель Анализданных От2до Специалистыпосистемном анализ ,авторызаданийименеджерпоразработ е 3недель тестов 8 Под отов ао ончательныхотчетов От4до Специалистыпосистемном анализ ,авторызаданийименеджерпоразработ е 5недель тестов Источни : разработ и авторов. *Если задания необходимо перевести на др ие язы и, может потребоваться дополнительное время. 27 28 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ íî ðàññìàòðèâàþòñÿ â ýòîé êíèãå. Àñïåêòû, êîòîðûì àâòîðû óäå- ëÿþò íàèáîëüøåå âíèìàíèå, çàêëþ÷åíû â çàøòðèõîâàííûå ÿ÷åé- êè.  êíèãå èìåþòñÿ ïîâòîðû. Èõ íàëè÷èå ñâÿçàíî ñ íåîáõîäè- ìîñòüþ ïîìî÷ü ÷èòàòåëþ, êîòîðûé èíòåðåñóåòñÿ òîëüêî îäíèì àñïåêòîì îöåíêè, ïîëó÷èòü ïîëíîå è äîñòàòî÷íîå ïðåäñòàâëå- íèå èìåííî î íåì, èçáåãàÿ ïðè ýòîì íåíóæíîé èíôîðìàöèè. Äîïîëíèòåëüíàÿ èíôîðìàöèÿ î ðàçðàáîòêå òåñòîâ è àíêåò ïðèâîäèòñÿ â òàáë. 1.1. Ïðîöåññ êîíñòðóèðîâàíèÿ òåñòîâ ó÷åá- íûõ äîñòèæåíèé è àíêåò ïðåäñòàâëåí â âèäå âîñüìè ýòàïîâ ñ óêàçàíèåì îòâåòñòâåííûõ èñïîëíèòåëåé íà êàæäîì èç íèõ. 2 ÃËÀÂÀ ÐÀÇÐÀÁÎÒÊÀ ÑÒÐÓÊÒÓÐÛ Ñòðóêòóðà, êîòîðàÿ ïðåäñòàâëÿåò ñîáîé ïëàí äëÿ ðóêîâîäñòâà ïðîöåññîì ðàçðàáîòêè òåñòîâ, àíêåò è ïðîöåäóð, êðàéíå âàæíà äëÿ ïîíèìàíèÿ ñóòè ýòîãî ïðîöåññà (Ëèíí (Linn) è Äàíáàð (Dunbar), 1992; Ìóëëèñ (Mullis) è äð., 2006). Îíà ïîìîãà- åò ñî âñåõ ñòîðîí ðàññìîòðåòü êîíñòðóêò (íàïðèìåð, äîñòèæåíèÿ â ÷òåíèè èëè ìàòåìàòèêå) è ïðîöåññû, êîòîðûå ñ íèì ñâÿçàíû. Ýòîò ïëàí äîëæåí âêëþ÷àòü: ÷åòêîå îïðåäåëåíèå òîãî, ÷òî îöå- íèâàåòñÿ, èäåíòèôèêàöèþ õàðàêòåðèñòèê çàäà÷, êîòîðûå äîëæ- íû áûòü èñïîëüçîâàíû ïðè ðàçðàáîòêå òåñòà, è èñõîäíûå ïðåä- ïîñûëêè äëÿ äàëüíåéøåé èíòåðïðåòàöèè ðåçóëüòàòîâ (Êèðø (Kirsch), 2001; Ìåññèê (Messick), 1987). Ñòðóêòóðà ðàçúÿñíÿåò öåëü îöåíêè, âûäåëÿåò êëþ÷åâûå ïî- íÿòèÿ è ìîæåò îáëåã÷èòü îáñóæäåíèå ðåøåíèÿ, ïðèíèìàåìîãî ðóêîâîäÿùèìè ëèöàìè â îáðàçîâàíèè, ñ ïîìîùüþ ðàçúÿñíåíèÿ êëþ÷åâûõ ïîíÿòèé ïåðåä âûïîëíåíèåì îöåíèâàíèÿ. Ñòðóêòóðà òàêæå îïðåäåëÿåò êëþ÷åâûå ïåðåìåííûå, êîòîðûå âåðîÿòíåå âñåãî ñâÿçàíû ñ òåñòîâûìè îöåíêàìè, è ãàðàíòèðóåò, ÷òî ýòè ïå- ðåìåííûå áóäóò âêëþ÷åíû â ïðîåêò íàöèîíàëüíîé îöåíêè. Íà ïåðâîíà÷àëüíîì ýòàïå ÷ëåíû ðóêîâîäÿùåãî êîìèòåòà äîëæíû ïðèéòè ê åäèíîìó âçãëÿäó íà ïðåäìåò èçìåðåíèÿ. Çà÷àñ- òóþ îïðåäåëåíèÿ îñíîâíûõ ïðåäìåòíûõ îáëàñòåé ñîäåðæàòñÿ â 30 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ íàöèîíàëüíûõ ó÷åáíûõ ïëàíàõ. Îíè ìîãóò ñóùåñòâåííî îòëè- ÷àòüñÿ äðóã îò äðóãà. Òàê, îïðåäåëåíèå ÷òåíèÿ ìåíÿëîñü ñî âðå- ìåíåì è îíî ñóùåñòâåííî îòëè÷àåòñÿ â ðàçíûõ ñèñòåìàõ îáðàçî- âàíèÿ.  îäíèõ ñèñòåìàõ îáðàçîâàíèÿ ÷òåíèå ïðèðàâíèâàëîñü ê ñïîñîáíîñòè ïðîèçíîñèòü ñëîâà.  äðóãèõ îíî ðàññìàòðèâàëîñü êàê ñïîñîáíîñòü èäåíòèôèöèðîâàòü îòäåëüíûå ñëîâà è îáúÿñ- íÿòü èõ çíà÷åíèå. Òàêæå ÷òåíèå îïðåäåëÿëîñü êàê ñïîñîáíîñòü ïîíèìàòü çíà÷åíèÿ ñëîâ èëè âûâîäèòü èõ ñìûñë èç êîíòåêñòà. Áîëåå ñâåæèå îïðåäåëåíèÿ íå îãðàíè÷èâàþò ïîíèìàíèå ÷òåíèÿ êàê ñîâîêóïíîñòè ïðîñòåéøèõ óìåíèé. ×òåíèå ïîíè- ìàåòñÿ êàê ñïîñîáíîñòü èñïîëüçîâàòü èíôîðìàöèþ èç òåêñòîâ, èíòåðïðåòèðîâàòü åå. Ïîä÷åðêèâàåòñÿ òàêæå, ÷òî ó÷àùèåñÿ è âçðîñëûå ÷èòàþò äëÿ äîñòèæåíèÿ ñàìûõ ðàçíîîáðàçíûõ öå- ëåé – îò ðàçâëåêàòåëüíûõ äî èíôîðìàöèîííûõ. Ýòè íîâûå ïðåäñòàâëåíèÿ íàøëè îòðàæåíèå â òåñòàõ.  íèõ âñå ÷àùå âêëþ- ÷àþòñÿ òåêñòîâûå ýëåìåíòû – êîðîòêèå ðàññêàçû, âûäåðæêè èç ãàçåò, ðåêëàìíûå îáúÿâëåíèÿ, çíàêè è ñõåìû.  ïðîöåññå ðàçðàáîòêè òåñòà äîëæíà áûòü ÷åòêî ñôîðìóëèðî- âàíà åãî öåëü. Äëÿ ýòîãî íåîáõîäèìî êàê ìîæíî ðàíüøå ñäåëàòü ïåðâûé øàã – ïðîâåñòè êîíñóëüòàöèþ ñ êëþ÷åâûìè çàèí- òåðåñîâàííûìè ëèöàìè â ñôåðå îáðàçîâàíèÿ è ïðåäñòàâèòåëÿìè ýêñïåðòíûõ ãðóïï äëÿ âûÿâëåíèÿ ïðåäìåòà îöåíèâàíèÿ, ñîñòàâà âûáîðêè ó÷àùèõñÿ, ÷üè äîñòèæåíèÿ íóæäàþòñÿ â îöåíêå, à òàêæå âðåìåíè òåñòèðîâàíèÿ è ÿçûêà, íà êîòîðîì äàåòñÿ òåñò. Ê ýòèì ðå- øåíèÿì äîëæíû áûòü ïðèâëå÷åíû ðàçðàáîò÷èêè ó÷åáíûõ ïëàíîâ, à òàêæå òàêòèêè è ìåíåäæåðû, êîòîðûå áóäóò èìåòü âîçìîæíîñòü èñïîëüçîâàòü ðåçóëüòàòû îöåíèâàíèÿ äëÿ âûðàáîòêè îáðàçîâàòåëü- íîé ïîëèòèêè, ðàñïðåäåëåíèÿ ðåñóðñîâ è ïðîâåäåíèÿ ðåôîðì. Íàöèîíàëüíàÿ îöåíêà ìîæåò ñòàòü ìîùíûì èíñòðóìåíòîì äëÿ ýâàëþàöèè ýôôåêòèâíîñòè ðàçíûõ àñïåêòîâ ó÷åáíîãî ïëà- íà. Åñëè ïðîöåññ íàöèîíàëüíîé îöåíêè ïîñòðîåí ãðàìîòíî, òî åå ðåçóëüòàòû ìîãóò ñïîñîáñòâîâàòü óëó÷øåíèþ ó÷åáíîãî ïëàíà ïîñðåäñòâîì âêëþ÷åíèÿ â íåãî òåõ çíàíèé è óìåíèé, êîòîðûå ó÷àùèåñÿ äîëæíû ïðîäåìîíñòðèðîâàòü â õîäå ïðîâåðêè. Óìå- íèÿ ó÷àùèõñÿ, íàðÿäó ñ êîíòåêñòîì îöåíèâàíèÿ, äîëæíû ñïî- ñîáñòâîâàòü ðåàëèçàöèè ãëîáàëüíûõ öåëåé îáðàçîâàòåëüíîé ïî- ëèòèêè â êëþ÷åâûõ ñôåðàõ ó÷åáíîé äåÿòåëüíîñòè. Ïðèìåðû êîíòåêñòîâ â ñôåðå îáðàçîâàíèÿ, êîòîðûå ïðèâåäåíû â äîïîë- íèòåëüíûõ ìàòåðèàëàõ 2.1 è 2.2, îòðàæàþò íåêîòîðûå ïðèîðè- òåòû â îáðàçîâàíèè. РАЗРАБОТКА СТРУКТУРЫ 31 ПРОЕКТ ТЕСТА, ИЛИ ТАБЛИЦА СПЕЦИФИКАЦИИ Ïðîåêò òåñòà, èëè òàáëèöà ñïåöèôèêàöèè, – âàæíûé äîêóìåíò, êîòîðûé ÿâëÿåòñÿ îñíîâîé äëÿ ðàçðàáîòêè òåñòà, àíàëèçà åãî äàííûõ è ïîäãîòîâêè ïèñüìåííîãî îò÷åòà. Îí âêëþ÷àåò äàí- íûå, êîòîðûå äîëæíû áûòü ïîëó÷åíû, îïðåäåëÿåò äëèíó òåñòà è êîëè÷åñòâî çàäàíèé ïî êàæäîìó ðàçäåëó ó÷åáíîãî ïëàíà. Õî- ðîøèé ïðîåêò äîëæåí âêëþ÷àòü: – äîëè çàäàíèé ïî êàæäîé ïðåäìåòíîé îáëàñòè ó÷åáíîãî ïëà- íà (íàïðèìåð, ìàòåìàòèêà, ÿçûê, åñòåñòâåííûå íàóêè) â îêîí÷à- òåëüíîé ôîðìå òåñòà; – äîëè çàäàíèé âíóòðè ïðåäìåòíîé îáëàñòè ó÷åáíîãî ïëàíà äëÿ îöåíêè ðàçëè÷íûõ óìåíèé (íàïðèìåð, â ìàòåìàòèêå – ÷èñëà, ìåðû, ïðîñòðàíñòâî è ñõåìû; â ïèñüìå – èäåè, çíàíèå ñîäåðæàíèÿ, ñòðóê- òóðà, ñòèëü, ñëîâàðíûé çàïàñ, ïðàâîïèñàíèå è ãðàììàòèêà); – äîëþ çàäàíèé, êîòîðûå îáðàùàþòñÿ ê ðàçëè÷íûì ïîçíà- âàòåëüíûì ïðîöåññàì ïðîÿâëåíèÿ íàâûêîâ (òàêèì, êàê çíàíèå èëè îòêëèê, èíòåðïðåòàöèÿ èëè ðåôëåêñèÿ); – äîëþ çàäàíèé ñ ìíîæåñòâåííûì âûáîðîì è îòêðûòûõ çàäàíèé; – äîëþ çàäàíèé, ñâÿçàííûõ ñî ñòèìóëàìè â ðàçëè÷íûõ òåñòàõ äëÿ ÷òåíèÿ (ðàññêàç, îïèñàíèå, ïðîöåäóðû èëè ïðîáëåìû äëÿ àð- ãóìåíòàöèè) èëè ïî ìàòåìàòèêå (òàáëèöû, ñõåìû è äèàãðàììû). Ïðîåêò òåñòà, ïðåäñòàâëåííûé â òàáë. 2.1, îñíîâàí íà ó÷åáíîì ïëàíå ïî ìàòåìàòèêå äëÿ ñðåäíèõ êëàññîâ íà÷àëüíîé øêîëû. Îòäåëüíûå ñóáòåñòû ïðåäíàçíà÷åíû äëÿ èçìåðåíèÿ ñïîñîáíîñòåé ó÷àùèõñÿ ê âûïîëíåíèþ ïðîñòûõ âû÷èñëåíèé, ïîíèìàíèþ îñíîâíûõ ìàòåìàòè÷åñêèõ ïîíÿòèé è ðåøåíèþ çàäà÷. Íàïðèìåð, ÿ÷åéêà, íàõîäÿùàÿñÿ íà ïåðåñå÷åíèè ñîäåð- æàòåëüíîé îáëàñòè «Äðîáè» è èíòåëëåêòóàëüíîé õàðàêòåðèñ- òèêè «Ñïîñîáíîñòü ðåøàòü òèïîâûå ïðîáëåìû», ïðåäñòàâëÿ- åò «Ñïîñîáíîñòü ê ðåøåíèþ òèïè÷íûõ ïðîáëåì, âêëþ÷àþùèõ äåéñòâèÿ ñ äðîáÿìè»». Ãðóïïà ñïåöèàëèñòîâ-ïðåäìåòíèêîâ, â êîòîðóþ âõîäèëè ïðåïîäàâàòåëè, ðåøèëà ïîñâÿòèòü ïÿòü çàäà- íèé ïðîâåðêå ýòîé ñïîñîáíîñòè. ß÷åéêà, êîòîðàÿ ñîäåðæèò çàäàíèÿ, ïðîâåðÿþùèå ñïîñîáíîñòü ê âûïîëíåíèþ îïåðàöèé ñ öåëûìè ÷èñëàìè, ïîëó÷èëà ñàìûé âûñîêèé âåñ (25 çàäàíèé). Ìíîãèå ÿ÷åéêè íå ñîäåðæàëè íè îäíîãî çàäàíèÿ. Ðàçðàáîòêó ïðåäâàðèòåëüíûõ, à çàòåì îêîí÷àòåëüíûõ âàðèàíòîâ òåñòîâ îïðåäåëÿë ïîêàçàòåëü «Âåñ îòíîñèòåëüíîé âàæíîñòè», ïðèñâî- åííûé êàæäîìó îáúåêòó. 32 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ Дополнительный материал 2.1 Учебный план по математи е в Пап а – Новой Гвинее В Пап а – Новой Гвинее чебный план по дисциплине «Элементарная ма- темати а» 2003 ода имеет след ющее обоснование: Все раждане должны частвовать в б д щем развитии Пап а – Новой Гвинеи. Поэтом чащимся след ет читься стном счет , пол чать со- ответств ющие знания и мения… На начальном ровне чащиеся долж- ны на читься связывать новые математичес ие понятия содержатель- ных разделов с имеющимся знанием математичес ой льт ры, чтобы использовать математи в повседневной жизни. Элементарная мате- матичес ая льт ра дает мно о возможностей для релевантно о и ос- мысленно о об чения, оторое основано на принципах домашней жизни (Пап а – Новая Гвинея, Департамент образования, 2003: 2). Данный план (наряд с политичес ими до ментами министерства и с - щественным рестр т рированием начально о и дош ольно о образова- ния) пред сматривает преподавание элементарно о рса математи и в деревенс их ш олах. Реформы делают а цент на приоритете инте рации рса элементарной математи и с местной льт рой и использовании математичес о о аппарата в повседневной жизни. Недавно проведенная национальная оцен а для мониторин а достижений чащихся обозначила необходимость реалистичес о о онте ста для вопросов и оцен и мений и понимания то о, что имеет пра тичес ие приложения. Дополнительный материал 2.2 Прое т Новой Зеландии по ан лийс ом язы Общие цели новозеландс о о ос дарственно о чебно о плана по ан - лийс ом язы : Учащиеся должны обладать след ющими мениями: использовать язы и пол чать довольствие от общения, понимать и эффе тивно приме- нять стный, письменный и виз альный язы в разных сит ациях (Новая Зеландия, Министерство образования, 2002: 99). Эти цели выдви ают на первый план в чтении и из чении те стов проблем интереса и довольствия. При рассмотрении ровневой системы оцен и ан лийс о о язы а привле ательные те сты и задачи для чащихся явля- ются лючевыми. А цент на язы е во всех е о вариантах отражает серьез- ное обязательство по признанию и оцен е стной язы овой льт ры ча- щихся маори, та же а и письменных форм ан лийс о о язы а. Эти цели отражены в различных национальных системах оцен и. ТАБЛИЦА 2.1 Прое т теста по основам математи и для средних лассов начальной ш олы Интеллектуальные характеристики Вычисления Понятия Решение проблем Способ- ность к Способ- преобра- ность Способ- Способ- Пони- Пони- Пони- зованию к чтению Способ- ность ность Способ- мание мание мание элементов и интер- ность анализи- решать Знание ность матема- матема- матема- из одной претации решать ровать и нестан- Содержа- терминов выполнять Общее тических тических тической формы графиков и Общее типовые проводить дартные Общее тельные и фактов операции число понятий принципов структуры в другую диаграмм число проблемы сравне- проблемы число Всего области (A1) (A2) заданий (B1) (B2) (B3) (B4) (B5) заданий (C1) ния (C2) (C3) заданий заданий Целые числа 1 25 26 1 4 7 2 4 18 14 2 2 18 62 Дроби 4 4 4 1 2 7 5 5 16 РАЗРАБОТКА СТРУКТУРЫ Десятичные 8 8 5 1 6 5 5 19 дроби Измерение 2 2 3 2 5 3 3 10 Геометрия 0 2 2 4 0 4 Диаграммы и 0 0 4 4 4 графики Полное общее 3 37 40 7 7 14 5 7 40 27 6 2 35 115 количество 33 Источни : Центр исследований в образовании, 1978: 44. 34 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ ТАБЛИЦА 2.2 Специфи ация теста по математи е в исследовании TIMSS, 3-й и 4-й лассы Задания с Общее множест - Задания Задания Ожидаемые виды число венным с краткими с развернутыми деятельности заданий * выбором ответами ответами Знания 42 35 7 0 Выполнение стандартных 16 13 3 0 процедур Использование 24 21 2 1 сложных процедур Р ешение проблем 20 10 3 7 Источни : Межд народная ассоциация по эвалюации образовательных достижений, http:// timss.bc.edu/timss1995i/TIMSSPDF/AMitems.pdf. * Число отражает полн ю сово пность заданий, оторые использовались для формирования 26 тестовых ластеров в восьми различных тестовых б летах. Ни от одно о чаще ося выполнять полный тест не требовалось. Ïðîåêò òåñòà ïî ìàòåìàòèêå â òðåòüåì Ìåæäóíàðîäíîì èñ- ñëåäîâàíèè òåíäåíöèé â ìàòåìàòè÷åñêîì è åñòåñòâåííîíàó÷íîì îáðàçîâàíèè (TIMSS)1, ïðåäñòàâëåííûé â òàáë. 2.2, îïðåäåëÿåò ôîðìû çàäàíèé è ïîçíàâàòåëüíûå ïðîöåññû, ïðåäíàçíà÷åííûå äëÿ ó÷àùèõñÿ 3-õ è 4-õ êëàññîâ, íåñêîëüêî èíûì ñïîñîáîì. ßñíî, ÷òî ïðîåêòû ìîãóò èçìåíÿòüñÿ â çàâèñèìîñòè îò èç- ìåðÿåìîãî êîíñòðóêòà è îò öåëè îöåíêè. Êàæäûé, êòî ïðèíè- ìàåò ó÷àñòèå â ðàçðàáîòêå òåñòà, äîëæåí ïîíèìàòü è îäîáðÿòü çíà÷åíèå ïðîåêòà ñ òî÷êè çðåíèÿ òîãî, ÷òî äîëæíî áûòü ïðî- òåñòèðîâàíî è ÷òî íåò. Èç-çà òîãî, ÷òî âðåìÿ è ðåñóðñû îãðàíè÷åíû, ïðîâåðèòü çíà- íèÿ ïî êàæäîé îáëàñòè ó÷åáíîãî ïëàíà íåâîçìîæíî. Òåñòîâûå çàäàíèÿ äîëæíû áûòü íàïðàâëåíû íà ïðîâåðêó îñíîâíûõ çíà- íèé è óìåíèé. ×òîáû èõ âûÿâèòü, íóæíî ïðîêîíñóëüòèðîâàòüñÿ ñ ýêñïåðòàìè ïî ïðåäìåòàì èëè îáðàòèòüñÿ ê ó÷åáíîìó ïëàíó. Âàæíîñòü, êîòîðàÿ ïðèäàåòñÿ â ïðîåêòå íàöèîíàëüíîé îöåíêè îòäåëüíûì ðàçäåëàì ó÷åáíîãî ïëàíà, çàâèñèò, â òîì ÷èñ- ëå, îò ñïîñîáà, ïîñðåäñòâîì êîòîðîãî ñîîáùàþòñÿ äàííûå òåñ- òèðîâàíèÿ (ñ ïîìîùüþ îáùåé îöåíêè èëè ïî ðàçäåëàì ó÷åáíî- РАЗРАБОТКА СТРУКТУРЫ 35 ТАБЛИЦА 2.3 Прое т содержания теста по математи е в Пап а – Новой Гвинее Прост- Схемы Общее Числа и их ранство Вероят- и задания число Класс применение и форма Измерение ность по алгебре* заданий 3-й 10 7 4 2 2 25 5-й 10 10 7 4 4 35 8-й 10 10 8 6 6 40 Источни : неоп бли ованный материал Департамента образования Пап а – Новой Гвинеи. * Задания по ал ебре – толь о в 8-м лассе ãî ïëàíà). Íåîáõîäèìî ïðîêîíñóëüòèðîâàòüñÿ ñ òàêòèêàìè â îá- ðàçîâàíèè, ÷òîáû óçíàòü, â êàêîì âèäå îíè õîòåëè áû ñîîáùèòü ïîëüçîâàòåëÿì äàííûå òåñòèðîâàíèÿ. Åñëè äëÿ êàæäîãî ó÷àùåãîñÿ íåîáõîäèìî ïðèâåñòè åäèíñòâåí- íóþ îáùóþ îöåíêó, íàïðèìåð, â òàêîé äèñöèïëèíå, êàê ìàòåìàòè- êà, òî ïîòðåáóþòñÿ, ïî êðàéíåé ìåðå, 25 èëè 30 çàäàíèé. Äàííûå, ñîáðàííûå íà îñíîâå ìåíüøåãî ÷èñëà çàäàíèé, ìîãóò ïîòðåáîâàòü- ñÿ äëÿ ñîîáùåíèÿ ðåçóëüòàòîâ òåñòèðîâàíèÿ ïî îòäåëüíûì ðàçäå- ëàì ïðîåêòà, òàêèì êàê ïîíèìàíèå ó÷àùèìèñÿ ðàçäåëà «ïðîñòðàí- ñòâî» èëè ðåøåíèå ïðîáëåì â òåñòå ïî ìàòåìàòèêå. Òàáë. 2.3 ñîäåðæèò ïðèìåð òàáëèöû ñïåöèôèêàöèè òåñòà ïî ìàòåìàòèêå äëÿ ó÷àùèõñÿ 3-ãî, 5-ãî è 8-ãî êëàññîâ â Ïàïóà – Íîâîé Ãâèíåå. Îòìåòèì, ÷òî â òåñòå äëÿ 3-ãî êëàññà áîëüøå 80% çàäàíèé îõâàòûâàþò ñëåäóþùèå ðàçäåëû: ÷èñëà è èõ èñïîëüçîâàíèå, ïðî- ñòðàíñòâî è ôîðìà, èçìåðåíèÿ. Òîëüêî ÷åòûðå çàäàíèÿ îòíîñÿò- ñÿ ê òåîðèè âåðîÿòíîñòè è ñõåìàì. Çàäàíèÿ äëÿ 8-ãî êëàññà ïî êàæäîìó ðàçäåëó ïðîåêòà ðàñïðåäåëåíû áîëåå ðàâíîìåðíî. Ïðîåêòû îáû÷íî ñîñòàâëÿþò íà îñíîâå ïðåäïèñàííûõ ó÷åá- íûõ ïëàíîâ. Îäíàêî åñëè íå ïðèíèìàåòñÿ âî âíèìàíèå ðàññî- ãëàñîâàíèå ìåæäó «ðåàëèçîâàííûìè» (êîòîðûå äàåò ó÷èòåëü) è «îñâîåííûìè» ó÷àùèìèñÿ ó÷åáíûìè ïëàíàìè, òî òåñò ìîæåò îêà- çàòüñÿ ñëèøêîì òðóäíûì èëè ñëèøêîì ëåãêèì ïðè âûïîëíåíèè. Ñëåäîâàòåëüíî, îí íå îáåñïå÷èò ïðàâäîïîäîáíóþ êàðòèíó ó÷åá- íûõ äîñòèæåíèé ó÷àùèõñÿ â ãåíåðàëüíîé öåëåâîé ñîâîêóïíîñòè. Åñëè áîëüøàÿ ÷àñòü èñïûòóåìûõ íå â ñîñòîÿíèè äàòü ïðàâèëüíûé îòâåò íà çàäàíèÿ òåñòà, ýòî âîâñå íå îçíà÷àåò, ÷òî ïðè âûïîëíå- 36 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ íèè ÷óòü ìåíåå èëè ãîðàçäî ìåíåå òðóäíûõ çàäàíèé îíè ïðîäå- ìîíñòðèðóþò òàêèå æå íåâàæíûå ðåçóëüòàòû. Àíàëîãè÷íî, åñëè áîëüøèíñòâî ó÷àùèõñÿ îòâå÷àåò íà âñå çàäàíèÿ ïðàâèëüíî, ýòî íå ãàðàíòèðóåò òîãî, ÷òî íà ÷óòü èëè íàìíîãî áîëåå òðóäíûå çàäà- íèÿ îíè îòâåòÿò òàê æå. Ðåçóëüòàòû, ïîëó÷åííûå ïî ñëèøêîì òðóä- íûì èëè ñëèøêîì ëåãêèì òåñòàì, èñïîëüçóþòñÿ òàêòèêàìè, øêî- ëàìè èëè ïðåïîäàâàòåëÿìè âåñüìà îãðàíè÷åííî. Òðóäíîñòü òåñòà îïðåäåëÿåòñÿ öåëüþ òåñòèðîâàíèÿ. Åñëè öåëü – ìîíèòîðèíã ðàáîòû âñåõ èñïûòóåìûõ, âõîäÿùèõ â öåëåâóþ ãå- íåðàëüíóþ ñîâîêóïíîñòü, òî ðàñïðåäåëåíèå îöåíîê ïàðàìåòðà òðóäíîñòè çàäàíèé äîëæíî ñîîòâåòñòâîâàòü ðàñïðåäåëåíèþ îöå- íîê ó÷åáíûõ äîñòèæåíèé ãåíåðàëüíîé ñîâîêóïíîñòè ó÷àùèõñÿ. Êàê ïðàâèëî, ðàçðàáîò÷èêè òåñòîâ èñõîäÿò èç òîãî, ÷òî íà äâå òðåòè çàäàíèé äâå òðåòè ó÷àùèõñÿ äàäóò ïðàâèëüíûé îòâåò ñ âå- ðîÿòíîñòüþ îò 30 äî 70%. ( ñðåäíåì, âåðîÿòíîñòü ïðàâèëüíîãî âûïîëíåíèÿ çàäàíèé äîëæíà ñîñòàâëÿòü 50%, ÷òîáû ïîëó÷èòü ìàêñèìàëüíóþ äèñïåðñèþ òåñòîâûõ îöåíîê ó÷àùèõñÿ.) Îñòàâøà- ÿñÿ òðåòü äîëæíà áûòü ðàâíîìåðíî ðàñïðåäåëåíà ìåæäó çàäàíèÿ- ìè, íà êîòîðûå ïðàâèëüíî îòâåòÿò áîëüøå ÷åì 70% èñïûòóåìûõ, è çàäàíèÿìè, êîòîðûå ñìîãóò âûïîëíèòü ìåíåå 30% ó÷àùèõñÿ. Õîòÿ ïîäîáíûé ïîäõîä ê îöåíêå óðîâíÿ ó÷åáíûõ äîñòèæåíèé ãðóïïû ó÷àùèõñÿ î÷åíü âàæåí, îí íå äîëæåí âåñòè ê àâòîìàòè÷åñ- êîìó èñêëþ÷åíèþ èç òåñòà êëþ÷åâûõ ðàçäåëîâ ó÷åáíîãî ïëàíà ïðî- ñòî ïî òîé ïðè÷èíå, ÷òî èñïûòóåìûå âûïîëíÿþò çàäàíèÿ ïî íèì î÷åíü ïëîõî èëè î÷åíü õîðîøî. Ïðèãîäíîñòü çàäàíèé ïî óðîâíþ òðóäíîñòè óñòàíàâëèâàåòñÿ ñ ïîìîùüþ ïðåäâàðèòåëüíîãî òåñòèðî- âàíèÿ, â õîäå êîòîðîãî èñïûòóåìûì äàþò çàäàíèÿ ñ õàðàêòåðèñòè- êàìè, ïîäîáíûìè òåì, êîòîðûå ïðåäíàçíà÷àþòñÿ äëÿ íàöèîíàëü- íîãî îöåíèâàíèÿ íà ãåíåðàëüíîé ñîâîêóïíîñòè ó÷àùèõñÿ.  íåêîòîðûõ ñëó÷àÿõ â õîäå íàöèîíàëüíîé îöåíêè óñòàíàâ- ëèâàþò óðîâíè ó÷åáíûõ äîñòèæåíèé èëè âûïîëíåíèÿ òåñòà, êîòîðûå îñíîâàíû íà çàäàííîì ñòàíäàðòå (ïîä ñòàíäàðòîì ïîíèìàåòñÿ ïîðîãîâûé áàëë, óñòàíàâëèâàåìûé ïî òåñòó. – Ïðèìå÷. ðåä.) è âûÿâëÿþò èñïûòóåìûõ, êîòîðûå åìó ñîîòâåò- ñòâóþò. Åñëè ñòàíäàðò áóäåò î÷åíü âûñîê, òî òåñò èäåíòèôè- öèðóåò íåáîëüøîå êîëè÷åñòâî ó÷àùèõñÿ, êîòîðûå ïðîäå- ìîíñòðèðóþò ýòîò óðîâåíü äîñòèæåíèé âëàäåíèÿ óìåíèåì, РАЗРАБОТКА СТРУКТУРЫ 37 ïðè ýòîì áóäåò ïîòåðÿíà èíôîðìàöèÿ îá óðîâíå ó÷åáíûõ äîñ- òèæåíèé îñòàëüíîé ÷àñòè îáó÷àåìûõ (ò.å. ãåíåðàëüíîé ñîâî- êóïíîñòè), ðåçóëüòàòû îáó÷åíèÿ êîòîðûõ íèæå ñòàíäàðòà. Åñëè æå òðåáîâàíèÿ ñòàíäàðòà áóäóò íåâûñîêè, òî òåñò âûÿ- âèò áîëüøîå ÷èñëî ó÷àùèõñÿ, êîòîðûå ïðîäåìîíñòðèðóþò ýòîò óðîâåíü óìåíèé, ïðè ýòîì èíôîðìàöèè î áîëåå âûñîêèõ óðîâíÿõ âëàäåíèÿ óìåíèÿìè, êîòîðûå, âîçìîæíî, ïðèîáðåëè èñïûòóåìûå, áóäåò ìåíüøå. ВАЛИДНОСТЬ Âàëèäíîñòü – âåñüìà ìíîãîàñïåêòíîå ïîíÿòèå, êîòîðîå ïîäðà- çóìåâàåò àäåêâàòíîñòü èíòåðïðåòàöèè è èñïîëüçîâàíèÿ òåñòî- âûõ îöåíîê è òåñòîâîé èíôîðìàöèè (Ìåññèê (Messick), 1989). Îäèí èç àñïåêòîâ âàëèäíîñòè ïîäðàçóìåâàåò âûÿâëåíèå ñòåïå- íè, â êîòîðîé ñîäåðæàíèå òåñòà ðåïðåçåíòàòèâíî îòðàæàåò ó÷åáíûé ïëàí èëè êîíñòðóêò, êîòîðûé èçìåðÿåòñÿ. Ìåíåäæåð ïî ðàçðàáîòêå òåñòîâ íåñåò îòâåòñòâåííîñòü çà êîîðäèíàöèþ ñ ðåôåðåíòíîé ãðóïïîé ñïåöèàëèñòîâ-ïðåäìåòíèêîâ, ñïåöèà- ëèñòîâ ïî ó÷åáíîìó ïëàíó, ÷òîáû ãàðàíòèðîâàòü, ÷òî çàäàíèÿ àäåêâàòíî ïðåäñòàâëÿþò âûáîðêó èç ó÷åáíîãî ïëàíà èëè êîí- ñòðóêò.  ýêñïåðòíóþ ãðóïïó íå äîëæíû âõîäèòü àâòîðû çàäàíèé.  ýòîì ñëó÷àå ïðîáëåìà âàëèäíîñòè ðåøàåòñÿ íà îñíîâå ýêñ- ïåðòíûõ ñóæäåíèé, à íå ïóòåì ñòàòèñòè÷åñêèõ èññëåäîâàíèé. Ýêñïåðòíàÿ ãðóïïà äîëæíà îïðåäåëèòü, äàåò ëè òåñò àäåêâàò- íîå îñâåùåíèå îïðåäåëåííîãî ïðåäìåòà (íàïðèìåð, ìàòåìàòè- êè äëÿ 4-ãî êëàññà), è ðàññìîòðåòü, îáåñïå÷èâàþò ëè ðåçóëüòà- òû âûïîëíåíèÿ òåñòà àäåêâàòíîå ñâèäåòåëüñòâî íàëè÷èÿ ó÷åáíûõ äîñòèæåíèé ó÷àùèõñÿ â ïðåäìåòíîé îáëàñòè. ЯЗЫК ТЕСТА Ñòðóêòóðà òåñòà äîëæíà ðàçúÿñíèòü è îáîñíîâàòü èñïîëüçîâà- íèå â òåñòàõ îäíîãî èëè íåñêîëüêèõ ÿçûêîâ. ßçûê òåñòà, êàê ïðàâèëî, áûâàåò òåì, êîòîðûé èñïîëüçóåòñÿ è äëÿ îáó÷åíèÿ. Ïðè èñïîëüçîâàíèè íåñêîëüêèõ ÿçûêîâ äëÿ îáó÷åíèÿ ïåðåâîä çàäàíèé áûâàåò äîðîãîñòîÿùèì è òðóäîåìêèì. Ïåðåâåäåííûå 38 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ âåðñèè äîëæíû áûòü ìàêñèìàëüíî ýêâèâàëåíòíûìè ìåæäó ñî- áîé â òåõ ñëó÷àÿõ, êîãäà äàííûå òåñòèðîâàíèÿ èñïîëüçóþòñÿ äëÿ ñðàâíåíèÿ. Íèæå ïåðå÷èñëåíû íåêîòîðûå ïðîáëåìû, êî- òîðûå íåîáõîäèìî ðàññìàòðèâàòü â ïðîöåññå ïðèíÿòèÿ ðåøå- íèÿ îá èñïîëüçîâàíèè îäíîãî èëè áîëåå ÿçûêîâ äëÿ ïðîâåðêè çíàíèé ïî îïðåäåëåííîé îáëàñòè ó÷åáíîãî ïëàíà. Åñëè ðåñóðñû îãðàíè÷åíû, òî ïðåäïî÷òèòåëüíà îöåíêà ó÷àùèõñÿ ñòàðøèõ êëàññîâ íà ÿçûêå, íà êîòîðîì âåëîñü îáó÷åíèå. Ñîêðàùåíèå êîëè÷åñòâà ñëîâ, èñïîëüçóåìûõ â òåñòîâûõ çà- äàíèÿõ, ïîìîæåò óìåíüøèòü çàòðàòû íà ïåðåâîä äî ìèíèìó- ìà, íî ýòî ìîæåò íàðóøèòü êîíòåêñò çàäàíèÿ, äåëàÿ åãî ìå- íåå àóòåíòè÷íûì. Æåëàòåëüíî èñêëþ÷åíèå èç ãåíåðàëüíîé ñîâîêóïíîñòè íå- êîòîðûõ ó÷àùèõñÿ, ÷òîáû ïîâûñèòü àäåêâàòíîñòü îòðàæå- íèÿ âñåõ ëèíãâèñòè÷åñêèõ ãðóïï. Èíîãäà îôèöèàëüíûé ÿçûê îáó÷åíèÿ íå ÿâëÿåòñÿ ôàêòè÷åñ- êèì ÿçûêîì, èñïîëüçóåìûì â îáó÷åíèè.  òàêèõ ñëó÷àÿõ çà- äàíèÿ â òåñòå äëÿ íàöèîíàëüíîé îöåíêè ìîãóò áûòü íàïèñà- íû íà ôàêòè÷åñêîì ÿçûêå îáó÷åíèÿ.  ñëó÷àå òåñòèðîâàíèÿ ó÷àùèõñÿ ìëàäøèõ êëàññîâ, îñîáåííî ' áûòü åñëè ÿçûê èíñòðóêöèè íå ÿâëÿåòñÿ îñíîâíûì, òåñò ìîæåò ïðîâåäåí â óñòíîé ôîðìå. Àäìèíèñòðàòîð ïî òåñòèðîâàíèþ ãðîìêî çà÷èòûâàåò êàæäûé âîïðîñ èëè âîñïðîèçâîäèò åãî íà ìàãíèòîôîíå è äàåò ó÷àùèìñÿ äîñòàòî÷íî âðåìåíè äëÿ îòâå- òà. Ýòà ôîðìà ÿâëÿåòñÿ îñîáåííî ïîäõîäÿùåé äëÿ òåñòîâ ïî ìàòåìàòèêå è åñòåñòâåííûì íàóêàì â ìëàäøèõ êëàññàõ. Ó÷à- ùèåñÿ ìëàäøèõ êëàññîâ ñìîãóò ïðîäåìîíñòðèðîâàòü áîëüøóþ ñòåïåíü âëàäåíèÿ ïðåäìåòîì ïî óñòíîìó òåñòó, íåæåëè ïèñü- ìåííîìó. Òåñòû, ðàçðàáîòàííûå äëÿ îöåíêè íàâûêîâ ÷òåíèÿ, ïðåäúÿâëÿòüñÿ â óñòíîé ôîðìå, êîíå÷íî, íå ìîãóò. ФОРМА ЗАДАНИЯ Ïðè áëàíêîâîì òåñòèðîâàíèè ó÷àùèåñÿ îòâå÷àþò íà ðÿä âîï- ðîñîâ èëè äðóãèõ ïîñûëîê. Èõ ïèñüìåííûå èëè ïðåäñòàâëåí- íûå â âèäå ñèìâîëà îòâåòû èñïîëüçóþòñÿ êàê ñâèäåòåëüñòâî èõ РАЗРАБОТКА СТРУКТУРЫ 39 Дополнительный материал 2.3 Примеры заданий с множественным выбором 1. Что из приведенно о ниже с орее все о может быть измерено в милли- литрах? A. Количество жид ости в чайной лож е B. Вес (масса) б лав и C. Количество бензина в резерв аре D. Толщина 10 листов б ма и Источни : Межд народная ассоциация по эвалюации образовательных достижений, 1998, пример задания. Замечание: A – правильный ответ. 2. Б тыл а яблочно о со а стоит 1,95 $. Хлеб стоит 2,75 $. Ка ое наимень- шее оличество дене Вам потреб ется, если Вам н жно пить яблочный со и хлеб? o $3,75 o $4,00 o $4,80 o $5,00 Источни : Австралийс ий совет образовательных исследований, пример задания. Замечание: $4,80 – правильный ответ. Дополнительный материал 2.4 Пример задания с за рытым онстр ир емым ответом Дано численное выражение 2000 + + 30 + 9 = 2739 Ка ое число н жно поставить на место , чтобы это выражение стало верным? Ответ _______________ Источни : Межд народная ассоциация по эвалюации образовательных достижений, 1998, пример задания. óðîâíÿ çíàíèé, êîìïåòåíöèé è ïîíèìàíèÿ. Íàèáîëåå ðàñïðî- ñòðàíåííûìè ÿâëÿþòñÿ ÷åòûðå ôîðìû çàäàíèé: çàäàíèÿ ñ ìíîæåñòâåííûì âûáîðîì; çàäàíèÿ ñ çàêðûòûì êîíñòðóèðóåìûì îòâåòîì; çàäàíèÿ ñ êðàòêèì îòêðûòûì îòâåòîì; ýññå èëè çàäàíèÿ ñ ðàçâåðíóòûì îòâåòîì. Çàäàíèÿ ñ ìíîæåñòâåííûì âûáîðîì (ñì. äîïîëíèòåëüíûé ìàòå- ðèàë 2.3) ïðåäïîëàãàþò, ÷òî ó÷àùèåñÿ äîëæíû âûáðàòü ïðàâèëü- íûé îòâåò èç íåñêîëüêèõ, êàê ïðàâèëî ÷åòûðåõ, ãîòîâûõ. Âàðè- àíòû ìîãóò áûòü îáîçíà÷åíû áóêâàìè (öèôðàìè) èëè ïóñòûìè êðóæêàìè (êâàäðàòàìè) – äëÿ ïðîñòàâëåíèÿ âåðíîãî îòâåòà. Îíè ìîãóò áûòü ïðèâåäåíû â âèäå ãîðèçîíòàëüíîãî ðÿäà, èëè â îä- 40 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ Дополнительный материал 2.5 Пример от рыто о задания с рат им ответом A. Ка можно становить возраст дерева после то о, а оно было ср блено? _____________________________________________________ _____________________________________________________ B. Приведите ниже один пример то о, а машины помо ают людям вы- полнять свою работ . _____________________________________________________ _____________________________________________________ Источни : Межд народная ассоциация по эвалюации образовательных достижений, 1998, пример задания. íîé èëè äâóõ êîëîíêàõ. Òåñòèðóåìûå âûáèðàþò îòâåò, çàøòðè- õîâûâàÿ ñîîòâåòñòâóþùèé êðóæîê, îáâîäÿ áóêâó àëôàâèòà èëè öèôðó, èëè îòìå÷àþò óêàçàííûì ñèìâîëîì âûáîð ÷àñòè òåêñòà èëè ãðàôèêà. Êàê ïðàâèëî, çàäàíèå ñîäåðæèò òîëüêî îäèí ïðà- âèëüíûé îòâåò è íåñêîëüêî ïðàâäîïîäîáíûõ, íî íåïðàâèëüíûõ. Çàêðûòûå çàäàíèÿ ñ êîíñòðóèðóåìûì îòâåòîì (ñì. äîïîëíè- òåëüíûé ìàòåðèàë 2.4) ïðåäïîëàãàþò, ÷òî òåñòèðóåìûé äîëæåí ñàì ïîëó÷èòü ïðàâèëüíûé îòâåò. Ñïîñîáû ìîãóò áûòü ðàçëè÷- íûìè.  çàêðûòûõ çàäàíèÿõ ñ êîíñòðóèðóåìûì îòâåòîì òðåáó- åòñÿ âñòàâèòü îäíî èëè äâà ïðîïóùåííûõ ñëîâà, ïîä÷åðêíóòü ñëîâî èëè ÷èñëî â òåêñòå èëè òàáëèöå, íà÷åðòèòü ëèíèþ íà ãðà- ôèêå èëè çàøòðèõîâàòü îáëàñòü äèàãðàììû.  çàêðûòûõ çàäà- íèÿõ ñ êîíñòðóèðóåìûì îòâåòîì òåñòèðóåìûì ïðåäëàãàþò âûá- ðàòü íåñêîëüêî âàðèàíòîâ îòâåòà, êîòîðûå ñîîòâåòñòâóþò îïðåäåëåííûì êðèòåðèÿì, èëè óñòàíîâèòü ñîîòâåòñòâèå íàáî- ðîâ ïàð ïðåäëîæåíèé èëè äèàãðàìì. Îòêðûòûå çàäàíèÿ ñ êðàòêèì îòâåòîì (ñì. äîïîëíèòåëüíûé ìàòåðèàë 2.5) ïîäðàçóìåâàþò, ÷òî ó÷àùèåñÿ äîëæíû äàòü îò- âåò ñàìîñòîÿòåëüíî, êîòîðûé ìîæåò ñóùåñòâîâàòü â ðàçëè÷- íûõ, íî ïðàâèëüíûõ âàðèàíòàõ. Êàê ïðàâèëî, îòâåò ïðåäïîëà- ãàåò îáúÿñíåíèå, îïèñàíèå ïðîöåññà èëè ïîäðîáíûé ðèñóíîê (áîëüøå, ÷åì îäíà èëè äâå ëèíèè). Ìîæåò ïîòðåáîâàòüñÿ, ÷òî- áû èñïûòóåìûé íàïèñàë îäíî èëè äâà ïðåäëîæåíèÿ, çàâåðøèë ðÿä ïîñëåäîâàòåëüíûõ äåéñòâèé èëè ðåøåíèå óðàâíåíèÿ, äî- ñòðîèë ãðàôèê, äèàãðàììó èëè ñõåìó.  õîäå âûïîëíåíèÿ çàäàíèÿ ñ ðàçâåðíóòûì îòâåòîì (ñì. äî- ïîëíèòåëüíûé ìàòåðèàë 2.6) èñïûòóåìûå äîëæíû äàòü ïîäðîá- РАЗРАБОТКА СТРУКТУРЫ 41 Дополнительный материал 2.6 Пример рат о о эссе Крат ое эссе, или задание с разверн тым ответом, может быть представ- лено в виде те ста или иллюстрации. Важно, чтобы чащиеся понимали, а ой ответ они должны дать, – до азать свою точ зрения, выс азать мнение по а ом -либо вопрос , написать те ст-расс ждение или расс аз. Соответств ющия информация об этом обеспечивается в инстр ции по предъявлению теста. Рис но , представленный ниже, использовался в Па- п а – Новой Гвинее, чтобы в процессе написания расс аза оценить язы о- вые навы и чащихся. Администратор по тестированию пред предил ча- щихся, что они мо т взять за основ а изображенный на рис н е сюжет, та и написать историю об охоте самостоятельно. Напишите историю об охотни ах, изображенных на рис н е. Источни : Департамент образования Пап а – Новой Гвинеи, 2004. íûé, èíîãäà ñëîæíûé îòâåò íà ïîñòàâëåííûé ïðîáëåìíûé âîï- ðîñ èëè íàïèñàòü ìèíè-ñî÷èíåíèå íà çàäàííóþ òåìó. Îòâåò ìî- æåò çàíÿòü îäíó èëè íåñêîëüêî ñòðàíèö, èíîãäà îí ìîæåò âêëþ- ÷àòü ñõåìû è äèàãðàììû. Ñóùåñòâóþò îïðåäåëåííûå «ïðàâèëüíûå» ñïîñîáû âûïîëíåíèÿ òàêèõ çàäàíèé. Ïåðâûå òðè ôîðìû çàäàíèé ïî ñðàâíåíèþ ñ ÷åòâåðòîé ÿâ- ëÿþòñÿ áîëåå ïðåäïî÷òèòåëüíûìè è ÷àùå èñïîëüçóþòñÿ â íà- öèîíàëüíîé îöåíêå âî ìíîãîì èç-çà âûñîêîé ñòîèìîñòè íàäåæ- íîãî îöåíèâàíèÿ âðó÷íóþ áîëüøîãî ÷èñëà ýññå.  ñòðóêòóðå òåñòà äîëæíî áûòü çàëîæåíî ïðîöåíòíîå ñîîòíîøåíèå ðàçëè÷- 42 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ íûõ âèäîâ çàäàíèé â îêîí÷àòåëüíîì òåñòèðîâàíèè. Îíà äîëæ- íà òàêæå âêëþ÷àòü îáðàçöû âñåõ âèäîâ çàäàíèé, ÷òîáû ïîìî÷ü ÷ëåíàì ðóêîâîäÿùåãî êîìèòåòà è äðóãèì çàèíòåðåñîâàííûì ëèöàì îçíàêîìèòüñÿ ñ ïîäõîäîì ê îöåíêå. Âûáîð ôîðìû çàäàíèÿ è ñïîñîáà îöåíèâàíèÿ çàäàíèé ñó- ùåñòâåííî âëèÿåò íà êîíå÷íóþ ñòîèìîñòü òåñòà. Ïðîâåðêà çà- äàíèé, êîòîðûå òðåáóþò ðó÷íîãî îöåíèâàíèÿ (èìååòñÿ â âèäó ýêñïåðòíàÿ ïðîâåðêà. – Ïðèìå÷. ðåä.), ñòîèò äîðîæå è çàíèìàåò áîëüøå âðåìåíè, òàêèì îáðàçîì çàäåðæèâàÿ ïóáëèêàöèþ îò- ÷åòà î ðåçóëüòàòàõ èññëåäîâàíèÿ. Äîëæíû áûòü ðàçðàáîòàíû ðóêîâîäñòâà ïî îöåíèâàíèþ âðó÷íóþ, òàêæå ñëåäóåò ïðèãëàñèòü è îáó÷èòü ýêñïåðòîâ. ×åì ñëîæíåå ðóêîâîäñòâà ïî îöåíêå, òåì âûøå çàòðàòû. Ïîýòîìó çàäàíèÿ ñ ðàçâåðíóòûì îòâåòîì âåäóò ê óâåëè÷åíèþ ñòîèìîñòè èññëåäîâàíèÿ. Îöåíêà çàäàíèé ñ ìíî- æåñòâåííûì âûáîðîì ñòîèò ãîðàçäî äåøåâëå, îäíàêî èõ ðàç- ðàáîòêà ÿâëÿåòñÿ áîëåå äîðîãîñòîÿùåé. Íåêîòîðûå ïðîáëåìû ôèíàíñîâûõ çàòðàò, êîòîðûå ñëåäóåò ó÷èòûâàòü ïðè âûáîðå ôîðìû çàäàíèé, â îáùèõ ÷åðòàõ îïèñàíû íèæå. Ïðîöåäóðà ïðîâåðêè îòâåòîâ èñïûòóåìûõ íà çàäàíèÿ ñ ìíî- æåñòâåííûì âûáîðîì, êàê ïðàâèëî, àâòîìàòèçèðîâàíà. Ñàìè çà- äàíèÿ îöåíèâàòü âðó÷íóþ ïåðåä àíàëèçîì îòâåòîâ íå òðåáóåò- ñÿ. Íåîáõîäèìî ëèøü ââåñòè îòâåòû ó÷àùèõñÿ â êîìïüþòåð ñ ïîìîùüþ ñêàíåðà èëè âðó÷íóþ. Ñêàíèðîâàíèå ÿâëÿåòñÿ íàèáî- ëåå ýêîíîìè÷íûì äëÿ êðóïíîìàñøòàáíîãî òåñòèðîâàíèÿ. Îíî òðåáóåò ñïåöèàëüíîãî îáîðóäîâàíèÿ è íåêîòîðîé òåõíè÷åñêîé ðåçåðâíîé ïîääåðæêè. Îáû÷íî îíî âåäåò ê îãðàíè÷åíèþ ôîðì ïðåäñòàâëåíèÿ îòâåòà (íàïðèìåð, òîëüêî øòðèõîâêà êðóæêîâ). Øèðîêîå ðàçíîîáðàçèå ôîðì (íàïðèìåð, îáâåäåíèå ñëîâà èëè áóêâû êðóæêîì, ïðîñòàâëåíèå ñèìâîëîâ â ïóñòûõ êâàäðàòèêàõ èëè ïîä÷åðêèâàíèå) äëÿ îáîçíà÷åíèÿ ïðàâèëüíîãî âàðèàíòà âîç- ìîæíî â òîì ñëó÷àå, åñëè ââîä äàííûõ îñóùåñòâëÿåòñÿ âðó÷íóþ. Çàäàíèÿ ñ ìíîæåñòâåííûì âûáîðîì íåëüçÿ îöåíèâàòü òîëü- êî êàê ïðàâèëüíûå èëè íåïðàâèëüíûå äî íà÷àëà àíàëèçà äàííûõ. Îíè ìîãóò ñòàòü èñòî÷íèêîì öåííîé äèàãíîñòè÷åñêîé èíôîð- ìàöèè î âûïîëíåíèè òåñòà ó÷àùèìèñÿ ïóòåì àíàëèçà êàæäîãî âûáðàííîãî âàðèàíòà îòâåòà. Ïåðåä ñêàíèðîâàíèåì íóæíî îáÿ- çàòåëüíî óáåäèòüñÿ, ÷òî âñå îòâåòû ó÷àùèõñÿ áûëè ââåäåíû. Çàò- РАЗРАБОТКА СТРУКТУРЫ 43 ðàòû íà ðó÷íîé ââîä äàííûõ äëÿ çàäàíèé ñ ìíîæåñòâåííûì âû- áîðîì óìåíüøàþòñÿ, åñëè îíè ðàñïîëîæåíû ïî ñîãëàñîâàííîé ñõåìå. Çàêðûòûå çàäàíèÿ ñ êîíñòðóèðóåìûì îòâåòîì ñëåäóåò îöåíè- âàòü âðó÷íóþ, ïîòîìó ÷òî ìîãóò áûòü îäèíàêîâî ïðèåìëåìû íå- ñêîëüêî âàðèàíòîâ îòâåòîâ. Ðóêîâîäñòâà ïî îöåíêå äîëæíû îïðå- äåëèòü äèàïàçîí ïðèåìëåìûõ è äîïóñòèìûõ îòâåòîâ. Îáû÷íî äèàïàçîí âåðíûõ âàðèàíòîâ äëÿ çàêðûòûõ çàäàíèé ñ êîíñòðóèðó- åìûì îòâåòîì îãðàíè÷åí. Ðóêîâîäñòâà ïî îöåíèâàíèþ ÿâëÿþòñÿ îäíîçíà÷íûìè, è âðåìÿ äëÿ îáó÷åíèÿ ýêñïåðòà ìîæåò áûòü ïðå- äåëüíî êðàòêèì. Ïðè ýòîì äîëæåí îñóùåñòâëÿòüñÿ è ïîääåðæè- âàòüñÿ ïîñòîÿííûé êîíòðîëü êà÷åñòâà ïðîâåðêè îòâåòîâ. Îòêðûòûå çàäàíèÿ ñ êðàòêèì îòâåòîì òàêæå îöåíèâàþòñÿ âðó÷íóþ. ×èñëî è äèàïàçîí äîïóñòèìûõ è íåäîïóñòèìûõ âà- ðèàíòîâ îòâåòîâ ìîæåò áûòü äîâîëüíî øèðîêèì. Ñëåäîâàòåëü- íî, ðóêîâîäñòâà ïî îöåíêå, êàê ïðàâèëî, âåñüìà ñëîæíûå è òðåáóåòñÿ òùàòåëüíàÿ ðàçíîñòîðîííÿÿ ïîäãîòîâêà ýêñïåðòîâ. Äëÿ êîíòðîëÿ êà÷åñòâà ðåçóëüòàòîâ èõ ðàáîòû âî âðåìÿ ýêñ- ïåðòíîé îöåíêè ÷ðåçâû÷àéíî âàæíà íåïðåðûâíàÿ ïåðåïðî- âåðêà. Çàäàíèÿ ñ ðàçâåðíóòûì îòâåòîì èìåþò ñëîæíûå ðóêîâîäñòâà, ïîýòîìó ýêñïåðòû äîëæíû áûòü íàñòîÿùèìè ïðîôåññèîíàëàìè. Ñóùåñòâåííîé äëÿ êîíòðîëÿ êà÷åñòâà ÿâëÿåòñÿ íåïðåðûâíàÿ äâîéíàÿ ýêñïåðòíàÿ îöåíêà íåêîòîðûõ èëè âñåõ îòâåòîâ ó÷àùèõ- ñÿ. Ñàìè ðóêîâîäñòâà ïî îöåíêå òðåáóþò ïîäðîáíîé ðàçðàáîòêè â ó÷åáíûõ öåëÿõ. Îíè äîëæíû âêëþ÷àòü ïðèìåðû îòâåòîâ, ñî- îòâåòñòâóþùèõ êàæäîìó èç óðîâíåé îöåíèâàíèÿ.  îäíîì è òîì æå òåñòå ìîãóò áûòü ïðåäñòàâëåíû ðàçíûå ôîð- ìû çàäàíèé. Íàïðèìåð, â òåñò ìîãóò âõîäèò çàäàíèÿ ñ ìíîæåñòâåí- íûì âûáîðîì, íåñêîëüêî çàêðûòûõ çàäàíèé ñ êðàòêèì îòâåòîì è íåñêîëüêî îòêðûòûõ çàäàíèé ñ êîíñòðóèðóåìûì îòâåòîì. Àâòîðû çàäàíèé äîëæíû ñòðåìèòüñÿ ê òîìó, ÷òîáû ôîðìà êàæäîãî çàäàíèÿ áûëà âûáðàíà ïðàâèëüíî, ÷òîáû îíî ýôôåê- òèâíî îöåíèâàëî óñâîåíèå ó÷àùèìñÿ ïëàíèðóåìîãî ðåçóëüòà- òà îáó÷åíèÿ. Òàêæå ñëåäóåò ñâåñòè äî ìèíèìóìà êîëè÷åñòâî íå âàæíûõ äëÿ îöåíêè òåêñòîâ, îïèñàíèé èëè âû÷èñëåíèé, òðåáó- þùèõñÿ äëÿ îòâåòà íà îòäåëüíîå çàäàíèå. ТАБЛИЦА 2.4 44 Преим щества и о раничения форм тестовых заданий Задания Преим щества О раничения Смножественным ·Б ольшоечислозаданийводномтестеможетохватывать ·Длясозданиявысо о ачественныхзаданий РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ выбором широ ийдиапазонрез льтатовоб чения. треб етсяэ спертиза. ·Заданияобеспечиваютвысо юдифференциацию ·Не выявляютпонимание чащимися чебно о чащи хсяпознаниямипониманию чебно оматериала. материала. ·Оцениваниевр чн юнетреб ется,поэтом провер а ·Имеетсявероятность адывания относительнонедоро а За рытыес онстр ир емым ·Учащи есяопределяютместонахождениеинформацииили ·Заданияобычноохватываюто раниченный вспоминаютеесамостоятельно. диапазонрез льтатовоб чения( лавным ответом(одноилидва словавответе) ·Оцениваниевр чн юявляетсяотносительно образом,поис информацииипровер азнания стандартизированным фа тов) От рытыес рат им ответом(одноилидва ·От чащи хсяможетпотребоватьсяпроявлениевысо их ·Длянаписаниячет осфо сированных ровнейзнанияипонимания. заданийнеобходимаэ спертиза. предложениявответе) ·Заданиямо тбытьнаправленынапровер широ о о ·Треб етсяпривле атьпод отовленных диапазонарез льтатовоб чения. э спертовисоверше нствоватьмерыпо ·Ино даможетбытьизмереночастичноепонимание онтролю ачества,чтоспособств ет повыше ниюзатрат. ·Заданиятреб ютзначительно овременина выполнение,следовательно, меньшается диапазонрез льтатовоб чения,на оторыеэти заданиянацелены Эссе,илиразверн тый ответ ·Учащи есямо тпродемонстрировать л бин понимания ·О раниченныйдиапазонрез льтатовоб чения, чебно оматериала.  оторымзаданиямо тбытьобращены. ·Можетбытьизмерендиапазончастично опонимания ·Треб ютсяпод отовленныеэ спертыимеры материала по онтролю ачества,чтоспособств ет повышениюзатрат РАЗРАБОТКА СТРУКТУРЫ 45 Ðåøåíèå î òîì, êàêèå ôîðìû çàäàíèé èñïîëüçîâàòü â òåñòå è â êàêîì ñîîòíîøåíèè, äîëæíî îñíîâûâàòüñÿ êàê íà óìåñòíî- ñòè âûáèðàåìîé ôîðìû äëÿ èçìåðåíèÿ êîíñòðóêòà â ñîîòâåò- ñòâóþùåé îáëàñòè çíàíèé èëè óìåíèé, òàê è íà ïðàêòè÷åñêèõ îãðàíè÷åíèÿõ, íàïðèìåð, ñî ñòîðîíû ïðîöåäóðû ýêñïåðòèçû, íåîáõîäèìîé äëÿ ðàçðàáîòêè ðàçëè÷íûõ ôîðì çàäàíèé, è íà çàòðàòàõ ïðè ïðîâåäåíèè îöåíêè âðó÷íóþ. Ïðåèìóùåñòâà è íå- äîñòàòêè ðàçëè÷íûõ ôîðì çàäàíèé ïðåäñòàâëåíû â òàáë. 2.4.  òåñòàõ ïî ìàòåìàòèêå â Ïàïóà – Íîâîé Ãâèíåå ñîîòíîøå- íèå çàäàíèé ñ ìíîæåñòâåííûì âûáîðîì è çàäàíèé ñ êðàòêèì îòêðûòûì îòâåòîì çàâèñèò îò êëàññà, â êîòîðîì ïðîâîäèòñÿ ïðîâåðêà (ñì. òàáë. 2.5).  òåñòå äëÿ ó÷àùèõñÿ 8-ãî êëàññà çàäà- íèé áîëüøå, ÷åì â òåñòå äëÿ ó÷àùèõñÿ 3-ãî êëàññà.  îñíîâíîì óâåëè÷åíèå äëèíû ïðîèñõîäèò çà ñ÷åò âêëþ÷åíèÿ â íåãî áîëü- øîãî ÷èñëà îòêðûòûõ çàäàíèé ñ êðàòêèì îòâåòîì. ТАБЛИЦА 2.5 Формы тестовых заданий по математи е в Пап а – Новой Гвинее Задания Открытые задания Класс с множественным выбором с кратким ответом 3-й 20 5 5-й 25 10 8-й 25 15 Источни : Департамент образования Пап а – Новой Гвинеи, 2004. Êàê ïðàâèëî, ó÷àùèìñÿ äàþò äîñòàòî÷íî âðåìåíè íà âûïîë- íåíèå áîëüøåé ÷àñòè çàäàíèé. Î÷åíü âàæíî ñîáðàòü èíôîðìà- öèþ î âðåìåíè, êîòîðîå íåîáõîäèìî ó÷àùèìñÿ äëÿ âûïîëíåíèÿ ïðåäâàðèòåëüíîãî òåñòà ïðè àïðîáàöèè òåñòîâûõ çàäàíèé. Òåñ- òû ìîãóò ðàçëè÷àòüñÿ ïî äëèíå, íî ó÷àùèåñÿ äîëæíû áûòü â ñî- ñòîÿíèè âûïîëíèòü îñíîâíóþ ÷àñòü çàäàíèé ïðèáëèçèòåëüíî çà 40 ìèíóò. Òåñòû, ñîñòîÿùèå ãëàâíûì îáðàçîì èç çàäàíèé ñ ìíîæå- ñòâåííûì âûáîðîì, ìîãóò âêëþ÷àòü áîëüøå çàäàíèé, ÷åì òåñòû, ñîñòîÿùèå ïðåèìóùåñòâåííî èç çàäàíèé ñ êðàòêèì îòâåòîì. Òàê- æå òåñòû äëÿ ó÷àùèõñÿ ñòàðøèõ êëàññîâ ìîãóò âêëþ÷àòü áîëüøå çàäàíèé, à èñïûòóåìûì – ïðåäîñòàâëÿòüñÿ áîëüøå âðåìåíè äëÿ èõ âûïîëíåíèÿ. Åñëè òåñòèðóåìûå íåçíàêîìû ñ èñïîëüçîâàííû- 46 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ ìè â äàííîì òåñòå ôîðìàìè çàäàíèé, òî âåðîÿòíåå âñåãî èì ïî- òðåáóåòñÿ áîëüøå âðåìåíè äëÿ îòâåòà íà íèõ. ГЕНЕРАЛЬНАЯ СОВОКУПНОСТЬ УЧАЩИХСЯ ДЛЯ ПРОВЕДЕНИЯ ОЦЕНКИ Ñòðóêòóðà òåñòà äîëæíà ÷åòêî îïðåäåëÿòü ãåíåðàëüíóþ ñîâî- êóïíîñòü èñïûòóåìûõ äëÿ ïðîâåäåíèÿ îöåíêè (íàïðèìåð, ó÷à- ùèåñÿ 4-ãî êëàññà) è óêàçûâàòü, ïî÷åìó âûáðàíû èìåííî ýòè ó÷àùèåñÿ. Íàïðèìåð, â îòäåëüíî âçÿòîé ñòðàíå äîêóìåíò ïî ñòðóêòóðå ìîã áû, íàïðèìåð, îáîñíîâûâàòü îòáîð 3-õ êëàññîâ íà òîì îñíîâàíèè, ÷òî ïîñëå 3-ãî êëàññà çíà÷èòåëüíîå ÷èñëî ó÷àùèõñÿ ïîêèíóò øêîëó. Âûáîð äëÿ òåñòèðîâàíèÿ 4-õ êëàññîâ ìîæíî îáîñíîâàòü íåîáõîäèìîñòüþ ïðîâåðêè íàâûêîâ ÷òåíèÿ, êîòîðûå äîëæíû áûòü ïðèîáðåòåíû ïî çàâåðøåíèè äàííîãî ýòàïà îáó÷åíèÿ. Òàêæå ìîæíî ïîä÷åðêíóòü, ÷òî 4-é êëàññ – ýòî çàêëþ÷èòåëüíûé êëàññ íà÷àëüíîé øêîëû, è, ñîîòâåòñòâåííî, âàæíî îöåíèòü ó÷åáíûå äîñòèæåíèÿ ó÷àùèõñÿ èìåííî íà ýòîì ïåðåõîäíîì ýòàïå â ñèñòåìå îáðàçîâàíèÿ.  ñòðóêòóðå òåñòà ìîãóò áûòü îïðåäåëåíû èñïûòóåìûå, êî- òîðûå íå âõîäÿò â íàöèîíàëüíóþ âûáîðêó, íàïðèìåð äåòè ñ îñîáûìè îáðàçîâàòåëüíûìè ïîòðåáíîñòÿìè èëè ó÷àùèåñÿ ìà- ëåíüêèõ øêîë, íàõîäÿùèõñÿ â âåñüìà îòäàëåííûõ ðàéîíàõ. СООБЩЕНИЕ РЕЗУЛЬТАТОВ Äî ïðîâåäåíèÿ íàöèîíàëüíîé îöåíêè íåîáõîäèìî óñëîâèòü- ñÿ ñ ÷ëåíàìè ðóêîâîäÿùåãî êîìèòåòà î òîì, êàêèå ðåçóëüòàòû äîëæíû áûòü ïðèâåäåíû â îò÷åòå. Íàïðèìåð, â Èðëàíäèè ïî èòîãàì íàöèîíàëüíîé îöåíêè ÷òåíèÿ íà àíãëèéñêîì ÿçûêå ïðèâîäÿòñÿ îòäåëüíûå ðåçóëüòàòû, ñâÿçàííûå ñ âèäîì òåêñòà è ïîçíàâàòåëüíûìè ïðîöåññàìè. Ñòðóêòóðà òåñòà ïðåäïîëà- ãàåò ïîñòðîåíèå äëÿ ó÷àùèõñÿ 1-ãî êëàññà äâóõ øêàë ïî âèäàì òåêñòîâ (ëèòåðàòóðíûé è èíôîðìàöèîííûé) è äâóõ øêàë ïî âèäàì ïðîöåññîâ (ïîèñê èíôîðìàöèè è èíòåðïðåòàöèÿ âûâî- äîâ). Äëÿ ó÷àùèõñÿ 5-ãî êëàññà ïðåäëàãàåòñÿ ïîñòðîèòü òðè âèäà ñóáøêàë ïî òåêñòó (ëèòåðàòóðíûé, èíôîðìàöèîííî-íå- РАЗРАБОТКА СТРУКТУРЫ 47 ïðåðûâíûé è èíôîðìàöèîííî-äèñêðåòíûé) è òðè âèäà øêàë äëÿ ïðîöåññîâ (ïîèñê, âûâîä è îöåíî÷íîå ñóæäåíèå â ôîðìå èíòåðïðåòàöèè) (Ýéâåñ (Eivers) è äð., 2005).  Ìåæäóíàðîä- íîì îáçîðå èññëåäîâàíèÿ ãðàìîòíîñòè âçðîñëûõ èñïîëüçîâà- ëèñü äèñêðåòíûå òåêñòû, ÷òîáû îöåíèòü âûïîëíåíèå òåñòà ïî øêàëå îöåíîê äëÿ îòäåëüíûõ íàïå÷àòàíûõ äîêóìåíòîâ. Ñòðóêòóðà òåñòà äëÿ Ìåæäóíàðîäíîãî èññëåäîâàíèÿ ïðîãðåñ- ñà â ãðàìîòíîñòè ÷òåíèÿ (PIRLS) îïðåäåëèëà, ÷òî øêàëà òåñ- òîâûõ çàäàíèé äîëæíà áûòü ïîñòðîåíà â äâóõ öåëÿõ: ÷òåíèå äëÿ ïîëó÷åíèÿ ëèòåðàòóðíîãî îïûòà è ÷òåíèå äëÿ ïîëó÷åíèÿ èíôîðìàöèè è åå äàëüíåéøåãî èñïîëüçîâàíèÿ. Ñòðóêòóðà òàê- æå ïðåäëàãàåò îáúåäèíèòü îáå øêàëû è áëàãîäàðÿ ýòîìó äàòü ïîëíóþ îöåíêó ãðàìîòíîñòè ÷òåíèÿ (Êýìïáåëë (Campbell) è äð., 2001). Ðóêîâîäÿùèé êîìèòåò äîëæåí áûòü ïðîèíôîðìèðîâàí î òîì, ÷òî îò÷åò î ðåçóëüòàòàõ â ñóáøêàëàõ çàâèñèò îò ðåçóëüòà- òîâ àíàëèçà çàäàíèé. Âî ìíîãèõ ìåæäóíàðîäíûõ è íàöèî- íàëüíûõ ñèñòåìàõ îöåíêè àäåêâàòíîñòü òåñòîâûõ çàäàíèé ñóá- øêàëàì ïîìîãàåò îïðåäåëèòü ìîäåëèðîâàíèå îòâåòîâ. Íà äàííîì ýòàïå ðóêîâîäÿùåìó êîìèòåòó ìîæíî ïðåäîñòàâèòü êîí- öåïöèþ îò÷åòà î ðåçóëüòàòàõ îöåíêè, ïîäãîòîâëåííîãî ñ èñ- ïîëüçîâàíèåì óðîâíåé ó÷åáíûõ äîñòèæåíèé, îáû÷íî íàçûâàå- ìûõ «óðîâíÿìè ìàñòåðñòâà», è âûÿñíèòü âçãëÿäû åãî ÷ëåíîâ îòíîñèòåëüíî ïðåäïî÷òèòåëüíîé ôîðìû ïðåäñòàâëåíèÿ ðå- çóëüòàòîâ òåñòèðîâàíèÿ. Ìîæíî ïðèâåñòè ïðîöåíò ïðàâèëüíî âûïîëíåííûõ çàäà- íèé. Ìîæíî îáîçíà÷èòü äîñòèãíóòûé óðîâåíü óñâîåíèÿ – ïðî- äâèíóòûé, ïðîôåññèîíàëüíûé (îòâå÷àåò îæèäàåìîìó ñòàíäàð- òó âûïîëíåíèÿ òåñòà), áàçîâûé (íå îòâå÷àåò îæèäàåìîìó ñòàíäàðòó) èëè íèæå áàçîâîãî (ðåçóëüòàòû òåñòèðîâàíèÿ íèæå áàçîâîãî óðîâíÿ).  ðåçóëüòàòå àíàëèçà äàííûõ, ïîëó÷åííûõ â õîäå ïðåäâàðèòåëüíîãî è îêîí÷àòåëüíîãî òåñòèðîâàíèÿ, ÷èñ- ëî óðîâíåé ìàñòåðñòâà, âîçìîæíî, ïðèäåòñÿ ïåðåñìîòðåòü. ×åòâåðòàÿ êíèãà íàñòîÿùåé ñåðèè, «Àíàëèç äàííûõ íàöèîíàëü- íîé îöåíêè ó÷åáíûõ äîñòèæåíèé», îõâàòûâàåò êàê ñîâðåìåí- íóþ òåîðèþ òåñòîâ (Item Response Theory – IRT), òàê è óðîâíè ìàñòåðñòâà. 48 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ Â ñòðóêòóðå òåñòà ñëåäóåò òàêæå îáîçíà÷èòü âèäû îò÷åòîâ, êîòîðûå áóäóò îïóáëèêîâàíû ïî ðåçóëüòàòàì íàöèîíàëüíîé îöåíêè. Ýòè îò÷åòû ìîãëè áû âêëþ÷àòü ìåòîäè÷åñêèé ðàçäåë è ðàçäåëû äëÿ çàèíòåðåñîâàííûõ ÷èòàòåëåé, òàêèõ êàê ðàáîòà- þùèå â øêîëàõ ïðåïîäàâàòåëè, ñîñòàâèòåëè ó÷åáíîãî ïëàíà è òàêòèêè â îáðàçîâàíèè. Òàêæå îíè ìîãóò èñïîëüçîâàòüñÿ â ïðåññ-ðåëèçàõ ïðè ïðîâåäåíèè áðèôèíãîâ. КОНТЕКСТ Ìíîãèå òàêòèêè â ñèñòåìå îáðàçîâàíèÿ èñïîëüçóþò íàöèî- íàëüíóþ îöåíêó äëÿ ñáîðà äîïîëíèòåëüíîé êîíòåêñòíîé èíôîð- ìàöèè (ñèíîíèì «ôîíîâàÿ èíôîðìàöèÿ». – Ïðèìå÷. ðåä.) î ôàê- òîðàõ, íåïîñðåäñòâåííî âëèÿþùèõ íà êà÷åñòâî îáó÷åíèÿ ïî îòäåëüíûì ïðåäìåòàì ó÷åáíîãî ïëàíà. Ðóêîâîäÿùèé êîìèòåò äîëæåí ïðåäîñòàâèòü îáùåå ðóêîâîäñòâî ïî îòáîðó êîíòåêñòíûõ ïåðåìåííûõ, êîòîðûå äîëæíû áûòü îöåíåíû. Ýòà èíôîðìàöèÿ, â ñâîþ î÷åðåäü, ìîæåò èñïîëüçîâàòüñÿ èñïîëíèòåëüíûì àãåíò- ñòâîì äëÿ óïðàâëåíèÿ ïðîöåññîì ðàçðàáîòêè àíêåò. Êîíòåêñò- íóþ èíôîðìàöèþ èñïîëüçóþò òàêòèêè äëÿ âûÿâëåíèÿ ïðè÷èí ïîÿâëåíèÿ ðàçëè÷èé â óðîâíÿõ äîñòèæåíèé ó÷àùèõñÿ. Êàê ïðàâèëî, íà ó÷åáíûå äîñòèæåíèÿ âëèÿþò äâå ãðóïïû êîíòåêñòíûõ ôàêòîðîâ – «äîìàøíèå» è «øêîëüíûå». Ê «äîìàø- íèì» îòíîñÿò: ñîöèàëüíî-ýêîíîìè÷åñêèé ñòàòóñ, èíîãäà èçìå- ðÿåìûé èìåþùåéñÿ â ñåìüå ñîáñòâåííîñòüþ, óðîâåíü îáðàçî- âàíèÿ ðîäèòåëåé, ÿçûê îáùåíèÿ, îòíîøåíèÿ â ñåìüå, êîëè÷åñòâî ÷ëåíîâ ñåìüè, âíèìàíèå, óäåëÿåìîå â ñåìüå ïðîöåñ- ñó îáó÷åíèÿ, è òî, êàê ïîñòàâëåí ýòîò ïðîöåññ (íàïðèìåð, ÷òå- íèå äåòÿì èëè èíûå äåéñòâèÿ, ïîîùðÿþùèå äåòåé ê ó÷åíèþ), êîíòàêòû ñ ïðåïîäàâàòåëÿìè2. Ïîä «øêîëüíûìè» ôàêòîðàìè ïîäðàçóìåâàþò èìåþùèåñÿ â øêîëå ðåñóðñû, ñîñòîÿíèå êàáè- íåòîâ, îðãàíèçàöèþ øêîëüíîãî óïðàâëåíèÿ, èñïîëüçóåìûå ñòðàòåãèè îáó÷åíèÿ, êâàëèôèêàöèþ ïåäàãîãîâ, îñîáûé ïîäõîä ïðåïîäàâàòåëÿ ê ó÷åíèêó.  õîäå íåêîòîðûõ îöåíî÷íûõ ìåðîï- ðèÿòèé ñîáèðàþò ìàòåðèàë îá îòíîøåíèè ó÷åíèêîâ ê øêîëå è îòäåëüíûì ïðåäìåòàì, èíòåðåñàõ ó÷åíèêîâ è èõ ïîâåäåíèè РАЗРАБОТКА СТРУКТУРЫ 49 (íàïðèìåð êîëè÷åñòâî âðåìåíè, çàòðà÷åííîå íà ïîìîùü ïî äîìó, ðàáîòó èëè ÷òåíèå äëÿ óäîâîëüñòâèÿ). ПРИМЕЧАНИЯ 1 Ïîñëå òîãî, êàê èññëåäîâàíèå áûëî ïðîâåäåíî â òðåòèé ðàç, îíî ïîëó÷èëî íàçâàíèå «Ìåæäóíàðîäíîå èññëåäîâàíèå òåíäåíöèé â ìàòåìàòè÷åñêîì è åñòåñòâåííîíàó÷íîì îáðàçîâàíèè», è àááðå- âèàòóðà TIMSS áûëà ñîõðàíåíà. 2 Îòìåòèì, ÷òî â íåêîòîðûõ ñòðàíàõ ñóùåñòâóåò îòðèöàòåëüíîå îòíîøåíèå ê ñáîðó êîíòåêñòíûõ ñîöèàëüíî-ýêîíîìè÷åñêèõ äàí- íûõ. 3 ÃËÀÂÀ ÍÀÏÈÑÀÍÈÅ ÇÀÄÀÍÈÉ Â ýòîé ãëàâå ðàñêðûòû îñíîâíûå õàðàêòåðè- ñòèêè ãðàìîòíî ñîñòàâëåííûõ òåñòîâûõ çàäàíèé, ïðèíöèïû èõ íàïèñàíèÿ, ñòðóêòóðèðîâàíèå è êîìïîíîâêà çàäàíèé â òåñòå è èõ îöåíêà1. Ðàññìîòðåíû çàäà÷è ñîòðóäíèêîâ, ó÷àñòâóþùèõ â ðàçðàáîòêå òåñòà. Ýòî êîìàíäà ïî íàïèñàíèþ çàäàíèé è ïðè- âëåêàåìûå ýêñïåðòû. Îáùåå ðóêîâîäñòâî îñóùåñòâëÿåò ìåíåä- æåð ïî ðàçðàáîòêå òåñòîâ. Íåîáõîäèìî ó÷èòûâàòü, ÷òî êà÷åñòâî òåñòà â çíà÷èòåëüíîé ñòåïåíè îïðåäåëÿåòñÿ òåì, â êàêîé ñòåïåíè îí îòâå÷àåò öåëè ñîçäàíèÿ è íàñêîëüêî ïðåäëîæåííûå èñïûòóåìûì çàäàíèÿ ñî- îòâåòñòâóþò ðàçðàáîòàííîìó ïðîåêòó òåñòà. Õîðîøåå çàäàíèå ÿâëÿåòñÿ îäíîçíà÷íûì, ðåëåâàíòíûì ó÷åáíîìó ïëàíó è íàïðàâ- ëåííûì íà ïðîâåðêó îäíîé åäèíèöû ó÷åáíîãî ìàòåðèàëà. Òà- êèå çàäàíèÿ îáåñïå÷èâàþò âêëþ÷åíèå â òåñò àóòåíòè÷íûõ çà- äà÷, áëàãîäàðÿ ÷åìó ó÷àùèåñÿ, ãîâîðÿùèå íà ðàçíûõ ÿçûêàõ è ïðèíàäëåæàùèå ê ñåìüÿì ñ ðàçëè÷íûì êóëüòóðíûì ôîíîì, îêà- çûâàþòñÿ â ðàâíûõ óñëîâèÿõ. Ãðàìîòíî íàïèñàííîå çàäàíèå îáëàäàåò ñëåäóþùèìè õàðàê- òåðèñòèêàìè: îáðàùàåòñÿ ê êëþ÷åâîé îáëàñòè èçó÷åíèÿ; ÿâëÿåòñÿ êîíñòðóêòèâíûì è çíà÷èìûì; 52 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ ñîîòíîñèòñÿ ñ îñíîâíûìè õàðàêòåðèñòèêàìè, çàÿâëåííûìè â ñòðóêòóðå èëè ïðîåêòå òåñòà; ñïðàâåäëèâî; íàïðàâëåíî íà ðåøåíèå îñíîâíûõ ïðîáëåì â ó÷åáíûõ ñòè- ìóëàõ, ïðè ýòîì âòîðîñòåïåííûå èëè íåçíà÷èòåëüíûå äå- òàëè âî âíèìàíèå íå ïðèíèìàþòñÿ; ÿñíî îáîçíà÷àåò çàäà÷ó, êîòîðóþ èñïûòóåìûå îáÿçàíû âû- ïîëíèòü; îíî íå ÿâëÿåòñÿ ñëåäñòâèåì äðóãèõ çàäàíèé è åãî âûïîëíå- íèå íå çàâèñèò îò ïîíèìàíèÿ ó÷åáíîãî ìàòåðèàëà, êîòîðîå ñôîðìèðîâàëîñü íà îñíîâå âûïîëíåíèÿ ïðåäûäóùèõ çàäà- íèé; òðàêòîâêà òåðìèíîâ äîëæíà ðàññìàòðèâàòüñÿ â êîíòåêñòå äàííîãî çàäàíèÿ, à íå èç îáùèõ ïðåäñòàâëåíèé; ïðåäïî÷òèòåëüíî âûðàæåíî â ôîðìå óòâåðæäåíèÿ, ôîðìà îòðèöàíèÿ íåðåäêî ïðèâîäèò ê íåîäíîçíà÷íîìó ïîíèìà- íèþ ïðîáëåìû. Àâòîðàì òåñòîâ ìîãóò ïîìî÷ü èññëåäîâàíèÿ ìîäåëåé âûñî- êîêà÷åñòâåííûõ çàäàíèé. Ìíîãèå îðãàíèçàöèè ðàçìåùàþò òè- ïîâûå çàäàíèÿ â Èíòåðíåòå. Èñòî÷íèêîì äëÿ ïîëó÷åíèÿ èíôîð- ìàöèè ïî ðàçðàáîòêå òåñòîâûõ çàäàíèé ìîãóò òàêæå ñëóæèòü ìåæäóíàðîäíûå òåñòû, òàêèå êàê Ìåæäóíàðîäíîå èññëåäîâàíèå òåíäåíöèé â ìàòåìàòè÷åñêîì è åñòåñòâåííîíàó÷íîì îáðàçîâà- íèè (TIMSS), Ïðîãðàììà ìåæäóíàðîäíîãî îöåíèâàíèÿ ó÷àùèõ- ñÿ (PISA), Ìåæäóíàðîäíîå èññëåäîâàíèå ïðîãðåññà â ãðàìîò- íîñòè ÷òåíèÿ (PIRLS), è íàöèîíàëüíûå îöåíêè â äðóãèõ ñòðàíàõ, íàïðèìåð àìåðèêàíñêàÿ Íàöèîíàëüíàÿ îöåíêà ïðî- ãðåññà â îáðàçîâàíèè (NAEP). Îïóáëèêîâàííûå òåñòîâûå çàäàíèÿ ìîãóò èñïîëüçîâàòüñÿ â äðóãèõ òåñòàõ, åñëè èõ ñîäåðæàíèå è ôîðìóëèðîâêà ñîîòâåò- ñòâóþò öåëÿì èññëåäîâàíèÿ. Ýòî íåäîðîãîé è ïîëåçíûé èñòî÷- íèê. Ìíîãèå çàäàíèÿ âìåñòå ñ êëþ÷àìè äîñòóïíû â Èíòåðíåòå. Èõ èñïîëüçîâàíèå íåæåëàòåëüíî, òàê êàê èñïûòóåìûå òàêæå ìîãëè èìåòü ê íèì äîñòóï äî âûïîëíåíèÿ òåñòà. Ìîæíî òàêæå ïîëó÷èòü ðàçðåøåíèå íà èñïîëüçîâàíèå ãîòîâûõ, íî ðàíåå íå РАЗРАБОТКА ЗАДАНИЙ 53 ðàññåêðå÷åííûõ çàäàíèé. Ýòî íàìíîãî äåøåâëå, ÷åì ðàçðàáîò- êà íîâûõ âàðèàíòîâ. Òåì íå ìåíåå ýêñïåðòû ïî ó÷åáíûì ïëà- íàì äîëæíû ïðîàíàëèçèðîâàòü èìåþùèåñÿ çàäàíèÿ íà ñîîòâåò- ñòâèå èõ öåëÿì òåñòèðîâàíèÿ. Ïðîâåäåíèå ýêñïåðòèçû ïðè íàïèñàíèè çàäàíèé ïî êàæ- äîìó ðàçäåëó ïðîåêòà òåñòà çàíèìàåò çíà÷èòåëüíîå âðåìÿ. Àâ- òîðû äîëæíû ïðèäåðæèâàòüñÿ îáùåé òåðìèíîëîãèè è èìåòü îáùåå ïîíèìàíèå êîíñòðóêòà, ïðåäíàçíà÷åííîãî äëÿ èçìå- ðåíèÿ. Äëÿ ýòîãî èì íåîáõîäèìî êëàññèôèöèðîâàòü êàæäîå ðàçðàáàòûâàåìîå èìè çàäàíèå ïðîåêòà ïî ñëåäóþùèì êðè- òåðèÿì: ôîðìà çàäàíèÿ (çàäàíèÿ ñ ìíîæåñòâåííûì âûáîðîì, ñ çàê- ðûòûì êîíñòðóèðóåìûì îòâåòîì, ñ îòêðûòûì îòâåòîì); âèä òåêñòà (äëÿ òåñòà ïî ÷òåíèþ), íàïðèìåð ðàññêàç, îïèñà- íèå, ðàññóæäåíèå; öåëåâàÿ ãðóïïà òåñòèðóåìûõ (íàïðèìåð, ó÷àùèåñÿ 5-ãî êëàñ- ñà); ïðîâåðÿåìûå ðåçóëüòàòû ó÷åáíîé äåÿòåëüíîñòè (óìåíèå ñêëàäûâàòü äâóçíà÷íûå öåëûå ÷èñëà èëè âûÿâëÿòü îñíîâ- íóþ ìûñëü â ðàññêàçå); ïîçíàâàòåëüíûé ïðîöåññ (íàïðèìåð, çíàíèå, ðåôëåêñèÿ, èíòåðïðåòàöèÿ èëè ñèíòåç). Óðîâåíü ïîçíàâàòåëüíîãî ïðîöåññà, òðåáóåìîãî äëÿ âûïîë- íåíèÿ îïðåäåëåííîãî çàäàíèÿ, íåâîçìîæíî îïðåäåëèòü òî÷íî. Òàê, åñëè èñïûòóåìûå íå îáëàäàþò óìåíèåì ïîäâîäèòü èòîã ïî ïðîéäåííîìó ìàòåðèàëó, òî ìîæåò ïîíàäîáèòüñÿ çàäåéñòâîâàòü áîëåå âûñîêèé óðîâåíü ïîçíàâàòåëüíîãî ïðîöåññà. ТРУДНОСТЬ ЗАДАНИЯ Îïðåäåëåíèå òðåáóåìîãî óðîâíÿ òðóäíîñòè çàäàíèé ÿâëÿåòñÿ îñíîâíîé çàäà÷åé äëÿ èõ àâòîðîâ. Âî ìíîãèõ ñòðàíàõ ïðåäïè- ñàííûé ó÷åáíûé ïëàí ÿâëÿåòñÿ äëÿ áîëüøèíñòâà ó÷àùèõñÿ ñëèøêîì ñëîæíûì. Êàê ñëåäñòâèå, àâòîðàì çàäàíèé ïðèõîäèò- ñÿ îáðàùàòüñÿ ê ïðîâåðêå áîëåå ïðîñòûõ óìåíèé, íèæå òðå- 54 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ áîâàíèé ó÷åáíîãî ïëàíà. Íàïðèìåð, â òåñòû ó÷åáíûõ äîñòè- æåíèé ïî ìàòåìàòèêå, ðàçðàáîòàííûå äëÿ 5-ãî êëàññà, çà÷àñ- òóþ âêëþ÷àþò çàäàíèÿ, ñîîòâåòñòâóþùèå óðîâíþ 3-ãî è 4-ãî êëàññîâ. Îïûòíûå ïðåïîäàâàòåëè-ïðàêòèêè, ïî ñðàâíåíèþ ñ àäìè- íèñòðàòèâíûìè ðàáîòíèêàìè è ó÷åíûìè, äîëæíû èìåòü áîëåå ïðàâäîïîäîáíîå ïðåäñòàâëåíèå î íåîáõîäèìîì óðîâíå òðóäíî- ñòè çàäàíèé. Îäíàêî ìíåíèÿ ïðåïîäàâàòåëåé õîòÿ è çíà÷èìû, íî íå âñåãäà àäåêâàòíî îòðàæàþò òðåáóåìûé óðîâåíü òðóäíî- ñòè. Ïðåäâàðèòåëüíîå àïðîáèðîâàíèå òåñòîâ íà âûáîðêàõ èñ- ïûòóåìûõ, ïîäîáíûõ òåì, ÷òî âõîäÿò â öåëåâóþ ãðóïïó ó÷àùèõ- ñÿ, ó÷åáíûå äîñòèæåíèÿ êîòîðûõ ïîäëåæàò îöåíêå, ÿâëÿåòñÿ ñóùåñòâåííûì ôàêòîðîì äëÿ ïîëó÷åíèÿ íà÷àëüíûõ ïðèáëèæå- íèé ê îáúåêòèâíûì äàííûì îá óðîâíÿõ òðóäíîñòè çàäàíèé. Ýòîò ïðîöåññ ïîìîæåò èçáåæàòü ðàñïðîñòðàíåííîé îøèáêè – ðàçðàáîòêè òåñòîâ ñ çàäàíèÿìè, êîòîðûå ÿâëÿþòñÿ ñëèøêîì òðóäíûìè. Èíîãäà áûâàåò òàê, ÷òî çàäàíèÿ, êîòîðûå êàæóòñÿ àâòîðàì ëåãêèìè, íà äåëå îêàçûâàþòñÿ âåñüìà òðóäíûìè. Èëè, íàïðîòèâ, çàäàíèÿ, êîòîðûå èçíà÷àëüíî ðàçðàáàòûâàþòñÿ êàê òðóäíûå, íà äåëå ìîãóò áûòü ñôîðìóëèðîâàíû òàê, ÷òî èñïûòóåìûì íå ñîñòà- âèò òðóäà èõ âûïîëíèòü.  ñëó÷àå ðàçðàáîòêè çàäàíèé ñ ìíîæå- ñòâåííîì âûáîðîì àâòîðàì íåîáõîäèìî èçáåãàòü ñëåäóþùåãî. Íàëè÷èå â çàäàíèè ãðàììàòè÷åñêèõ èëè ëîãè÷åñêèõ ïîäñêà- çîê â îñíîâíîé ÷àñòè çàäàíèÿ, êîòîðûå ìîãóò êîñâåííî óêà- çàòü íà ïðàâèëüíûé îòâåò. Íàïðèìåð, åñëè çàäàíèå ïðåä- ïîëàãàåò îòâåò – ñóùåñòâèòåëüíîå â åäèíñòâåííîì ÷èñëå, à ïðåäëàãàåìûå âàðèàíòû îòâåòîâ, çà èñêëþ÷åíèåì îäíîãî (âåðíîãî), ñîäåðæàò ñóùåñòâèòåëüíûå âî ìíîæåñòâåííîì ÷èñëå. Èñïîëüçîâàíèå «àáñîëþòíûõ» òåðìèíîâ, òàêèõ êàê «âñåãäà» èëè «íèêîãäà», êîòîðûå àâòîìàòè÷åñêè èñêëþ÷àþò íåêîòî- ðûå âàðèàíòû îòâåòîâ èëè ïðÿìî óêàçûâàþò íà ïðàâèëüíûé îòâåò. Áîëüøàÿ äëèíà èëè äåòàëèçèðîâàííîñòü ïðàâèëüíîãî îòâå- òà ïî ñðàâíåíèþ ñ äðóãèìè âàðèàíòàìè. РАЗРАБОТКА ЗАДАНИЙ 55 Âêëþ÷åíèå êëþ÷åâîãî ñëîâà èëè ôðàçû èç îñíîâíîé ÷àñ- òè çàäàíèÿ òîëüêî â ïðàâèëüíûé îòâåò, íî íå â îñòàëüíûå âàðèàíòû. Ðàñïîëîæåíèå âàðèàíòîâ â íåëîãè÷íîì ïîðÿäêå èëè ïóòà- íèöà â ñàìèõ îòâåòàõ. Íàïèñàíèå âàðèàíòîâ îòâåòîâ è êëþ÷åâîé ñìûñëîâîé îñ- íîâû òàêèì îáðàçîì, ÷òî âûáîð «íàèëó÷øåãî» îòâåòà â çíà- ÷èòåëüíîé ñòåïåíè áóäåò çàâèñåòü îò ÿçûêîâûõ íàâûêîâ ó÷à- ùèõñÿ, à íå îò çíàíèÿ òîãî, ÷òî ïðîâåðÿåòñÿ. Âêëþ÷åíèå âîïðîñîâ, íà êîòîðûå ìîæíî îòâåòèòü íåçàâè- ñèìî îò ïîñòàíîâêè ïðîáëåìû â çàäàíèè (èìååòñÿ â âèäó âûáîð îòâåòà íà îñíîâå çäðàâîãî ñìûñëà è âåðáàëüíûõ àññî- öèàöèé ìåæäó îñíîâíîé ÷àñòüþ è ïðàâèëüíûì îòâåòîì. – Ïðèìå÷. ðåä.).  ñëó÷àå ôîðì çàäàíèé ñ êîíñòðóèðóåìûìè îòâåòàìè âàæ- íî ðàçðàáîòàòü ÿñíûå êðèòåðèè îöåíêè, êîòîðûå âûÿâëÿþò òîò êîíñòðóêò, êîòîðûé èçìåðÿåòñÿ â çàäàíèè. СИСТЕМАТИЧЕСКАЯ ОШИБКА ЗАДАНИЯ Íà âûïîëíåíèå òåñòà ó÷àùèìèñÿ íåìàëîâàæíîå âëèÿíèå îêà- çûâàåò ñâîåîáðàçèå êóëüòóðíîãî îïûòà, êîòîðûì îíè îáëàäà- þò. Îíè íå äîëæíû îêàçàòüñÿ â çàâåäîìî ëó÷øèõ èëè õóäøèõ óñëîâèÿõ èç-çà êîíòåêñòà, êîòîðûé íå èìååò ïðÿìîãî îòíîøå- íèÿ ê ïðîâåðÿåìûì çíàíèÿì, óìåíèÿì è ïîíèìàíèþ ó÷åáíîãî ìàòåðèàëà, ïðîâåðÿåìîãî â òåñòå. Íàïðèìåð, çàäàíèÿ î ìóæ- ñêèõ âèäàõ ñïîðòà ìîãëè áû ïîñòàâèòü æåíùèí â íåâûãîäíîå ïîëîæåíèå ïðè âûïîëíåíèè òåñòà. Òàêæå ñìåùàþùåå âëèÿíèå íà îöåíêè îêàçûâàþò çàäàíèÿ, çàòðàãèâàþùèå ñóáúåêòèâíûå îùóùåíèÿ íåêîòîðûõ ó÷àùèõñÿ. Ìàòåðèàë îñíîâíîé ÷àñòè çàäàíèÿ íå äîëæåí çàòðàãèâàòü ýòè- ÷åñêèå, êóëüòóðíûå èëè èíûå ÷óâñòâà ó÷àùèõñÿ. Íåîáõîäèìî ïîëíîñòüþ èñêëþ÷èòü âåðîÿòíîñòü òîãî, ÷òî íåêîòîðûå èñïû- òóåìûå áóäóò îñêîðáëåíû, íàïóãàíû èëè ðàññòðîåíû èç-çà ìà- òåðèàëà, ïðåäñòàâëåííîãî â òåñòå. Ñïåöèàëèñò ïî ðàçðàáîòêå 56 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ òåñòîâ äîëæåí íàó÷èòü àâòîðîâ ïðåäâèäåòü âîçìîæíûå ñëó÷àè ïîÿâëåíèÿ ñèñòåìàòè÷åñêîé îøèáêè. Ýêñïåðòàì ñëåäóåò óäå- ëÿòü âíèìàíèå ïîèñêó «îáèäíûõ» äëÿ îòäåëüíûõ êàòåãîðèé èñ- ïûòóåìûõ çàäàíèé òåñòîâ èëè àíêåò, êîòîðûå ìîãóò îêàçàòü ñìå- ùàþùåå âëèÿíèå íà îöåíêè ó÷àùèõñÿ.  ÷åòâåðòîé êíèãå íàñòîÿùåé ñåðèè, «Àíàëèç äàííûõ íàöèîíàëüíîé îöåíêè ðå- çóëüòàòîâ îáó÷åíèÿ» ðàññìîòðåíû ñòàòèñòè÷åñêèå ìåòîäû, êî- òîðûå ìîæíî èñïîëüçîâàòü äëÿ èäåíòèôèêàöèè ïîäîáíûõ çà- äàíèé êàê íà ïðåäâàðèòåëüíîé, òàê è íà çàêëþ÷èòåëüíûõ ñòàäèÿõ òåñòèðîâàíèÿ. МАТЕРИАЛ СТИМУЛА Ìàòåðèàë ñòèìóëà (ïîä ñòèìóëîì ïðèíÿòî ïîíèìàòü îáùóþ èí- ôîðìàöèîííóþ ÷àñòü ñîäåðæàíèÿ äëÿ íåñêîëüêèõ, îáû÷íî íå áîëåå 3–5, òåñòîâûõ çàäàíèé, îáåñïå÷èâàåò êîíòåêñò çàäàíèÿ. Ýòî ìîæåò áûòü ÷àñòü òåêñòà, äèàãðàììà, ãðàôèê, òàáëèöà, êàð- òà, ñõåìà èëè èõ ñî÷åòàíèå. Êàê ïðàâèëî, ðàçðàáîòêà òåñòà íà÷èíàåòñÿ ñ ïîäãîòîâêè ñî- îòâåòñòâóþùåãî ìàòåðèàëà ñòèìóëüíîé ÷àñòè çàäàíèé. Òàê, òåñ- òû ïî ÷òåíèþ îáû÷íî îñíîâàíû íà áîëüøèõ òåêñòàõ, îòíîñÿ- ùèìñÿ ê ðÿäó çàäàíèé èëè þíèòó, êîòîðûå àäðåñîâàíû äèàïàçîíó ðåëåâàíòíûõ óìåíèé.  òåñòàõ ïî ìàòåìàòèêå è åñòå- ñòâåííûì íàóêàì ìàòåðèàë ñòèìóëà ìîæåò áûòü êðàòêèì, íàïðè- ìåð íåñêîëüêî ÷èñåë äëÿ ñëîæåíèÿ èëè óðàâíåíèå, êîòîðîå òðå- áóåòñÿ ðåøèòü, à ìîæåò áûòü è âåñüìà ñëîæíûì – ãðàôèê, ñõåìà, òàáëèöà èëè äèàãðàììà – è ñâÿçàííûå ñ íèìè çàäàíèÿ äëÿ îïðå- äåëåííîé îáëàñòè óìåíèé. Ìàòåðèàë ñòèìóëà äîëæåí ñîäåðæàòü îñíîâíûå õàðàêòåðè- ñòèêè, ïîäëåæàùèå îöåíèâàíèþ. Ëèøíèå, ïîâòîðÿþùèåñÿ èëè íåíóæíûå äåòàëè íåîáõîäèìî èñêëþ÷èòü. Õîðîøèé ñòèìóë îáëàäàåò ñëåäóþùèìè õàðàêòåðèñòèêàìè: îáîñíîâàí è çàñëóæèâàåò âíèìàòåëüíîãî ðàññìîòðåíèÿ; ïðåäñòàâëÿåò èíòåðåñ äëÿ ïîòåíöèàëüíûõ èñïûòóåìûõ; РАЗРАБОТКА ЗАДАНИЙ 57 ãðàìîòíî çàïëàíèðîâàí è íàïèñàí; îïòèìàëåí äëÿ ìîòèâàöèè èñïûòóåìûõ: íå ñëèøêîì òðóä- íûé è íå ñëèøêîì ëåãêèé; íå ñòàâèò íåñóùåñòâóþùèõ ïðîáëåì; ñîäåðæèò äîñòîâåðíûå ôàêòû; äàåò âîçìîæíîñòü ïîèñêà îòâåòîâ íà âîïðîñû; ÿâëÿåòñÿ ñàìîäîñòàòî÷íûì. Âàæíî çàäàòü íåêîòîðûé êîíòåêñò è ñòèìóë òàì, ãäå ýòî âîç- ìîæíî, íàïðèìåð ñ ïîìîùüþ çàãîëîâêà èëè êðàòêîãî ââåäåíèÿ. Òàê, âûäåðæêà èç íàó÷íî-ôàíòàñòè÷åñêîãî ðîìàíà ìîæåò áûòü ââåäåíà ñëåäóþùèì îáðàçîì: «Äàííûé îòðûâîê âçÿò èç ðîìà- íà, äåéñòâèå êîòîðîãî ïðîèñõîäèò â áóäóùåì». Èëëþñòðàöèè äîëæíû áûòü åñòåñòâåííîé ÷àñòüþ ñòèìóëà, ïðåäîñòàâëÿÿ èñïûòóåìûì äîïîëíèòåëüíóþ èíôîðìàöèþ. Åñëè îíè âêëþ÷åíû â òåñò ïðîñòî ñ öåëüþ õóäîæåñòâåííîãî îôîðìëåíèÿ, òî îíè íå äîëæíû ïîìîãàòü òåñòèðóåìûì. Èíîãäà ìàòåðèàë ñòèìóëà ñîçäàåò èñêóññòâåííûé è íåíóæ- íûé äëÿ çàäàíèÿ êîíòåêñò. Íàïðèìåð, äîïîëíèòåëüíûé ìàòå- ðèàë 3.1 ñîäåðæèò èððåëåâàíòíóþ èíôîðìàöèþ. Ýòî çàäàíèå íàïðàâëåíî íà ïðîâåðêó óìåíèÿ ó÷àùèõñÿ âû÷èñ- ëÿòü ïëîùàäü ïîâåðõíîñòè êóáà.  ðåàëüíîé æèçíè óïîìÿíóòàÿ â çàäàíèè Èðèíà âðÿä ëè áóäåò îáåñïîêîåíà ïðîáëåìîé îïðåäåëå- íèÿ íàèìåíüøåãî êîëè÷åñòâà áóìàãè, íåîáõîäèìîé äëÿ îáåðòû- âàíèÿ êóáà. Åñëè ïîäóìàòü, òî åé íåîáõîäèìî äîïîëíèòåëüíîå êî- ëè÷åñòâî áóìàãè äëÿ òîãî, ÷òîáû çàâåðíóòü åå ïî êðàÿì. È âîò êàê ðàç ñàìûå ñïîñîáíûå ó÷àùèåñÿ, äîãàäàâøèåñÿ î íåîáõîäèìîñòè ñîîòâåòñòâóþùåé ïîïðàâêè, ìîãóò îòâåòèòü íà âîïðîñ íåâåðíî. Ïîýòîìó çàäàíèå ëó÷øå ñôîðìóëèðîâàòü ïðîùå: «Äëèíà îäíîãî ðåáðà êóáà ñîñòàâëÿåò 80 ñì. Êàêîâà ïëîùàäü ïîâåðõíîñòè êóáà?» Ñòèìóë, ïðåäñòàâëÿþùèé ðåàëüíóþ æèçíåííóþ ñèòóàöèþ, äîëæåí òî÷íî ñîîòâåòñòâîâàòü äåéñòâèòåëüíîñòè. Èíôîðìà- öèÿ, ïðèâåäåííàÿ â äîïîëíèòåëüíîì ìàòåðèàëå 3.2, ýòèì ñâîé- ñòâîì íå îáëàäàåò. Ëþäè îáû÷íî íå ôèêñèðóþò èçìåíåíèå ñâî- åãî ðîñòà òàêèì îáðàçîì, êàê ýòî ïðèâåäåíî â ïðèìåðå. Ñêëîííîñòü ê áûñòðîìó ðîñòó ÷àùå âñåãî ïðîÿâëÿåòñÿ â ðàí- íåì âîçðàñòå. Åñëè íåîáõîäèìî ïðèâåñòè ïðèìåðû ðàçíûõ ãðà- 58 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ Дополнительный материал 3.1 Пример иррелевантно о материала стим ла Ирина оборачивает этот б б ма ой. Ка ое наименьшее оличество па- овочной б ма и ей потреб ется? см ôèêîâ ðîñòà â ìàòåðèàëå ñòèìóëà, òî â öåëÿõ ñðàâíåíèÿ áîëåå óìåñòíî èñïîëüçîâàòü, ñêàæåì, çàâîäû, íî íå ëþäåé. Çàäàíèÿ ïî âîçìîæíîñòè äîëæíû áûòü íàïèñàíû íà ïðî- ñòîì è ÿñíîì ÿçûêå. Èõ ôîðìóëèðîâêà äîëæíà áûòü ïîíÿòíîé, òàêîé, ÷òîáû ó èñïûòóåìûõ íå âîçíèêëî äîïîëíèòåëüíûõ ñëîæ- íîñòåé â âîñïðèÿòèè. Ïîýòîìó íåîáõîäèìî èçáåãàòü: òðóäíûõ ñëîâ; äëèííûõ è ñëîæíûõ ïðåäëîæåíèé; óñëîæíåííîé ëîãèêè; íåîäíîçíà÷íûõ èëè íåîïðåäåëåííûõ âîïðîñîâ; äâîéíûõ îòðèöàíèé; íåñîãëàñîâàííîñòè (íàïðèìåð, èñïîëüçîâàíèÿ ðàçëè÷íûõ åäèíèö èçìåðåíèÿ ïðè õàðàêòåðèñòèêå îäíîé è òîé æå âå- ëè÷èíû); íåîïðåäåëåííûõ ôîðìóëèðîâîê èëè íåçíàêîìûõ ñëîâ, êî- òîðûì íå äàåòñÿ ñîîòâåòñòâóþùåå îïðåäåëåíèå. ФОРМА ЗАДАНИЯ Â íàñòîÿùåì ïàðàãðàôå îïèñûâàþòñÿ äâå îñíîâíûå ôîðìû çàäàíèé: ñ ìíîæåñòâåííûì âûáîðîì è ñ êðàòêèì îòâåòîì (ñì. ãëàâó 2)2. Ïðè èñïîëüçîâàíèè çàäàíèé ñ ìíîæåñòâåííûì âûáî- ðîì âàæíî: РАЗРАБОТКА ЗАДАНИЙ 59 Дополнительный материал 3.2 Пример задания с неточной или вводящей в забл ждение информацией Графи отражает изменения в росте Марио и Литы по мере их взросления Марио Лита Рост (см) Возраст (лет) îãðàíè÷èòü ÷èñëî îïöèé îòâåòîâ; ïðèâåñòè êðàòêèå îòâåòû; èçáåãàòü íåîáõîäèìîñòè ïåðåïèñûâàíèÿ ó÷àùèìèñÿ áîëü- øèõ ðàçäåëîâ òåêñòà èç îñíîâíîé ÷àñòè çàäàíèÿ (èçáåãàòü ïîâòîðîâ â îòâåòàõ è ò.ä.); îõâàòèòü øèðîêèé ñïåêòð òåì. Ïðè ïîäãîòîâêå çàäàíèé ñ êðàòêèì îòâåòîì (çàêðûòûì êîí- ñòðóèðóåìûì èëè îòêðûòûì) íåîáõîäèìî: óòî÷íèòü ñìûñë, êîòîðûé òåñòèðóåìûå, âåðîÿòíåå âñåãî, áóäóò âêëàäûâàòü â çàäàíèå; ó÷åñòü ðàçëè÷íûå óðîâíè ïîíèìàíèÿ ïóòè âûïîëíåíèÿ çà- äàíèé ïîñðåäñòâîì èñïîëüçîâàíèÿ ÷àñòè÷íîãî êðåäèòîâà- íèÿ ïðè åãî îöåíèâàíèè, ïðèñâàèâàÿ ïîëíóþ îöåíêó îòâåòó, ïîêàçûâàþùåìó ïîíèìàíèå ñëîæíîé èäåè, è ÷àñòü îöåíêè äëÿ îòâåòà, èëëþñòðèðóþùåãî ïîíèìàíèå ó÷àùèìñÿ ïðî- ñòûõ èäåé; îáîçíà÷èòü îãðàíè÷åííóþ è ÿñíî îïðåäåëåííóþ îáëàñòü âîçìîæíûõ ïðàâèëüíûõ îòâåòîâ; 60 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ èñêàòü îòâåò â ñèòóàöèè, ãäå ïðàâèëüíûé âàðèàíò ÷åòêî îòëè÷àåòñÿ â ôîðìàòå ñ ìíîæåñòâåííûì âûáîðîì îò âåðî- ÿòíûõ íåïðàâèëüíûõ âàðèàíòîâ. Èñïûòóåìûå äîëæíû îáëàäàòü àäåêâàòíûì ëåêñè÷åñêèì çàïàñîì, ÷òîáû îòâåòèòü íà òàêèå çàäàíèÿ. Åñëè ó÷àùèåñÿ, ïî âàøåìó ìíåíèþ, ñêîïèðóþò ïðè ôîðìóëèðîâàíèè êðàòêîãî îòâåòà áîëüøóþ ÷àñòü òåêñòà ñòèìóëà, íå èñïîëüçóéòå ïîäîá- íûå çàäàíèÿ. Написание заданий с множественным выбором Çàäàíèå ñ ìíîæåñòâåííûì âûáîðîì ñîñòîèò èç îñíîâíîé ÷àñ- òè è ïðåäëîæåííûõ ãîòîâûõ îòâåòîâ. Èíîãäà, êîãäà òðåáóåòñÿ îòâåò «èñòèíà–ëîæü», èñïîëüçóþòñÿ òîëüêî äâà îòâåòà. Îäíà- êî òàêèå çàäàíèÿ ñ÷èòàþòñÿ ìàëîýôôåêòèâííûìè. ×àùå èñ- ïîëüçóþòñÿ ÷åòûðå èëè ïÿòü âàðèàíòîâ îòâåòîâ. Ïðàâèëüíûé îòâåò íàçûâàåòñÿ êëþ÷îì, à íåïðàâèëüíûå – äèñòðàêòîðàìè (äîïîëíèòåëüíûé ìàòåðèàë 3.3). Îñíîâíàÿ ÷àñòü çàäàíèÿ ìîæåò áûòü ïðåäñòàâëåíà â íå- ñêîëüêèõ ôîðìàõ: íåçàêîí÷åííîå ïðåäëîæåíèå; ÷åòêî ñôîðìóëèðîâàííûé âîïðîñ; ïðåäëîæåíèå ñ íåäîñòàþùåé èíôîðìàöèåé (Êàðëîñ èìååò_____áðàòüåâ). Дополнительный материал 3.3 Пример задания с множественным выбором У девоч и 3 цвет а. Отец дал ей еще 2 цвет а. основная С оль о цвет ов девоч и все о? часть A2 B3 дистра торы C4 D5 люч (правильный ответ) РАЗРАБОТКА ЗАДАНИЙ 61 Åñëè îñíîâíàÿ ÷àñòü èìååò ôîðìó íåïîëíîãî ïðåäëîæåíèÿ, îíà äîëæíà áûòü äîñòàòî÷íî èíôîðìàòèâíîé, ÷òîáû óâèäåòü êëþ÷ ê çàäàíèþ. Ó èñïûòóåìûõ íå äîëæíî âîçíèêíóòü ïîòðåá- íîñòè â ÷òåíèè äèñòðàêòîðîâ. Âàðèàíòû îòâåòîâ íà íåïîëíîå ïðåäëîæåíèå äîëæíû: áûòü ãðàììàòè÷åñêè ñîãëàñîâàííûìè ñ îñíîâíîé ÷àñòüþ çàäàíèÿ; áûòü íàïèñàííûìè â îäèíàêîâîì ñòèëå; áûòü ïðàâèëüíî àêöåíòèðîâàííûìè; íà÷èíàòüñÿ ñî ñòðî÷íîé áóêâû è çàêàí÷èâàòü ïðåäëîæåíèå. Ïðè íàïèñàíèè çàäàíèé ñ ìíîæåñòâåííûì âûáîðîì âûïîë- íÿéòå ñëåäóþùèå ïðàâèëà. Ñîñðåäîòî÷üòå âíèìàíèå íà ïðàâèëüíîì çàâåðøåíèè ïðåäëîæåíèÿ.  äîïîëíèòåëüíîì ìàòåðèàëå 3.4 âàðèàíòû îòâåòîâ ÿâëÿþòñÿ çà- êîí÷åííûìè ïðåäëîæåíèÿìè (ïóíêòóàöèÿ ñîîòâåòñòâóþùàÿ). Îáðàùàéòå âíèìàíèå íà ïåðå÷íè.  äîïîëíèòåëüíîì ìàòåðèà- ëå 3.5 âàðèàíòû îòâåòîâ äàíû â ôîðìå ïåðå÷íÿ. Çíàêè ïðå- ïèíàíèÿ â äàííîì ñëó÷àå íå òðåáóþòñÿ. Дополнительный материал 3.4 Расстанов а зна ов препинания в сл чае, если варианты ответов представляют собой за онченные предложения Что под мал Михо о рын е? A Он был переполнен, и прод ты были хорошими. B Он был дешевым, и прод ты были восхитительными. C Прод ты были хорошими, но там ни о о не было. D Он был дешевым, но прод ты были не очень хорошими. Дополнительный материал 3.5 Расстанов а зна ов препинания, если варианты ответов даны в форме перечня Ка дол о Джо оставался в доме свое о дед ш и? A одн неделю B две недели C один месяц D два месяца 62 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ Ñîêðàòèòå òåêñò çàäàíèÿ äî ìèíèìóìà. Äëÿ ýòîãî âûíåñèòå ïîâòîðÿþùèåñÿ ñëîâà â îñíîâíóþ ÷àñòü, è áëàãîäàðÿ ýòîìó ñäåëàéòå âàðèàíòû îòâåòîâ ìàêñèìàëüíî êðàòêèìè (ñì. äî- ïîëíèòåëüíûé ìàòåðèàë 3.6). Èçáåãàéòå îòðèöàíèÿ â îñíîâíîé ÷àñòè. Åãî èñïîëüçîâàíèå ìîæåò ïîâëå÷ü íåïðàâèëüíîå ïîíèìàíèå çàäàíèÿ. Åñëè îò- ðèöàíèÿ èçáåæàòü íåëüçÿ, òî ÷àñòèöó «íå» âûíåñèòå â íà÷à- ëî, âûäåëèâ åå ïîëóæèðíûì èëè êóðñèâíûì íà÷åðòàíèåì (ñì. äîïîëíèòåëüíûé ìàòåðèàë 3.7). Ïðè ýòîì âàðèàíòû îòâåòîâ íè â êîåì ñëó÷àå íå äîëæíû âêëþ÷àòü îòðèöàíèå. ×åðåäóéòå ïàðû äèñòðàêòîðîâ. Äëÿ ïîäáîðà äèñòðàêòîðîâ íåîáõîäèìî èñïîëüçîâàòü ðàçíîîáðàçíûå ìåòîäû. Åäèíî- îáðàçèå ìîæåò êîñâåííî ïîìî÷ü ó÷àùåìóñÿ ïðè âûáîðå ïðàâèëüíîãî îòâåòà. Òàê, íåæåëàòåëüíî îáúåäèíåíèå êëþ- ÷à (B) ñ ïðîòèâîïîëîæíûì îòâåòîì (A) (äîïîëíèòåëüíûé ìàòåðèàë 3.8). Дополнительный материал 3.6 Со ращение те ста задания Неправильно Правильно Карл поехал Карл и е о семья поехали A ре е со своей семьей. A ре е. B на море со своей семьей. B на море. C в деревню со своей семьей. C в деревню. D в оры со своей семьей. D в оры. Дополнительный материал 3.7 Задание с отрицанием в основной части Что, по словам родителей Марио, их сын не должен держать в доме? А е о любим ю соба B е о вонючие ботин и C попон D орзин фр тов РАЗРАБОТКА ЗАДАНИЙ 63 Дополнительный материал 3.8 Не орре тный подбор слов в дистра торах Том не любил пальто, потом что оно было А слиш ом большое. B слиш ом малень ое. C неподходяще о цвета. D недостаточно теплое. Дополнительный материал 3.9 Корре тное сочетание основной части с дистра торами Том не любил пальто, потом что оно было слиш ом A большое. B ле ое. C малень ое. D тяжелое. Åñëè âàðèàíòû îòâåòîâ áóäóò ïðèâîäèòüñÿ ïî îïðåäåëåííî- ìó ïðèíöèïó (êàê â äîïîëíèòåëüíîì ìàòåðèàëå 3.8), òî ýòîò ïðèíöèï âñêîðå ñòàíåò î÷åâèäíûì äëÿ íåêîòîðûõ ó÷àùèõñÿ, îáëàäàþùèõ çíà÷èòåëüíûì îïûòîì òåñòèðîâàíèÿ.  ðåçóëüòà- òå îíè áóäóò ðàññìàòðèâàòü òîëüêî òàêèå ïàðû îòâåòîâ, êîòî- ðûå îáúåäèíåíû ïðîòèâîïîëîæíûì ñìûñëîì (êàê A è B). Âû- õîä ñîñòîèò â òîì, ÷òîáû íàïèñàòü íåñêîëüêî çàäàíèé, â êîòîðûõ êëþ÷ íå áóäåò ñîåäèíÿòüñÿ ñ ïðîòèâîïîëîæíûì ïî ñìûñëó äèñòðàêòîðîì. Äðóãîé âîçìîæíûé âàðèàíò ðåøåíèÿ ïðîáëåìû – âêëþ÷åíèå â çàäàíèå äâóõ ïàð ïðîòèâîïîëîæíûõ ïî ñìûñëó îòâåòîâ (èìååòñÿ â âèäó äâîéíàÿ àëüòåðíàòèâà: áîëü- øîå – ìàëåíüêîå, ëåãêîå – òÿæåëîå. – Ïðèìå÷. ðåä.) (ñì. äîïîë- íèòåëüíûé ìàòåðèàë 3.9). Èçáåãàéòå êàòåãîðè÷íûõ óòâåðæäåíèé â äèñòðàêòîðàõ. Íå ñëå- äóåò èñïîëüçîâàòü äèñòðàêòîðû, êîòîðûå ñîäåðæàò òàêèå ñëîâà, êàê «âñåãäà», «íèêîãäà», «íè îäèí èç âûøåóïîìÿíó- òûõ» è «âñå âûøåóïîìÿíóòûå», ïîòîìó ÷òî òàêèå âàðèàíòû îáû÷íî ëåãêî èñêëþ÷àþòñÿ ó÷àùèìèñÿ èç ðàññìîòðåíèÿ. 64 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ Èñïîëüçóéòå ïîäõîäÿùåå ÷èñëî äèñòðàêòîðîâ. Åñëè ýòî âîçìîæ- íî, ðàçðàáîòàéòå çàäàíèÿ ñ îäíèì êëþ÷îì è ÷åòûðüìÿ ïðàâ- äîïîäîáíûìè îòâåòàìè (ò.å. âñåãî ïÿòü âàðèàíòîâ îòâåòà) è ïðåäâàðèòåëüíî ïðîâåðüòå âñå äèñòðàêòîðû. Èñïîëüçóé- òå äèñòðàêòîðû, êîòîðûå èìåþò ëó÷øèå ñòàòèñòè÷åñêèå ñâîéñòâà (ïîäðîáíåå ñì. ÷åòâåðòóþ êíèãó èç ýòîé ñåðèè). Èçìåíÿéòå ìåñòîðàñïîëîæåíèå êëþ÷à. Ìåñòî äëÿ êëþ÷à îò çà- äàíèÿ ê çàäàíèþ äîëæíî èçìåíÿòüñÿ. Îíî íå äîëæíî áûòü ïîñòîÿííûì. Âàðèàíòû îòâåòîâ ìîãóò áûòü ðàíæèðîâàíû â çàâèñèìîñòè îò ðàçìåðà (îò ñàìîãî êîðîòêîãî äî ñàìîãî äëèííîãî èëè íàîáîðîò) èëè ðàñïîëàãàòüñÿ â ñëó÷àéíîì ïîðÿäêå. Óáåäèòåñü â òîì, ÷òî âåðíûé îòâåò íå ÿâëÿåòñÿ âñåãäà ñàìûì äëèííûì. Õîðîøèå âàðèàíòû îòâåòîâ îáëàäàþò ñëåäóþùèìè õàðàê- òåðèñòèêàìè. Îíè èìåþò ñõîäíóþ äëèíó è íàïèñàíû â òîì æå ñòèëå, ÷òî è êëþ÷. Ïîñëåäíèé íå äîëæåí âûäåëÿòüñÿ äëèíîé, ôîðìó- ëèðîâêîé èëè èíûìè âíåøíèìè ïðèçíàêàìè. Ñòèëèñòèêà âàðèàíòîâ ìåíÿåòñÿ îò çàäàíèÿ ê çàäàíèþ. Îíè íå äîëæíû ïîâòîðÿòüñÿ. Ïðåäëàãàåìûå âàðèàíòû îòâåòîâ â çàäàíèè íå ÿâëÿþòñÿ êîñâåííîé ïîäñêàçêîé äëÿ âûïîëíåíèÿ äðóãèõ çàäàíèé. Íåäîïóñòèìû ÷àñòè÷íî ïðàâèëüíûå äèñòðàêòîðû – îäíî- âðåìåííî ñîäåðæàùèå ïðàâèëüíûé è íåïðàâèëüíûé îòâå- òû ëèáî ÷àñòü ïðàâèëüíîãî îòâåòà. Ôîðìóëèðîâêà îòâåòîâ íå ââîäèò ó÷àùèõñÿ â çàáëóæäåíèå èç-çà íåäîñòàòî÷íîé ÿñíîñòè èëè äâóñìûñëåííîñòè. Îòâåòû îáëàäàþò ðàçëè÷íîé ñåìàíòèêîé. Äèñòðàêòîðû íå äîëæíû áûòü ñèíîíèìàìè. Çíà÷åíèå îäíîãî äèñòðàêòîðà íå ìîæåò áûòü îäíèì èç çíà÷åíèé äðóãîãî. Îíè âêëþ÷àþò êëþ÷, êîòîðûé ÿâëÿåòñÿ áåññïîðíî ïðàâèëü- íûì èëè îáîñíîâàííî òî÷íûì îòâåòîì íà âîïðîñ, à íå ïðî- ñòî ëó÷øèì èç ïðåäñòàâëåííûõ âàðèàíòîâ îòâåòîâ. Îíè èìåþò äèñòðàêòîðû, êîòîðûå ÿâëÿþòñÿ áåññïîðíî íå- ïðàâèëüíûìè îòâåòàìè, íî ïðè ýòîì îíè ðàçóìíûå è ïðàâ- äîïîäîáíûå. Ëþáîé äèñòðàêòîð, êîòîðûé ÿâëÿåòñÿ àáñóðä- РАЗРАБОТКА ЗАДАНИЙ 65 íûì, ñîêðàùàåò êîëè÷åñòâî ðåàëüíûõ îïöèé äëÿ âûáîðà, äî- ñòóïíûõ äëÿ ó÷àùåãîñÿ, è íè÷åãî íå âíîñèò â çàäàíèå. Написание заданий с рат им ответом Çàäàíèÿ ñ êðàòêèìè îòâåòàìè äîëæíû áûòü íàïðàâëåíû íà îöåíêó èìåííî òåõ óìåíèé, äëÿ ïðîâåðêè êîòîðûõ îíè ïëàíè- ðóþòñÿ. Õîðîøèå çàäàíèÿ îòëè÷àþòñÿ ÿñíîñòüþ è òî÷íîñòüþ. Îäíîâðåìåííî ñ ñàìèìè çàäàíèÿìè äîëæíî ðàçðàáàòûâàòüñÿ ðóêîâîäñòâî ïî îöåíêå. Çàäàíèÿ ñ êðàòêèìè îòâåòàìè êëàññèôèöèðóþòñÿ êàê îòêðû- òûå, êîãäà äëÿ îòâåòà òðåáóþòñÿ îäíî èëè äâà ïðåäëîæåíèÿ èëè íåñêîëüêî äîïîëíåíèé ê ñõåìå. Ó íèõ îáû÷íî ñóùåñòâóåò îï- ðåäåëåííûé äèàïàçîí âîçìîæíûõ ïðàâèëüíûõ îòâåòîâ. Åñëè äëÿ îòâåòà äîñòàòî÷íî îäíîãî èëè äâóõ ñëîâ èëè îäíîé ëèíèè íà ñõåìå, òî çàäàíèÿ êëàññèôèöèðóþòñÿ êàê çàêðûòûå. Îáû÷- íî ó òàêèõ çàäàíèé åñòü âåñüìà îãðàíè÷åííûé íàáîð ïðàâèëü- íûõ îòâåòîâ. Îòêðûòûå çàäàíèÿ ïðåäíàçíà÷åíû äëÿ ïðîâåðêè íàèáîëåå ñóùåñòâåííûõ íàâûêîâ è óìåíèé ïî îñíîâíûì ðàçäåëàì ó÷åá- íîãî ïëàíà, ïîñêîëüêó ýòî îïðàâäûâàåò áîëüøèå âðåìåííûå çàòðàòû íà èõ âûïîëíåíèå. Ó÷àùèåñÿ äîëæíû óìåòü äàâàòü êðàòêèå ôîðìóëèðîâêè îòâåòîâ íà îòêðûòûå çàäàíèÿ. Âåäü áîëüøàÿ ÷àñòü âðåìåíè, êîòîðîå äàåòñÿ íà âûïîëíåíèå çàäà- íèÿ, äîëæíà áûòü ïîñâÿùåíà åãî ðåøåíèþ, à íå çàïèñè îòâåòà. Ðàçðàáàòûâàÿ çàäàíèÿ ñ êðàòêèì îòâåòîì, âàæíî ïîíèìàòü, êàêîé îòâåò ìîæíî ñ÷èòàòü íåïðàâèëüíûì. Åñëè âñå âîçìîæ- íûå âàðèàíòû áëèçêè ê âåðíîìó, âêëàä òàêîãî çàäàíèÿ â îöåíêó îòäåëüíîãî óìåíèÿ áóäåò âåñüìà íåçíà÷èòåëüíûì. Çàäàíèå äîë- æíî áûòü ñêîíñòðóèðîâàíî òàêèì îáðàçîì, ÷òîáû ãàðàíòèðî- âàòü íàëè÷èå ïðàâäîïîäîáíûõ, íî íåïðàâèëüíûõ îòâåòîâ. Ñëåäóåò óáåäèòüñÿ, ÷òî çàäàíèÿ ñ êðàòêèì îòâåòîì èìåþò áîëåå ÷åì äâà âîçìîæíûõ âàðèàíòà îòâåòà. Åñëè ñóùåñòâóþò òîëüêî äâà âàðèàíòà, òàêèå êàê, íàïðèìåð, «îòêðûòûé» èëè «çàêðûòûé», òî ó ó÷àùèõñÿ ïîÿâëÿåòñÿ 50-ïðîöåíòíûé øàíñ íà «óãàäûâàíèå». Îáëàñòü îòâåòîâ òàêîãî çàäàíèÿ ìîæíî ðàñøè- ðèòü, ïîïðîñèâ ó÷àùèõñÿ óêàçàòü ïðè÷èíû äëÿ òîãî èëè èíîãî 66 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ îòâåòà. Òîãäà çàäàíèå ìîæíî áóäåò îöåíèòü íà îñíîâå ïðàâèëü- íîãî âûáîðà, íàïðèìåð «îòêðûòûé» – «çàêðûòûé», è åãî îáúÿñ- íåíèÿ. Åñëè ó÷àùèéñÿ ïðèâîäèò ïðàâèëüíûé âàðèàíò, íî íå äàåò îáúÿñíåíèå, îí ïîëó÷àåò íóëåâóþ îöåíêó. Çàäàíèÿ íå äîëæíû ñîäåðæàòü ðàçâåðíóòûå îáúÿñíåíèÿ äëÿ ïîíèìàíèÿ ñìûñëà ñòèìóëîâ. Òàê, çàäàíèå íå äîëæíî ñóììèðî- âàòü îñíîâíûå èäåè èëè äåëàòü âûâîä äëÿ îáúÿñíåíèÿ ñòèìó- ëà. Âìåñòî èíòåðïðåòàöèè ñìûñëà ñòèìóëà ïðåäïî÷òèòåëüíî åãî öèòèðîâàòü. Îïàñíîñòü ïðè ðàçðàáîòêå îòêðûòûõ çàäàíèé êðîåòñÿ â òîì, ÷òî ó÷àùèåñÿ ìîãóò îòâå÷àòü íà íèõ ïîâåðõíîñòíî. Ê ïðèìåðó, îòâåò «ïîòîìó ÷òî ýòî âàæíî» ôîðìàëüíî ìîæåò áûòü ïðàâèëü- íûì, íî íåäîñòàòî÷íûì. Èíîãäà òàêîé ïîâåðõíîñòíûé îòâåò ñëåäóåò âêëþ÷èòü â ñàì âîïðîñ, òåì ñàìûì èçíà÷àëüíî óñòðà- íÿÿ åãî èç äèàïàçîíà âîçìîæíûõ ïðàâèëüíûõ îòâåòîâ. Íàïðèìåð, çàäàíèå ìîæåò áûòü ñôîðìóëèðîâàíî ñëåäóþ- ùèì îáðàçîì: «Ïî÷åìó íåñ÷àñòíûé ñëó÷àé ñ Äæåìèìàé âàæåí â ýòîé èñòîðèè?» Ïðè òàêîé ôîðìóëèðîâêå ó÷àùèåñÿ íå ìîãóò îòâåòèòü íà ýòî çàäàíèå «ïîòîìó ÷òî íåñ÷àñòíûé ñëó÷àé âàæåí». ×òîáû èçáåæàòü ñæàòîãî îòâåòà òèïà «äà» èëè «íåò» èíñòðóê- öèè: «Ïîÿñíèòå âàø îòâåò» èëè «Ïðèâåäèòå àðãóìåíòû» ïðî- ñòî íåîáõîäèìû. Ýôôåêòèâíîå çàäàíèå ñ êðàòêèì îòâåòîì äîëæíî ñòàâèòü ÿñíóþ, îïðåäåëåííóþ çàäà÷ó, êîòîðàÿ ïðåäïîëàãàåò îïðåäåëåí- íûé îòâåò. Òàêîå çàäàíèå ïîçâîëÿåò ó÷àùèìñÿ ïðîäåìîíñòðè- ðîâàòü ñâîå âëàäåíèå íåîáõîäèìûì óìåíèåì äîñòàòî÷íî áûñò- ðî è ïîëíî. Ïðèìåð â äîïîëíèòåëüíîì ìàòåðèàëå 3.10 íå â ñîñòîÿíèè ðåàëèçîâàòü íè îäíó èç ýòèõ öåëåé. Ó÷àùèõñÿ íå ïðåäóïðåæäàþò, ÷òî îíè äîëæíû ñäåëàòü êîðîá- êó ñ ìàêñèìàëüíî âîçìîæíûìè ðàçìåðàìè. Îäíàêî ýòîò îòâåò ÿâëÿåòñÿ óñëîâèåì äëÿ ïîëó÷åíèÿ ìàêñèìàëüíîãî áàëëà – 3. Íèçêîå êà÷åñòâî çàäàíèÿ îáóñëîâëåíî òàêæå èçëèøíåé òðóäî- åìêîñòüþ. Êîëè÷åñòâî âðåìåíè, êîòîðîå ó÷àùèåñÿ äîëæíû ïî- òðàòèòü íà ïîèñê âàðèàíòîâ ñëîæåíèÿ êîðîáêè, ÷òîáû äîáèòüñÿ ïðàâèëüíîãî îòâåòà, íå âõîäèò â õàðàêòåðèñòèêè ïðî- âåðÿåìîãî óìåíèÿ. Íåîáõîäèìî óïðîñòèòü çàäà÷ó òàêèì îáðà- РАЗРАБОТКА ЗАДАНИЙ 67 Дополнительный материал 3.10 Пример не рамотно составленно о задания с рат им ответом От рытая ороб а должна быть сделана из прямо ольных листов артона со сторонами 150 см и 100 см, ис лючая вадраты равно о размера на аждом л и с помощью лей ой ленты для соединения раней. Ка о о размера вадрат Вы вырежете на л ? Приведите ар менты для вычис- ления это о размера. _____________________________________________________________ _____________________________________________________________ Критерий оцен и: число баллов – в диапазоне от 0 до 3. 3 балла: чащийся описывает вадрат со сторонами 20 см и ороб с размерами 110 см на 60 см на 20 см; та же объясняет, что ороб а это о размера имеет наибольш ю вместимость. 2 балла: описывает вадрат со сторонами 20 см, оторый вырезают на аждом л , но не дает объяснений. 1 балл: описывает любые возможные размеры вадрата со стороной меньше чем 50 см. ' 0 баллов: предла ает вадраты со сторонами большими, чем 50 см (неприемлемый размер). 9: проп с ает задание. çîì, ÷òîáû ó÷àùèåñÿ ìîãëè ïðîäåìîíñòðèðîâàòü ñîîòâåòñòâó- þùèå óìåíèÿ ìàêñèìàëüíî ýôôåêòèâíî. Åñëè èñïûòóåìûé ïî êàêîé-ëèáî ïðè÷èíå ïðîïóñêàåò çàäà- íèå (íàïðèìåð, èç-çà òðóäíîñòè èëè èç-çà îòñóòñòâèÿ â âûäàí- íîì òåñòîâîì áóêëåòå), òî çàäàíèþ ïðèñâàèâàåòñÿ êîä 9, êîòî- ðûé íå ÿâëÿåòñÿ îöåíêîé, à ïðîñòî ñâèäåòåëüñòâóåò î íàëè÷èè íåäîñòàþùèõ äàííûõ ïî òåñòó. Ïðîïóùåííûå äàííûå ïîäðîá- íî ðàññìàòðèâàþòñÿ â òðåòüåé êíèãå íàñòîÿùåé ñåðèè – «Ïðî- âåäåíèå íàöèîíàëüíîé îöåíêè ó÷åáíûõ äîñòèæåíèé». Çàäàíèÿ ñ êðàòêèì îòâåòîì äîëæíû áûòü ñôîðìóëèðîâàíû ÿñíî è ïðîñòî (ñì. äîïîëíèòåëüíûé ìàòåðèàë 3.11). Разработ а р оводств по оцен е заданий с частичным редитованием Íà íåêîòîðûå çàäàíèÿ òåñòà ñ êðàòêèìè îòâåòàìè ó÷àùèåñÿ ïðèâîäÿò ÷àñòè÷íî ïðàâèëüíûå îòâåòû, êîòîðûå ìîæíî îòíå- 68 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ Дополнительный материал 3.11 Пример рамотно составленно о за рыто о задания с онстр ир емым ответом Каждый челове роет ям в сад с одина овой с оростью. Один челове может за ончить рыть ям в сад через 12 часов. Два челове а мо т за ончить рыть т же сам ю ям в сад через 6 часов. Ка ое время потреб ется на рытье ямы четырем работни ам? ________ Ка ое время потреб ется на эт работ , если ее выполняют Х челове ? ________ ñòè ê äâóì èëè áîëåå êàòåãîðèÿì. Òàêèå çàäàíèÿ ïîëó÷èëè íà- çâàíèå «çàäàíèÿ ñ ÷àñòè÷íûì êðåäèòîâàíèåì». Ðóêîâîäñòâî ïî îöåíêå òàêèõ çàäàíèé äîëæíî äèôôåðåíöèðîâàòü ïîëíûå, òî÷- íûå èëè ñëîæíûå îòâåòû îò ÷àñòè÷íî ïðàâèëüíûõ. Ëó÷øèå îòâåòû çàñëóæèâàþò áîëåå âûñîêîé îöåíêè. Ïðèìåð â äîïîë- íèòåëüíîì ìàòåðèàëå 3.12 ñëóæèò ðóêîâîäñòâîì ïî îöåíêå çà- äàíèÿ ñ ÷àñòè÷íûì êðåäèòîâàíèåì (çà âûïîëíåíèå êîòîðîãî ìîæíî ïîëó÷èòü ìàêñèìàëüíóþ îöåíêó 3 áàëëà). Дополнительный материал 3.12 Задание с частичным редитованием Длина стороны вадрата –10 см. Нарис йте этот вадрат. Использ йте собственн ю линей . Ре омендации по оцен е 3 балла: чащийся рис ет вадрат с четырьмя сторонами длиной по 10 см и четырьмя прямыми лами. 2 балла: рис ет прямо ольни с дв мя длинами сторон 10 см и четырьмя прямыми лами. 1 балл: рис ет четырех ольни с дв мя длинами сторон по 10 см, но не с прямыми лами. 9: проп с ает задание. РАЗРАБОТКА ЗАДАНИЙ 69 Ñëåäóþùèå âèäû çàäàíèé ìîãóò îöåíèâàòüñÿ êàê çàäàíèÿ ñ ÷àñòè÷íûì êðåäèòîâàíèåì. Ó÷àùèõñÿ ïðîñÿò íàçâàòü äâå ïðè÷èíû õàðàêòåðíîãî ïîâå- äåíèÿ. Òå, êòî ñìîæåò ïðèâåñòè îáå ïðàâèëüíûå ïðè÷èíû, ïîëó÷àò 2 áàëëà, à òå, êòî âñïîìíèò òîëüêî îäíó, – 1 áàëë. Ó÷àùèåñÿ ïîëó÷àþò áîëåå âûñîêóþ îöåíêó çà áîëåå ãëóáî- êîå ïîíèìàíèå; íàïðèìåð, â òåñòå ïî ÷òåíèþ îöåíêà â 2 áàë- ëà îòðàæàåò óìåíèå èñïûòóåìîãî âèäåòü â ïðèâåäåííîì îòðûâêå èðîíèþ, òîãäà êàê îöåíêà â 1 áàëë äàåòñÿ çà áóê- âàëüíîå ïîíèìàíèå òåêñòà. Îöåíêà 2 áàëëà ñòàâèòñÿ çà âåðíóþ èäåíòèôèêàöèþ è ïðè- ÷èí, è ñëåäñòâèé, òîãäà êàê 1 áàëë – çà ïðàâèëüíóþ èäåíòè- ôèêàöèþ òîëüêî îäíîé èç âûøåíàçâàííûõ êàòåãîðèé.  ìàòåìàòèêå 3 áàëëà äàþòñÿ çà ïðàâèëüíîå ðåøåíèå çàäà- ÷è è îáúÿñíåíèå ñïîñîáà ðåøåíèÿ, 2 áàëëà – çà ïðàâèëüíîå ðåøåíèå áåç îáúÿñíåíèÿ, à 1 áàëë ñòàâèòñÿ, êîãäà ïðè âåð- íî âûáðàííîì ñïîñîáå ðåøåíèÿ ïîëó÷åí íåïðàâèëüíûé ðåçóëüòàò âû÷èñëåíèé. Íåîáõîäèìî óñòàíîâèòü ÷åòêîå ðàçëè÷èå ìåæäó ïîëíîé îöåí- êîé è ÷àñòè÷íûì êðåäèòîâàíèåì. Òàêæå íóæíî óáåäèòüñÿ â òîì, ÷òî îòâåòû, îöåíèâàåìûå â 1 áàëë, ïðèâåäåííûå â ðóêîâîäñòâå ïî îöåíèâàíèþ, íå ÿâëÿþòñÿ ïëîõî ñôîðìóëèðîâàííûìè èëè ñîêðàùåííûìè âåðñèÿìè òåõ îòâåòîâ, êîòîðûå îöåíèâàþòñÿ â 2 èëè 3 áàëëà. Òàêæå âàæíî óñòàíîâèòü ðàçëè÷èÿ ìåæäó îòâåòà- ìè, çà êîòîðûå äàåòñÿ 1 áàëë, è ïîëíîñòüþ íåâåðíûìè îòâåòà- ìè. Çà÷àñòóþ ñäåëàòü ýòî áûâàåò âåñüìà òðóäíî. Ñëåäóþùèå ïðèìåðû ïîêàçûâàþò, ÷òî îòêðûòûå çàäàíèÿ ñ êðàòêèìè îòâåòàìè íå âñåãäà ïîçâîëÿþò ââåñòè ÷àñòè÷íîå êðå- äèòîâàíèå ïðè îöåíèâàíèè. Íàïðèìåð, â çàäàíèè äîïîëíèòåëü- íîãî ìàòåðèàëà 3.13 ó÷àùèåñÿ ìîãóò äàòü ìíîæåñòâî îòâåòîâ è ïîëó÷èòü îöåíêè 1 áàëë èëè 0 áàëëîâ. Íåîáõîäèìî ïðîâåñòè ïðåäâàðèòåëüíóþ ïðîâåðêó çàäàíèé ñ ÷àñòè÷íûì êðåäèòîâàíèåì, ÷òîáû óáåäèòüñÿ â òîì, ÷òî ïðåä- ëàãàåìûå êàòåãîðèè îöåíîê ïî êàæäîìó çàäàíèþ ÿâëÿþòñÿ ñòà- òèñòè÷åñêè óñòîé÷èâûìè (ñì. ãëàâó 5). Ïðèìåð çàäàíèÿ ñ êðàò- êèì îòâåòîì ñ íå÷åòêèì ðóêîâîäñòâîì ïî âûñòàâëåíèþ áàëëà 70 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ Дополнительный материал 3.13 Пример от рыто о задания с рат им ответом с р оводством по оцен е Джон и Май л находят дерево с 400 плодами ман о. Джон оворит, что Май ла есть шанс 160% на попадание в плод ман о. Вы со ласны или не со ласны с Джоном? До ажите свою точ зрения. ____________________________________________________________ ____________________________________________________________ Р оводство по оцен е 1 балл: чащийся не со лашается и объясняет свое несо ласие предель- ной величиной процентов; не со лашается, потом что невозможно пол чить 160%; не со лашается, потом что это невозможно; не со лашается, потом что 100% – ма симально возможная величина. 0 баллов: со лашается (с объяснениями или без них); не со лашается, но не связывает свой ответ с предельной вели- чиной процентов; не со лашается, потом что на дереве есть больше чем 160 ман о. 9: проп с ает задание. Источни : Филиппинс ий отдел образования, 2004. ïðåäñòàâëåí â äîïîëíèòåëüíîì ìàòåðèàëå 3.14.  ïðåäâàðèòåëü- íîì òåñòèðîâàíèè ó÷àùèåñÿ, îòâåòèâøèå «80%» èëè «80 ïðî- öåíòîâ», ïîëó÷èëè 2 áàëëà, à òå, êòî îòâåòèë ïðîñòî «80», – 1 áàëë. Ñòàòèñòèêà ïîêàçàëà, ÷òî ó ó÷àùèõñÿ, êîòîðûå ïîëó÷è- ëè çà ýòî çàäàíèå 2 áàëëà, ñðåäíÿÿ îöåíêà ïî ìàòåìàòè÷åñêîìó òåñòó áûëà íàìíîãî âûøå, ÷åì ó ó÷àùèõñÿ, ïîëó÷èâøèõ 1 áàëë. Ïîñëåäíèå ïîëó÷èëè ïðèìåðíî òå æå ñðåäíèå îöåíêè, êàê è òå, êòî âûïîëíèë çàäàíèå íåâåðíî è çàðàáîòàë 0 áàëëîâ. Áëàãî- äàðÿ äàííîé èíôîðìàöèè, ïîëó÷åííîé â õîäå ïðåäâàðèòåëü- íîãî òåñòèðîâàíèÿ, áûëè âíåñåíû èçìåíåíèÿ â ðóêîâîäñòâî ïî îöåíêå: 1 áàëë âûñòàâëÿëñÿ ó÷àùèìñÿ, êîòîðûå îòâåòèëè «80%» èëè «80 ïðîöåíòîâ», à 0 áàëëîâ – òåì, êòî îòâåòèë «80» èëè äàë äðóãîé íåäîïóñòèìûé îòâåò. РАЗРАБОТКА ЗАДАНИЙ 71 Дополнительный материал 3.14 Пример за рыто о задания с онстр ир емым ответом и р оводство по оцен е Дерево Ман о Май л проб ет сбить плоды ман о на своей ферме с помощью ро ат и. Если на дереве есть 50 плодов ман о, то е о шанс на попадание со- ставляет 20%. Если число плодов ман о дваивается, то е о шанс на попадание та же дваивается. Оцените шанс Май ла на попадание в плод ман о, если на дереве име- ется 200 плодов ман о. ____________________________________________ Р оводство по оцен е 1 балл: 80% или 80 процентов 0 баллов: любой др ой ответ, в лючая «80» без азания «%» или «процентов» 9: проп с ает задание. Источни : Филиппинс ий отдел образования, 2004. Написание заданий для юнитов Þíèòàìè íàçûâàþò ãðóïïû çàäàíèé ñ îáùèì ñòèìóëîì. Þíèò ìîæåò ñîäåðæàòü êðàòêèé ðàññêàç èëè ãðàôèê, ñîïðîâîæäàå- ìûé ðÿäîì âîïðîñîâ. Îñíîâíûå ïðèíöèïû íàïèñàíèÿ çàäàíèé ñ ìíîæåñòâåííûì âûáîðîì èëè ñ êðàòêèì îòâåòîì ïðèìåíè- ìû è ê çàäàíèÿì þíèòîâ. Ïðè ïðîåêòèðîâàíèè çàäàíèé, îñíîâàííûõ íà þíèòàõ, íå- îáõîäèìî ó÷åñòü ñëåäóþùèå ìîìåíòû. Çàäàíèÿ äîëæíû áûòü íåçàâèñèìûìè äðóã îò äðóãà. Ïðà- âèëüíûé îòâåò íà îäíî èç íèõ íå äîëæåí çàâèñåòü îò òîãî, ïðàâèëüíî ëè âûïîëíåíû äðóãèå çàäàíèÿ. Çàäàíèÿ íå äîë- æíû ïîäìåíÿòü äðóã äðóãà. Êàæäîå çàäàíèå äîëæíî îöåíè- âàòü ñâîé ÷åòêî äèôôåðåíöèðóåìûé àñïåêò ñòèìóëà. Çàäàíèÿ äîëæíû îöåíèâàòü îïðåäåëåííûé äèàïàçîí êîíê- ðåòíûõ óìåíèé. Íàïðèìåð, çàäàíèÿ íå äîëæíû íåîäíîêðàò- íî îöåíèâàòü ïîèñê íåïîñðåäñòâåííî óñòàíàâëèâàåìîé èí- ôîðìàöèè èëè ãëàâíîé èäåè â êàæäîì ðàçäåëå ñòèìóëà. 72 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ Þíèò äîëæåí âêëþ÷àòü çàäàíèÿ ðàçíûõ óðîâíåé òðóäíîñòè, íà÷èíàÿ, êàê ïðàâèëî, ñ ñàìîãî ëåãêîãî. Èíôîðìàöèÿ, ïðèâîäèìàÿ â îñíîâíîé ÷àñòè çàäàíèÿ èëè âàðèàíòàõ îòâåòîâ, íå äîëæíà ïîìîãàòü èñïûòóåìîìó ïðè âûïîëíåíèè äðóãîãî çàäàíèÿ. Çàäàíèÿ äîëæíû îöåíèâàòü çíà÷èìûå àñïåêòû ñòèìóëà è èñêëþ÷àòü òå, ÷òî ÿâëÿþòñÿ òðèâèàëüíûìè. Çàäàíèÿ äîëæíû áûòü ðàñïîëîæåíû íà òîé æå ñàìîé ñòðàíè- öå, ÷òî è þíèò, èëè íà ðàçâîðîòå (â ñëó÷àå äëèííîãî ñòèìóëà). Þíèòû ñ âîñüìüþ èëè áîëüøèì ÷èñëîì ñâÿçàííûõ ñ íèìè çàäàíèé èìåþò òåíäåíöèþ ê íåêîòîðîìó äóáëèðîâàíèþ, ïîäìå- íå äðóã äðóãà èëè òðèâèàëüíîñòè. Íåêîòîðûå çàäàíèÿ ìîãóò áûòü óäàëåíû âî âðåìÿ ïðåäâàðèòåëüíîé ýêñïåðòèçû. Èëè êîìàíäà ïî ðàçðàáîòêå òåñòà ìîæåò ðàçðàáîòàòü äâà âàðèàíòà ïðåäâàðè- òåëüíîãî òåñòà – áëàãîäàðÿ èñïîëüçîâàíèþ ïîëîâèíû çàäàíèé þíèòà â îäíîì âàðèàíòå, à îñòàâøåéñÿ ÷àñòè – âî âòîðîì. ТРЕНИРОВОЧНЫЕ ЗАДАНИЯ Òðåíèðîâî÷íûå çàäàíèÿ ïîìîãàþò ïîëó÷èòü ãàðàíòèè òîãî, ÷òî ó÷àùèåñÿ íå ïîëó÷èëè çàíèæåííûå áàëëû èç-çà íåäîñòàòî÷íî- ãî çíàêîìñòâà ñ ôîðìîé çàäàíèé è ñïîñîáàìè îòâåòà íà íèõ. Îáû÷íî àäìèíèñòðàòîð ïî òåñòèðîâàíèþ ïðåäúÿâëÿåò òðåíè- ðîâî÷íûå çàäàíèÿ â ñîîòâåòñòâèè ñ îïðåäåëåííûìè èíñòðóê- öèÿìè èç ðóêîâîäñòâà ïî ïðèìåíåíèþ òåñòà. Åñëè â òåñòå åñòü çàäàíèÿ ñ êðàòêèì îòâåòîì, òî îñîáåííî âàæíî, ÷òîáû ó÷àùèåñÿ ïîíèìàëè, êàêîãî ðîäà îòâåòîâ îò íèõ æäóò. Ó÷àùèìñÿ íåîáõîäèìî îáúÿñíèòü, ñêàæåì, êóäà âïèñàòü íåäîñòàþùåå ÷èñëî, ÷òîáû çàâåðøèòü ïîñëåäîâàòåëüíîñòü ÷è- ñåë, èëè êàêîé îáúåì äîëæåí èìåòü òåêñò, êîòîðûé òðåáóåòñÿ äëÿ îáúÿñíåíèÿ îòâåòà ê çàäàíèþ. Îáÿçàòåëüíî íóæíî ïîä÷åð- êíóòü, ÷òî ãðàììàòè÷åñêèå èëè îðôîãðàôè÷åñêèå îøèáêè íå ñíèçÿò êîíå÷íûé ðåçóëüòàò, åñëè ïðàâèëüíîñòü íàïèñàíèÿ òåê- ñòà íå ÿâëÿåòñÿ ïðåäìåòîì èçìåðåíèÿ. Èíñòðóêöèÿ äîëæíà áûòü íàïèñàíà òàêèì îáðàçîì, ÷òîáû, ïðî÷èòàâ åå, ó÷àùèåñÿ ïîñòàðàëèñü áû îòâåòèòü íà âñå çàäàíèÿ òåñòà. РАЗРАБОТКА ЗАДАНИЙ 73 Òðåíèðîâî÷íûå âîïðîñû äîëæíû ðàçðàáàòûâàòüñÿ äëÿ âñåõ ôîðì çàäàíèé. Ïî ýòîé ïðè÷èíå òðåíèðîâî÷íûå âîïðîñû îáû÷íî ñîñòàâëÿþòñÿ íà ôèíàëüíîì ýòàïå ðàçðàáîòêè òåñòà, êîãäà âñå âèäû âîïðîñîâ, êîòîðûå áóäóò â òåñòå, óæå èçâåñòíû. Íåîáõîäèìî ñäåëàòü ïðàêòè÷åñêèå çàäàíèÿ ìàêñèìàëüíî ëåã- êèìè; íàïðèìåð, ó÷àùèõñÿ ìîæíî ïîïðîñèòü óêàçàòü îòâåò íà çàäàíèå 2 + 2 íà ëèíèè, èçîáðàæåííîé ðÿäîì ñ ñóììîé: 2 + 2 = _________. Àêöåíò äåëàåòñÿ èìåííî íà òîì, êàê ó÷àùèåñÿ äîëæíû ïî- êàçàòü òðåíèðîâî÷íûå çàäàíèÿ èëè ïðèâåñòè ñâîè îòâåòû.  õîäå ýêñïåðòèçû çàäàíèé íóæíî ðàññìîòðåòü âñå òðåíè- ðîâî÷íûå çàäàíèÿ, êîòîðûå òàêæå ïîäëåæàò àïðîáàöèè. Åñëè èñïîëüçóþòñÿ íåñêîëüêî âàðèàíòîâ ïðåäâàðèòåëüíîãî òåñòà, òå æå ñàìûå òðåíèðîâî÷íûå çàäàíèÿ äîëæíû èñïîëüçîâàòüñÿ ñ êàæäîé ôîðìîé òåñòà. РАСПОЛОЖЕНИЕ И ДИЗАЙН ЗАДАНИЙ Âàæíóþ ðîëü äëÿ ÿñíîñòè òåñòà èãðàþò ãðàìîòíîå ðàñïîëîæå- íèå è äèçàéí çàäàíèé. Ó÷àùèåñÿ, ñêîðåå âñåãî, áóäóò âûïîëíÿòü òå çàäàíèÿ, êîòîðûå õîðîøî ÷èòàþòñÿ è ïîòîìó ëåãêè äëÿ âîñ- ïðèÿòèÿ. Ðàçðàáîò÷èêè òåñòîâ äîëæíû âûáðàòü ñîãëàñîâàí- íûé, «ïðèÿòíûé» ñòèëü ðàñïîëîæåíèÿ çàäàíèé. Äëÿ ýòîãî íå- îáõîäèìà ïîìîùü ïðîôåññèîíàëüíûõ äèçàéíåðîâ è âåðñòàëüùèêîâ. Основные принципы Íèæå ïðèâåäåíû íåñêîëüêî âàæíûõ ïðèíöèïîâ äëÿ óñïåøíî- ãî ðàñïîëîæåíèÿ çàäàíèé è äèçàéíà òåñòà. Äëÿ íóìåðàöèè çàäàíèé èñïîëüçóéòå êðóïíûé øðèôò (íàïðè- ìåð, 36). Ýòî îáëåã÷èò èñïûòóåìûì îðèåíòàöèþ â òåñòå. Îñòàâëÿéòå äëÿ îòâåòà äîñòàòî÷íî ñâîáîäíîãî ìåñòà. (Ýòî îñîáåííî âàæíî äëÿ ó÷àùèõñÿ íà÷àëüíûõ êëàññîâ øêîëû, ó êîòîðûõ ìîæåò áûòü êðóïíûé ïî÷åðê.) 74 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ Îñòàâëÿéòå ìåæäó çàäàíèÿìè ñâîáîäíîå ïðîñòðàíñòâî, ÷òî- áû ó÷àùèåñÿ âèäåëè, ãäå çàêàí÷èâàåòñÿ îäíî è íà÷èíàåòñÿ äðóãîå. Ïîêàæèòå ó÷àùåìóñÿ ïðèìåðíóþ äëèíó îæèäàåìîãî îò íåãî îòâåòà ñ ïîìîùüþ îòâåäåííîé äëÿ íåãî ëèíèè. Åñëè îíà êî- ðîòêàÿ, òî îòâåòèòü íà âîïðîñ ìîæíî îäíèì ñëîâîì. Äâå-òðè ñòðîêè, îñòàâëåííûå äëÿ îòâåòà, ãîâîðÿò î òîì, ÷òî ó÷àùå- ìóñÿ íåîáõîäèìî íàïèñàòü îäíî èëè íåñêîëüêî ïðåäëîæåíèé. Ïðèñâîéòå êàæäîìó çàäàíèþ óíèêàëüíóþ ìåòêó è ðàçìåñòè- òå åå ñëåâà îò íîìåðà çàäàíèÿ. Æåëàòåëüíî èñïîëüçîâàòü ìåëêèé øðèôò. Òàêàÿ ìåòêà ãàðàíòèðóåò òî÷íîñòü èíôîð- ìàöèè ïðè íàáëþäåíèè çà çàäàíèåì. Âåäü íîìåð çàäàíèÿ ìîæåò ìåíÿòüñÿ, îñîáåííî åñëè îíî ïîÿâëÿåòñÿ â òåñòîâûõ áóêëåòàõ ìíîãîêðàòíî. Áóäüòå ïîñëåäîâàòåëüíû â èñïîëüçîâàíèè êàâû÷åê, êóðñè- âà, ïîä÷åðêèâàíèÿ, ïðîïèñíûõ áóêâ è âûäåëåíèé ïîëóæèð- íûì íà÷åðòàíèåì (ñîáëþäàéòå óíèôèêàöèþ). Ïîçàáîòüòåñü î òîì, ÷òîáû îñîáåííîñòè äèçàéíà è ðàñïî- ëîæåíèÿ ïðåäòåñòîâûõ çàäàíèé áûëè êàê ìîæíî áëèæå ê ïðåäñòàâëåíèþ çàäàíèé â îêîí÷àòåëüíîì âàðèàíòå. (Ïðåä- òåñòîâûìè íàçûâàþò àâòîðñêèå çàäàíèÿ, íå ïðîøåäøèå ýì- ïèðè÷åñêóþ ïðîâåðêó è íå îáëàäàþùèå óñòîé÷èâûìè ñòà- òèñòè÷åñêèìè õàðàêòåðèñòèêàìè (ñì.: ×åëûøêîâà Ì.Á . Êîíñòðóèðîâàíèå è ïðèìåíåíèå ïåäàãîãè÷åñêèõ òåñòîâ. Ì.: Ëîãîñ, 2001). – Ïðèìå÷. ðåä.) Èçìåíåíèÿ â äèçàéíå è ðàñïî- ëîæåíèè çàäàíèé ìîãóò ïîâëèÿòü íà èõ òðóäíîñòü. Качество изображений Èëëþñòðàöèè, èñïîëüçóåìûå â òåñòå, äîëæíû áûòü ÿñíûìè, ÷åòêèìè, à çàãîëîâêè è ïîäðèñóíî÷íûå ïîäïèñè – ïðîñòûìè è ïîíÿòíûìè. Æåëàòåëüíî, ÷òîáû èçîáðàæåíèÿ áûëè ïîäãîòîâ- ëåíû ïðîôåññèîíàëîì. Ñêàíèðîâàííûå èëè âçÿòûå èç Èíòåð- íåòà ðèñóíêè èìåþò íèçêîå êà÷åñòâî. Ôîòîãðàôèè òàêæå íå ïîäõîäÿò, ïîòîìó ÷òî èõ èñïîëüçîâàíèå óâåëè÷èâàåò ñòîèìîñòü ïå÷àòè. Âîîáùå, ãðàôè÷åñêèé äèçàéíåð äîëæåí ïåðåðèñîâû- âàòü ôîòîãðàôèè. ×òîáû äîñòè÷ü åäèíîîáðàçíîãî è ãàðìîíè÷- РАЗРАБОТКА ЗАДАНИЙ 75 Дополнительный материал 3.15 Использование рис н ов для со ращения форм лирово След ющий рис но описывает на чный э сперимент намно о л чше, чем это мо бы сделать мно ословный те ст. Ка ая часть растения пол чает больше все о воды? Часть A Часть B Часть C A Часть A B Часть B Часть D C Часть C D Часть D Источни : Межд народная ассоциация по эвалюации образовательных достижений, 2007, пример задания. íîãî îôîðìëåíèÿ, öåëåñîîáðàçíî ïðèâëåêàòü îäíîãî è òîãî æå ñïåöèàëèñòà. Èëëþñòðàöèè ñëåäóåò èñïîëüçîâàòü íàñòîëüêî ÷àñòî, íà- ñêîëüêî ýòî âîçìîæíî. Îíè ïîìîãàþò ñäåëàòü çàäàíèå áîëåå íàãëÿäíûì, êðàòêèì è ïîíÿòíûì (ñì. äîïîëíèòåëüíûé ìàòå- ðèàë 3.15). ×åì ðèñóíîê ïðîùå, òåì âûøå åãî ýôôåêòèâíîñòü. Èçîáðàæåíèå äîëæíî îòðàæàòü ñóòü çàäàíèÿ (ñì. äîïîëíèòåëü- íûé ìàòåðèàë 3.16). Îíî íå äîëæíî áûòü ñëèøêîì «íàòóðàëü- íûì». Ïðåäïî÷òåíèå æåëàòåëüíî îòäàâàòü ñïëîøíûì ëèíèÿì, à ÷àñòîãî èñïîëüçîâàíèÿ ïóíêòèðà ñëåäóåò èçáåãàòü. Ãðàôèêè è êàðòû äîëæíû áûòü èçîáðàæåíû ÷åòêî è ïîñëå- äîâàòåëüíî (ñì. äîïîëíèòåëüíûå ìàòåðèàëû 3.17 è 3.18). Ñâîáîäíîå ìåñòî íà ðèñóíêå îáëåã÷àåò ïðî÷òåíèå ìàòåðè- àëà ñòèìóëà (ñì. äîïîëíèòåëüíûé ìàòåðèàë 3.19). Ïðèíèìàÿ ðåøåíèå îòíîñèòåëüíî ðàçìåðà øðèôòà, äèçàé- íåðàì òåñòà ñëåäóåò ïðèäåðæèâàòüñÿ ñëåäóþùèõ ðåêîìåíäàöèé. Èñïîëüçóéòå êåãëü 14 â çàäàíèÿõ äëÿ ó÷àùèõñÿ 3-õ è 4-õ êëàñ- ñîâ è 12 – â çàäàíèÿõ äëÿ ó÷àùèõñÿ ñòàðøèõ êëàññîâ. 76 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ Дополнительный материал 3.16 Принцип простоты изображения Этот рис но представляет сложн ю систем простым способом Источни : Филиппинс ий отдел образования, 2004. Дополнительный материал 3.17 Чет ая мар иров а изобразительно о материала Ясные и последовательные обозначения, подобные тем, оторые пред- ставлены на след ющей иллюстрации, помо т чащимся быстро понять сложные вопросы: Эта таблица по азывает температ р в различное время на протяжении четырех дней. В а ой день и а ое время температ ра, по азанная в таблице, та ая же, а на термометре? Температура 6.00 9.00 Полдень 15.00 18.00 Понедельник 15° 17° 24° 21° 16° Вторник 20° 16° 15° 10° 9° Среда 8° 14° 16° 19° 15° Четверг 8° 11° 19° 26° 20° Термометр A. Понедельни , полдень B. Вторни , 6.00 C. Среда, 3.00 D. Четвер , 15.00 Источни : М ллис (Mullis) и др., 2000. Óìåíüøàéòå øèðèíó òåêñòîâ ñòèìóëîâ ïðèáëèçèòåëüíî äî 10–14 ñëîâ â ñòðîêå. Óáåäèòåñü, ÷òî óïîòðåáëåíèå ïóíêòèðíûõ ëèíèé íå âíîñèò íåÿñíîñòè. Íå ïîçâîëÿéòå, ÷òîáû îäíî ñëîâî îêàçûâàëîñü íà îäíîé ñòðîêå. РАЗРАБОТКА ЗАДАНИЙ 77 Дополнительный материал 3.18 Ясные обозначения на артах Необходимо позаботиться о ясных обозначениях названий на артах. На след ющей арте названия онтинентов приведены прописными б ва- ми, в то время а для обозначения о еанов использ ют строчные б вы: Северный Ледовитый о еан АЗИЯ ЕВРОПА СЕВЕРНАЯ АМЕРИКА Атлантичес ий Тихий о еан Тихий о еан АФРИКА о еан Э ватор ЮЖНАЯ АМЕРИКА Индийс ий о еан АВСТРАЛИЯ Области, де жив т дю они Источни : Департамент образования Пап а – Новой Гвинеи, 2004. Âàðèàíòû îòâåòîâ äëÿ âûáîðà äîëæíû áûòü ïðèâåäåíû ïîñ- ëåäîâàòåëüíî. Êàæäûé âàðèàíò ñëåäóåò îïðåäåëèòü. Ðåêîìåí- äóåòñÿ ñëåäóþùèå âàðèàíòû ðàñïîëîæåíèÿ: âåðòèêàëüíîå: âàðèàíòû ïðèâåäåíû ñâåðõó âíèç: A B C D ãîðèçîíòàëüíîå: âàðèàíòû ñëåäóþò ñëåâà íàïðàâî: A B C D Òàê ìîãóò âûãëÿäåòü äâà ñòîëáöà, â êîòîðûõ âàðèàíòû îòâå- òîâ ðàñïîëîæåíû ñâåðõó âíèç: A C B D 78 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ Дополнительный материал 3.19 Роль свободно о пространства для понимания материала стим ла Расположение элементов на этом рис н е обеспечивает добочитаемость материала стим ла. Фи ра выше изображает ороб , оторая содержит твердое тело, жид- ость или аз. Затем содержимое поместили в ороб , больш ю по раз- мер в 4 раза. А. Посмотрите на рис н и ниже. Они по азывают, а различные материа- лы б д т вы лядеть, если их переместят в больш ю ороб . Установите, на а ом рис н е изображено твердое тело, на а ом – жид- ость и на а ом – аз. (Напишите слова твердое тело, жид ость или аз на линии слева и ниже рис н а. Использ йте аждое слово толь о один раз.) В. Свой ответ объясните Источни : Межд народная ассоциация по эвалюации образовательных достижений, 2007, пример задания. РАЗРАБОТКА ЗАДАНИЙ 79 КОМАНДА, ПИШУЩАЯ ЗАДАНИЯ Êîìàíäó àâòîðîâ çàäàíèé âîçãëàâëÿåò ìåíåäæåð ïî ðàçðàáîò- êå òåñòîâ. Îí èëè îíà êîíòðîëèðóåò âåñü ïðîöåññ ñ íà÷àëà ðà- áîòû, ïðåäâàðèòåëüíîãî òåñòèðîâàíèÿ è îòáîðà çàäàíèé äëÿ îêîí÷àòåëüíîãî òåñòèðîâàíèÿ. Ìåíåäæåð ïî ðàçðàáîòêå òåñ- òîâ äîëæåí îáëàäàòü îòëè÷íûìè êîììóíèêàòèâíûìè íàâûêà- ìè è îðãàíèçàöèîííûìè ñïîñîáíîñòÿìè.  åãî îáÿçàííîñòè âõîäèò: ïîäáîð êîìàíäû àâòîðîâ çàäàíèé; îáåñïå÷åíèå ïðèíÿòèÿ ïðîåêòà òåñòà àâòîðàìè; ÷èñòêà ïðîåêòà; ðàçðàáîòêà ïðàâèë èëè ïðîòîêîëîâ ïðåäñòàâëåíèÿ, êëàññè- ôèêàöèè è ñîõðàíåíèÿ çàäàíèé; ïðåäîñòàâëåíèå àâòîðàì èíôîðìàöèè î êîëè÷åñòâå ìåñòà íà ñòðàíèöå, êîòîðîå çàäàíèÿ ìîãóò çàíÿòü; ìîíèòîðèíã ïðîöåññà ýêñïåðòèçû çàäàíèé; ìîíèòîðèíã ðàçðàáîòêè íîâûõ çàäàíèé è èõ óñîâåðøåíñòâî- âàíèÿ ïî ñðàâíåíèþ ñ ïðîåêòîì òåñòà; ðàññìîòðåíèå çàäàíèé ñ ýêñïåðòíûìè ãðóïïàìè èëè êëþ- ÷åâûìè çàèíòåðåñîâàííûìè ëèöàìè; ìîíèòîðèíã êà÷åñòâà çàäàíèé; îòñëåæèâàíèå âûïîëíåíèÿ çàïëàíèðîâàííîãî ãðàôèêà ðàç- ðàáîòêè çàäàíèé; ðåãèñòðàöèÿ äåòàëåé ðàçðàáîòêè çàäàíèé, âêëþ÷àÿ èñòîðèþ ïðåäâàðèòåëüíîãî òåñòèðîâàíèÿ è èçìåíåíèÿ, ïðîèçâåäåí- íûå âî âðåìÿ àíàëèçà çàäàíèé; îáåñïå÷åíèå ïîëíîãî îòðàæåíèÿ ïðîåêòà â îêîí÷àòåëüíîé âåðñèè òåñòà. Íàïèñàíèå çàäàíèé òðåáóåò âíèìàíèÿ ê äåòàëÿì, òâîð÷åñ- êîãî ïîòåíöèàëà, èíòåëëåêòóàëüíîé ñòðîãîñòè, ãëóáîêîãî çíà- íèÿ ñîäåðæàíèÿ è õîðîøåãî ïîíèìàíèÿ óðîâíÿ ðàçâèòèÿ ó÷à- ùèõñÿ.  èäåàëå àâòîðû çàäàíèé äîëæíû îáëàäàòü ñëåäóþùèìè êà÷åñòâàìè. Îíè ïðîÿâëÿþò èíèöèàòèâó è ãîòîâíîñòü ïðîâîäèòü ìàñøòàá- íûé ïîèñê èíòåðåñíûõ ìàòåðèàëîâ äëÿ ñòèìóëîâ è â ñîñòîÿ- 80 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ íèè ðàçðàáîòàòü âûñîêîêà÷åñòâåííûé ìàòåðèàë ñàìîñòîÿ- òåëüíî. Îíè ìîãóò óñòàíîâèòü îáðàòíóþ ñâÿçü è êîììåíòèðîâàòü ðàáîòó äðóãèõ àâòîðîâ çàäàíèé ñ äîñòàòî÷íîé ñòåïåíüþ êðè- òèêè. Îíè ñòðåìÿòñÿ ê ïðåâîñõîäíîìó âûïîëíåíèþ ðàáîòû è, ðàç- ðàáàòûâàÿ è ñîâåðøåíñòâóÿ çàäàíèÿ, óäåëÿþò âíèìàíèå äå- òàëÿì. Äëÿ îòáîðà àâòîðîâ íåîáõîäèìî ïðîâåñòè ñîáåñåäîâàíèå. Îáû÷íî ïðåòåíäåíòàì äàåòñÿ 30 ìèíóò äëÿ íàïèñàíèÿ çàäàíèé, êîòîðûå îñíîâàíû íà ìàòåðèàëàõ ñòèìóëîâ. ×àñòî ýòà ïðîâåð- êà ñîïðîâîæäàåòñÿ èíòåðâüþ, âî âðåìÿ êîòîðîãî ó ïîòåíöèàëü- íûõ àâòîðîâ ñïðàøèâàþò, êàêèìè êðèòåðèÿìè ïðè íàïèñàíèè çàäàíèé îíè ðóêîâîäñòâîâàëèñü. Ãðóïïîâîå èíòåðâüþ ïðåäíà- çíà÷àåòñÿ äëÿ îöåíêè óìåíèÿ ïðåòåíäåíòîâ ïðèíèìàòü êðèòè- ÷åñêèå çàìå÷àíèÿ ïî ñâîåé ðàáîòå. Èäåàëüíûé âàðèàíò – êîãäà îïûòíûå àâòîðû çàäàíèé îáó- ÷àþò íîâè÷êîâ. Åñëè òàêîâûõ â äàííîé ñòðàíå íåò, òî öåëåñî- îáðàçíî ïðèâëåêàòü â êà÷åñòâå êîíñóëüòàíòîâ ñïåöèàëèñòîâ èç- çà ðóáåæà. Îíè ìîãëè áû ïðîâîäèòü ó÷åáíûå ñåññèè, äåëàòü îáçîð ïðîöåññà ðàçðàáîòêè çàäàíèé èëè âûïîëíÿòü òî è äðó- ãîå îäíîâðåìåííî. Òîëüêî äîëãàÿ óïîðíàÿ ðàáîòà íà ïðîòÿæå- íèè íåñêîëüêèõ ìåñÿöåâ ïîçâîëèò íîâûì àâòîðàì äîñòè÷ü òîãî óðîâíÿ ìàñòåðñòâà, êîãäà îíè ñàìè íà÷íóò ïðîèçâîäèòü çàäà- íèÿ ïðèåìëåìîãî êà÷åñòâà.  õîäå îáó÷åíèè äîëæíû áûòü îñâåùåíû ñëåäóþùèå âîï- ðîñû. Êàêîâà îáùàÿ öåëü òåñòà? Êàêîâû ñîîòâåòñòâóþùèå êîíòåêñòû ñòèìóëà äëÿ çàäàíèé? Ê êàêèì ðàçäåëàì ó÷åáíîãî ïëàíà îáðàùåí òåñò?  êàêîé ïðîïîðöèè äîëæíû áûòü ðàñïðåäåëåíû çàäàíèÿ ïî ðàçíûì ðàçäåëàì ó÷åáíîãî ïëàíà? Êàêîé ÿçûê (èëè ÿçûêè) áóäåò èñïîëüçîâàòüñÿ? Êàêîâ ïîäõîäÿùèé óðîâåíü ñëîæíîñòè ëåêñèêè è ãðàììà- òèêè? РАЗРАБОТКА ЗАДАНИЙ 81 Êàêèå ôîðìû çàäàíèé áóäóò èñïîëüçîâàòüñÿ è â êàêîì ñîîò- íîøåíèè? Êàêîâû õàðàêòåðèñòèêè ïóáëèêóåìûõ ìàòåðèàëîâ (÷èñëî ñòðàíèö â òåñòîâîì áóêëåòå, ôîðìàò, ÷èñëî çàäàíèé íà ñòðà- íèöå)? Ñêîëüêî çàäàíèé áóäåò ïðåäëîæåíî äëÿ îêîí÷àòåëüíîé âåð- ñèè òåñòà? Ñêîëüêî çàäàíèé äîëæíî áûòü ðàçðàáîòàíî? Êàê áóäåò àíàëèçèðîâàòüñÿ ïðîåêò òåñòîâûõ çàäàíèé? Êàêîé ñðîê îòâîäèòñÿ íà ðàçðàáîòêó, ïðåäâàðèòåëüíîå òåñ- òèðîâàíèÿ è îòáîð îêîí÷àòåëüíûõ âàðèàíòîâ òåñòà? Ñëåäóåò ëè ïðè ïîäáîðå ìàòåðèàëà ñòèìóëà è ðàçðàáîòêå çàäàíèé ðàññìàòðèâàòü êóëüòóðíûå àñïåêòû èëè îãðàíè÷å- íèÿ, ñâÿçàííûå ñ îñîáåííîñòÿìè îòäåëüíûõ ãðóïï èñïûòó- åìûõ? Àâòîðû çàäàíèé äîëæíû âûðàáîòàòü åäèíóþ òî÷êó çðåíèÿ ïî âñåì ïåðå÷èñëåííûì âîïðîñàì. Íåîáõîäèì ïîñëåäîâàòåëü- íûé êîíòðîëü çà ñâîåé ñîáñòâåííîé ðàáîòîé è ðàáîòîé ñâîèõ êîëëåã. Ó âñåõ àâòîðîâ äîëæíû áûòü êîïèè îêîí÷àòåëüíîãî âàðèàíòà òåñòà è îáùåå ïðåäñòàâëåíèå î åãî ñîäåðæàíèè. Äåòàëüíîå âíèìàíèå ê ñòèëþ çàäàíèé â ñàìîì íà÷àëå ðàáî- òû ïîçâîëèò ñýêîíîìèòü ìíîãî âðåìåíè â äàëüíåéøåì. Ìåíåä- æåð ïî ðàçðàáîòêå òåñòîâ äîëæåí ïðåäëîæèòü àâòîðàì ñïåöè- àëüíóþ òàáëèöó ñòèëåé, êîòîðàÿ ïîìîæåò òî÷íî îïðåäåëèòü, êàê ñëåäóåò ïðåäñòàâèòü çàäàíèÿ è ðóêîâîäñòâà ïî îöåíêå. Ýòà òàáëèöà äîëæíà îõâàòûâàòü âñå äåòàëè, â òîì ÷èñëå òàêèå, êàê êåãëü è ãàðíèòóðà, èñïîëüçîâàíèå âûäåëåíèé, îôîðìëåíèå çà- ãîëîâêîâ è çàäàíèÿ, êîòîðûå äîëæíû áûòü âêëþ÷åíû â íåãî, êàê ïîêàçàíî â äîïîëíèòåëüíîì ìàòåðèàëå 3.20. Ýòîò ïðèìåð ïîêàçûâàåò, ÷òî àâòîðàì ñëåäóåò íàáðàòü çàãî- ëîâîê ñâîåãî þíèòà øðèôòîì Arial, êåãëåì 16 è âûäåëèòü åãî ïðî- ïèñíûìè áóêâàìè. Îñòàëüíóþ ÷àñòü òåêñòà çàäàíèÿ ñëåäóåò íà- áðàòü øðèôòîì Times New Roman, â îñíîâíîì êåãëåì 12. Âîïðîñ äîëæåí áûòü ïðîíóìåðîâàí, êàê â ñëó÷àå «Âîïðîñ 1». Íàçâàíèå þíèòà äîëæíî èäòè ïîñëå íîìåðà. Ñàìî çàäàíèå è ìåñòî äëÿ îòâåòà ïðèâîäÿòñÿ ïîä âîïðîñîì. Àâòîð çàïîëíÿåò òàáëèöó, 82 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ â êîòîðîé îòðàæåíû: âèä òåêñòà, ôîðìà çàäàíèÿ è ïðîöåññ, ïðî- òåêàþùèé ïðè åãî âûïîëíåíèè. Ðóêîâîäñòâî ïî îöåíêå èìååò âèä êàê â ïðèâåäåííîì íèæå ïðèìåðå. Êðèòåðèè äëÿ âûñòàâëå- íèÿ áàëëîâ âûäåëåíû êóðñèâîì, ïðè ýòîì øðèôòîì êåãëÿ 10 ïðèâåäåíû îòâåòû ó÷àùèõñÿ. Ïðèâåäåííûå ðåêîìåíäàöèè ïîç- âîëÿþò àâòîðàì ïðèîáðåñòè óâåðåííîñòü â òîì, ÷òî çàäàíèÿ ïðåäâàðèòåëüíîãî è îêîí÷àòåëüíîãî òåñòà ñîãëàñîâàííû, ýô- ôåêòèâíû è íå ñîäåðæàò äâóñìûñëåííîñòåé. Дополнительный материал 3.20 Пример таблицы стилей для авторов заданий ПАСХАЛЬНЫЕ ТРАДИЦИИ (за олово , шрифт Arial, е ль 16) Вопрос 1: Пасхальные традиции (подза олово , шрифт Times New Roman, е ль 12, начертание пол жирное) Что люди делают на Пасх ? (вопрос, шрифт Times New Roman, е ль 12, начертание пол жирное) <вставьте половин линии> (инстр ция для печати – набрана рсивом в ловых с об ах) Вид текста Форма задания Метод решения Информационный Закрытая, Поисковый конструируемый ответ (таблица с тремя столбцами и дв мя стро ами, олов а: шрифт Times New Roman, е ль 12, начертание пол жирное, про раф а: шрифт Times New Roman, е ль 12, без выделения) Р оводство по оцен е (подза олов и, шрифт Times New Roman, е ль 12, начертание пол жирное) 1 балл: ответ содержит слово «яйца» (шрифт Times New Roman, е ль 12, начертание рсивное) дают др др яйца (б ллит, шрифт Times New Roman, е ль 10); расят яйца. 0 баллов: в ответе названы блины, др ие подар и или не азано ниче о пе т блины; дарят др др с вениры. РАЗРАБОТКА ЗАДАНИЙ 83 Àâòîðàì çàäàíèé íåîáõîäèìà ðåãóëÿðíàÿ îáðàòíàÿ ñâÿçü. Èì æåëàòåëüíî îáìåíèâàòüñÿ îïûòîì ïî ðàçðàáîòêå çàäàíèé è ñïîñîáàì, ñ ïîìîùüþ êîòîðûõ îíè ìîãóò óñòàíîâèòü ñîîò- âåòñòâèå ãîòîâûõ çàäàíèé ïðîåêòó. Ýòî ïîçâîëèò èì ó÷èòüñÿ íà ñâîèõ è ÷óæèõ îøèáêàõ, ðàçâèâàòü óìåíèÿ è ñîâåðøåíñòâî- âàòü çàäàíèÿ. Àâòîðàì ñëåäóåò ñîáèðàòüñÿ âìåñòå êàê ìîæíî ÷àùå è ïðîâîäèòü ýêñïåðòèçó çàäàíèé, ÷òîáû êðèòè÷åñêè îöå- íèâàòü ïðîäåëàííóþ ðàáîòó. Ìåíåäæåð ïî ðàçðàáîòêå òåñòà äîë- æåí áûòü ïîäãîòîâëåí ê çàìåíå òåõ àâòîðîâ, êîòîðûå äàæå ïîñ- ëå òùàòåëüíîé ïîäãîòîâêè íå â ñîñòîÿíèè ðàçðàáàòûâàòü âûñîêîêà÷åñòâåííûå çàäàíèÿ. ГРУППЫ ЭКСПЕРТОВ ПО РАЗРАБОТКЕ ЗАДАНИЙ Ãðóïïà ýêñïåðòîâ ïî ðàçðàáîòêå çàäàíèé ñîñòîèò èç íåáîëüøî- ãî ÷èñëà (îáû÷íî îò òðåõ äî øåñòè) àâòîðîâ, êîòîðûå ñîâìåñò- íî ðàññìàòðèâàþò ìàòåðèàë, ðàçðàáîòàííûé îäíèì èëè íå- ñêîëüêèìè èç íèõ. Èõ öåëü – ïðèíÿòü, èçìåíèòü èëè îòêëîíèòü ïðåäñòàâëåííûé òåñòîâûé ìàòåðèàë. Òàêîé êîìàíäíûé ïîäõîä, ÿâëÿþùèéñÿ ÷àñòüþ êîíòðîëÿ êà÷åñòâà òåñòîâ, ïîìîãàåò ðàñ- ñìîòðåòü ïðîöåññ ðàçâèòèÿ êàæäîãî êîíêðåòíîãî çàäàíèÿ ñ ðàçíûõ ñòîðîí. Åñëè àâòîðû íå îáëàäàþò âûñîêîé êâàëèôèêà- öèåé, òî ïîñëå ãðóïïîâîé ýêñïåðòèçû çàäàíèÿ îáû÷íî ïîäâåð- ãàþòñÿ ñóùåñòâåííîìó ïåðåñìîòðó. ×ëåíàì ãðóïïû åùå äî ñîáðàíèÿ ñëåäóåò ïîäãîòîâèòü ïðåä- âàðèòåëüíûå êðèòè÷åñêèå çàìå÷àíèÿ. Ó íèõ äîëæíî áûòü äîñ- òàòî÷íî âðåìåíè äëÿ àíàëèçà çàäàíèé è ðàçðàáîòêè ïðåäëîæå- íèé ïî óñîâåðøåíñòâîâàíèþ ïðîåêòà. Ãðóïïà äîëæíà äåòàëüíî ðàññìîòðåòü êîíòåêñò ìàòåðèàëà ñòèìóëîâ, ñîäåðæàíèå, ôîðìóëèðîâêè, ÿçûê, ðàñïîëîæåíèå çàäàíèé è èõ ýëåìåíòîâ, è èëëþñòðàöèè, ÷òîáû ãàðàíòèðîâàòü, ÷òî êàæäûé àñïåêò ñòèìóëà ðåëåâàíòåí ïðîåêòó, äîñòîèí âêëþ- ÷åíèÿ â òåñò, ÿñåí è êðàòîê. Çàòåì íåîáõîäèìî ïîëíîñòüþ ïðî- àíàëèçèðîâàòü êàæäîå çàäàíèå, ÷òîáû ãàðàíòèðîâàòü, ÷òî åãî ôîðìóëèðîâêà îäíîçíà÷íà è ôîðìà âûáðàíà âåðíî è ÷òî çàäà- íèå íàïðÿìóþ ñâÿçàíî ñ ïðîâåðÿåìûìè óìåíèÿìè è ñîäåðæà- òåëüíîé îáëàñòüþ, îïðåäåëåííîé â ïðîåêòå òåñòà. Ñîâîêóï- 84 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ íîñòü çàäàíèé â öåëîì òàêæå èññëåäóåòñÿ, ÷òîáû ïîñìîòðåòü, íàñêîëüêî õîðîøî îêîí÷àòåëüíûå ïðîïîðöèè çàäàíèé îòðàæà- þò ïðîåêò òåñòà. ×ëåíû ãðóïïû äîëæíû ïðîàíàëèçèðîâàòü âîçìîæíîñòè äëÿ óëó÷øåíèÿ èìåþùèõñÿ ñòèìóëîâ çàäàíèé, à ãäå íåîáõîäèìî – âíåñòè ïðåäëîæåíèÿ ïî ðàçðàáîòêå íîâûõ.  ïðîöåññå ðàññìîòðåíèÿ ìàòåðèàëîâ ãðóïïà ýêñïåðòîâ èç ÷èñëà àâòîðîâ äåëàåò ãîòîâûé îò÷åò î ïðîäåëàííîé ðàáîòå è âûñëóøèâàåò êîíñòðóêòèâíóþ êðèòèêó ñî ñòîðîíû êîëëåã. Ðó- êîâîäèòåëü ãðóïïû äîëæåí îáåñïå÷èòü ñîãëàñèå âñåõ ÷ëåíîâ ãðóïïû îòíîñèòåëüíî èçìåíåíèé, êîòîðûå íåîáõîäèìî áóäåò âíåñòè â îòäåëüíûå çàäàíèÿ. Àâòîðàì ñëåäóåò çàôèêñèðîâàòü ïðåäëîæåííûå èçìåíåíèÿ è âïîñëåäñòâèè ïåðåñìîòðåòü çàäà- íèÿ.  ãðóïïàõ, ãäå àâòîðû ïèøóò òåñòû íå íà ðîäíîì ÿçûêå, ìîæåò ïîíàäîáèòüñÿ ýêñïåðò ïî ÿçûêó. Ïðè÷åì åãî ÿçûêîâûå íàâûêè äîëæíû ñîîòâåòñòâîâàòü öåëè òåñòèðîâàíèÿ è êîíêðåò- íîé ãåíåðàëüíîé ñîâîêóïíîñòè ó÷àùèõñÿ.  ãðóïïó òàêæå ìîæåò áûòü âêëþ÷åí ïðåäìåòíûé ýêñïåðò, îñîáåííî â òåõ ñëó÷àÿõ, êîãäà ñîäåðæàòåëüíàÿ îáëàñòü òåñòà ñëîæíà. Ïðèâëå÷åíèå ïðåäìåòíîãî ýêñïåðòà ïîìîãàåò ðàçúÿñ- íèòü ñîäåðæàòåëüíûå ïðîáëåìû, íî ýòî ñîòðóäíè÷åñòâî íå äîëæíî áûòü ïîñòîÿííûì. Ïðåäìåòíûé ýêñïåðò âðÿä ëè áóäåò çàíèìàòüñÿ òîíêîñòÿìè ïðîáëåì íàïèñàíèÿ çàäàíèé.  ãðóïïû ýêñïåðòîâ ïî ðàçðàáîòêå íå æåëàòåëüíî ïðèâëå- êàòü òàêòèêîâ è çàèíòåðåñîâàííûõ ëèö. Äåòàëè ãðóïïîâîãî îáñóæäåíèÿ ýêñïåðòèçû çàäàíèé èõ êàñàòüñÿ íå äîëæíû. ×ëåíàì ãðóïïû íåîáõîäèìî ðàññìîòðåòü çàäàíèÿ ñî âñåõ ñòîðîí. Ïðàâèëüíîå ëè îöåíèâàåòñÿ ñîäåðæàíèå? Àäåêâàòíà ëè ôîðìà çàäàíèé âîçìîæíîñòÿì òåõ ó÷àùèõñÿ, äëÿ êîòîðûõ îíè ïðåäíàçíà÷åíû? Äåéñòâèòåëüíî ëè çàäàíèÿ èìåþò çíà÷èìîå ñîäåðæàíèå èëè îíè ÷åðåñ÷óð òðèâèàëüíû? ßñíû ëè ôîðìóëèðîâêè è íå ÿâëÿþòñÿ ëè îíè äâóñìûñëåí- íûìè? Åñòü ëè îøèáêè èëè ïðîïóùåííûå ñëîâà? РАЗРАБОТКА ЗАДАНИЙ 85 Åñëè çàäàíèå èìååò ôîðìó ñ ìíîæåñòâåííûì âûáîðîì, òî ÿâëÿþòñÿ ëè âñå ïðåäëîæåííûå âàðèàíòû îòâåòîâ ïîäîá- íûìè ïî çíà÷èìîñòè è êîíñòðóêöèè? Åñëè çàäàíèå èìååò ôîðìó ñ ìíîæåñòâåííûì âûáîðîì, òî áóäåò ëè îòâåò ñëåäîâàòü èç èìåþùåéñÿ èíôîðìàöèè (îñ- íîâíîé ÷àñòè, ìàòåðèàëà ñòèìóëà èëè èç òîãî è äðóãîãî)? Ìîæíî ëè ñ÷èòàòü îôîðìëåíèå çàäàíèé ïðèâëåêàòåëüíûì? Íå ñëèøêîì ëè ìíîãî òåêñòîâîé èíôîðìàöèè íà ñòðàíè- öàõ òåñòà? Èìååò ëè áîëüøèíñòâî çàäàíèé òàêóþ òðóäíîñòü, êîòîðàÿ ïîçâîëèò ïðèáëèçèòåëüíî 40 – 80% ó÷àùèõñÿ äàòü ïðàâèëü- íûé îòâåò? Åñëè çàäàíèå òðåáóåò îöåíêè ñ ÷àñòè÷íûì êðåäèòîâàíèåì, òî áóäåò ëè êàæäàÿ îöåíêà âûáèðàòüñÿ, ïî êðàéíåé ìåðå, äëÿ 10% èñïûòóåìûõ? Îòñóòñòâóåò ëè ñèñòåìàòè÷åñêàÿ îøèáêà çàäàíèÿ, ò.å. áóäóò ëè çàäàíèÿ ñïðàâåäëèâûìè äëÿ áîëüøèíñòâà ïîäãðóïï â ãå- íåðàëüíîé ñîâîêóïíîñòè ó÷àùèõñÿ, ïðåäíàçíà÷åííîé äëÿ òåñòèðîâàíèÿ? ×ëåíû ãðóïïû äîëæíû òàêæå ðàçðàáîòàòü ðåêîìåíäàöèè ïî ñîâåðøåíñòâîâàíèþ çàäàíèé, ÷òîáû: óêîðîòèòü èõ; äîáàâèòü áîëüøå èíôîðìàöèè; èçìåíèòü ôîðìóëèðîâêè; äîáàâèòü äèàãðàììû èëè ðèñóíêè; ïðåäñòàâèòü èõ â ðàçëè÷íûõ ôîðìàõ. Àâòîðû äîëæíû ïîëó÷àòü ðåãóëÿðíóþ îáðàòíóþ ñâÿçü ñ ìî- ìåíòà, êîãäà îíè ïðèñòóïàþò ê ðàçðàáîòêå çàäàíèé. Åñëè ýòî âîçìîæíî, ÷ëåíû ýêñïåðòíîé ãðóïïû ïî ðàçðàáîòêå çàäàíèé äîëæíû âñòðå÷àòüñÿ íå ðåæå îäíîãî ðàçà â íåäåëþ. Ïåðåñìîòð ìàòåðèàëîâ ìîæåò ñòàòü âåñüìà ñëîæíîé çàäà- ÷åé.  ýêñïåðòíîé ãðóïïå ïî ðàçðàáîòêå çàäàíèé íåîáõîäèì ðóêîâîäèòåëü, êîòîðûé áóäåò êîîðäèíèðîâàòü ðàáîòó ãðóïïû. Îí ãàðàíòèðóåò, ÷òî åå ÷ëåíû ïðèäóò ê îáùåìó ìíåíèþ îòíî- ñèòåëüíî ðåêîìåíäàöèé è èçìåíåíèé, êîòîðûå íåîáõîäèìî 86 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ ñäåëàòü. Ñàì àâòîð íå ìîæåò ïðèíÿòü ñàìîñòîÿòåëüíîå ðåøå- íèå îòíîñèòåëüíî òîãî, êàêèå ïðåäëîæåíèÿ ñëåäóåò ïðèíÿòü, à êàêèå ïðîèãíîðèðîâàòü. Ðóêîâîäèòåëü ãðóïïû äîëæåí ÷åòêî âûðàæàòü ñâîå ìíåíèå, ÷òîáû àâòîð çàäàíèÿ òî÷íî ïîíÿë, êà- êèå èçìåíåíèÿ ñëåäóåò âíåñòè. Êîððåêöèÿ ÷óæèõ çàäàíèé âðåìÿ îò âðåìåíè ìîæåò âûçû- âàòü ãîðÿ÷èå ñïîðû. Ðóêîâîäèòåëü ãðóïïû äîëæåí îáåñïå÷èòü êîíñòðóêòèâíóþ ðàáîòó ïî ïðîäâèæåíèþ ê ýòîé öåëè. Ïåðåñìàòðèâàòü ñâîþ ðàáîòó ïðèõîäèòñÿ âñåì ÷ëåíàì ãðóïïû, â òîì ÷èñëå îïûòíûì àâòîðàì. Âïîëíå çàêîíîìåðíû- ìè ÿâëÿþòñÿ çíà÷èòåëüíûå ïåðåäåëêè â çàäàíèÿõ, ðàçðàáîòàí- íûõ íîâè÷êàìè. Êðèòèêà çàäàíèé íè â êîåì ñëó÷àå íå äîëæíà ïåðåõîäèòü íà ëè÷íîñòü àâòîðà. Òåõ àâòîðîâ, êîòîðûå íå ìî- ãóò ó÷àñòâîâàòü â çäðàâîì îáñóæäåíèè, íå âîñïðèíèìàþò êðè- òèêó è îòêàçûâàþòñÿ èçìåíèòü ñâîè çàäàíèÿ, íåîáõîäèìî èñ- êëþ÷èòü. ДРУГИЕ ЭКСПЕРТЫ ×ëåíû ýêñïåðòíûõ ãðóïï èëè êëþ÷åâûå çàèíòåðåñîâàííûå ëèöà äîëæíû èìåòü âîçìîæíîñòü íåîäíîêðàòíî îáðàùàòüñÿ ê ðàçðàáàòûâàåìûì çàäàíèÿì. Ýòî ïîìîæåò îáåñïå÷èòü âûñîêîå êà÷åñòâî çàäàíèé è èõ ñîîòâåòñòâèå ïðîåêòó. Ìåíåäæåð ïî ðàç- ðàáîòêå òåñòîâ îáû÷íî ïðåäñòàâëÿåò âñå çàäàíèÿ èëè èõ ÷àñòü âûáðàííîé ñ ýòîé öåëüþ ðåôåðåíòíîé ãðóïïå. ×òîáû ãàðàíòèðîâàòü, ÷òî àâòîðû çàäàíèé ðàáîòàþò â ïðà- âèëüíîì íàïðàâëåíèè, ïåðâûé îáçîð ñëåäóåò ïîäãîòîâèòü êàê ìîæíî ðàíüøå. Ýêñïåðòû ìîãóò ïðåäëîæèòü âíåñòè èçìåíåíèÿ â íåêîòîðûå ÷àñòè ïðîåêòà òåñòà, îñîáåííî åñëè àâòîðàì òðóäíî îòîáðàçèòü íåêîòîðûå òðåáîâàíèÿ â òàáëèöå ñïåöèôèêàöèè. Òàê- æå àâòîðû çàäàíèé ìîãóò íóæäàòüñÿ â áîëåå êîíêðåòíîì ðóêîâîä- ñòâå äëÿ ðàçëè÷åíèÿ ïðèåìëåìîãî è íåäîïóñòèìîãî ìàòåðèàëà. Ýêñïåðòèçà îáû÷íî ïðîâîäèòñÿ ïîñëå òîãî, êàê âñå çàäàíèÿ áûëè çàïëàíèðîâàíû. Ýòî äàåò ãàðàíòèþ, ÷òî êëþ÷åâûå çàèí- òåðåñîâàííûå ëèöà â îáðàçîâàíèè îäîáðÿò çàäàíèÿ äî íà÷àëà ïðåäâàðèòåëüíîãî òåñòèðîâàíèÿ. Çàêëþ÷èòåëüíûé îáçîð ïî- çâîëÿåò èì ñîñòàâèòü ñóæäåíèå îòíîñèòåëüíî îòáîðà çàäàíèé äëÿ îêîí÷àòåëüíîé ôîðìû òåñòà. РАЗРАБОТКА ЗАДАНИЙ 87 ОТСЛЕЖИВАНИЕ ЗАДАНИЙ Îòñëåæèâàíèå çàäàíèé íåîáõîäèìî. (Èìååòñÿ â âèäó îòñëåæè- âàíèå èñòîðèè ðàçâèòèÿ çàäàíèé, ïðîöåññà èõ êîððåêöèè è ìîíèòîðèíã èçìåíåíèé. – Ïðèìå÷. ðåä.) Ó êàæäîãî çàäàíèÿ äîë- æíà áûòü óíèêàëüíàÿ ìåòêà, ÷òîáû ìîæíî áûëî ïðîñëåäèòü âñå ñòàäèè åãî ðàçâèòèÿ îò ïðåäâàðèòåëüíîãî òåñòèðîâàíèÿ äî àíàëèçà. Íåîáõîäèìî ðàçðàáîòàòü ïðèáëèçèòåëüíî â äâà ñ ïîëîâèíîé èëè â òðè ðàçà áîëüøå çàäàíèé, ÷åì òðåáóåòñÿ äëÿ îêîí÷àòåëü- íûõ ôîðì òåñòà. Îáû÷íî íåîáõîäèìî áûâàåò ñäåëàòü ìíîãî- êðàòíûå áóêëåòû äëÿ êàæäîãî êëàññà ñ öåëüþ ïðåäâàðèòåëüíî- ãî òåñòèðîâàíèÿ. Íåêîòîðûå ñîâîêóïíîñòè îäíèõ è òåõ æå çàäàíèé äîëæíû ïðèñóòñòâîâàòü â ðàçëè÷íûõ áóêëåòàõ. Ýòî ïî- çâîëèò ñâÿçàòü âñå ïðåäòåñòîâûå çàäàíèÿ â îäíîé è òîé æå øêà- ëå äëÿ ñðàâíåíèÿ ïî òðóäíîñòè. Êàæäîå çàäàíèå äîëæíî èìåòü ñâîþ ìåòêó, íåçàâèñèìóþ îò ïîðÿäêà ðàñïîëîæåíèÿ çàäàíèé â áóêëåòå. Ýòî ïîçâîëèò íàéòè îäèíàêîâûå çàäàíèÿ, ïðîäóáëèðîâàííûå â ðàçëè÷íûõ áóêëåòàõ. Îòñëåæèâàíèå çàäàíèé íà ñòàäèè àíàëèçà ìîæåò áûòü äîñ- òàòî÷íî ñëîæíûì. Åñëè àíàëèòèê íå â ñîñòîÿíèè ïðèñâîèòü çàäàíèþ óíèêàëüíóþ ìåòêó, òî åãî, ñêîðåå âñåãî, áóäåò î÷åíü òðóäíî îòûñêàòü. Åùå îäíîé ïðîáëåìîé ìîæåò ñòàòü ïðîãðàìì- íîå îáåñïå÷åíèå. Îáû÷íî ñ åãî ïîìîùüþ íîìåðà ïðèñâàèâà- þòñÿ àâòîìàòè÷åñêè. Åñëè çàäàíèÿ áóäóò óäàëåíû èç òåñòà íà îñíîâå àíàëèçà ðåçóëüòàòîâ ïðåäâàðèòåëüíîãî òåñòèðîâàíèÿ, òî ïðîãðàììíîå îáåñïå÷åíèå ïåðåíóìåðóåò çàäàíèÿ òàêèì îá- ðàçîì, ÷òî ÷èñëî çàäàíèé â ïðîöåññå àíàëèçà áîëüøå íå áóäåò ñîîòâåòñòâîâàòü ïåðâîíà÷àëüíîìó ÷èñëó çàäàíèé èëè èõ ÷èñëó â òåñòîâîì áóêëåòå. Ñîõðàíåíèå ó êàæäîãî çàäàíèÿ îäíîé è òîé æå óíèêàëüíîé ìåòêè â òåñòîâîì áóêëåòå è íà êàæäîì ýòàïå àíà- ëèçà ïîìîæåò ïðåäîòâðàòèòü ýòó ïðîáëåìó. Ìåòêè äîëæíû áûòü íàñòîëüêî çíà÷èìûìè, íàñêîëüêî ýòî âîçìîæíî. Ìåíåäæåð ïî ðàçðàáîòêå òåñòîâ äîëæåí ñîãëàñîâàòü ñâîè äåéñòâèÿ ñ àíàëèòèêîì, ÷òîáû óñòàíîâèòü, ñêîëüêî çíà- êîâ ìîæíî èñïîëüçîâàòü äëÿ ìåòêè.  ñòàòèñòè÷åñêèõ ïðî- ãðàììíûõ ïàêåòàõ äëÿ àíàëèçà äàííûõ ñóùåñòâóþò ðàçëè÷íûå 88 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ îãðàíè÷åíèÿ. Íèæå ïðèâåäåíî ñîãëàøåíèå î ìàðêèðîâêå, êî- òîðîå èñïîëüçóåòñÿ îäíèì àãåíòñòâîì ïî òåñòèðîâàíèþ äëÿ òåñòîâ ïî ÷òåíèþ, ïèñüìó è ìàòåìàòèêå óæå íà ïðîòÿæåíèè íåñêîëüêèõ ëåò. Ïåðâûé çíàê – ×, Ì èëè Ï – ñîîòâåòñòâåííî äëÿ òåñòîâ ïî ÷òåíèþ, ìàòåìàòèêå èëè ïèñüìó. Âòîðîé è òðåòèé çíàêè óêàçûâàþò íà ãîä, êîãäà çàäàíèå ïðåäúÿâëÿëè èñïûòóåìûì (íàïðèìåð, 07 äëÿ 2007 ãîäà). ×åòâåðòûé, ïÿòûé è øåñòîé çíàêè ñîîòâåòñòâóþò íîìåðó çàäàíèÿ (íà÷èíàÿ ñ 001). Íàïðèìåð, ìåòêà M06003 ïîêàçûâàåò, ÷òî çàäàíèå îòíîñèò- ñÿ ê òåñòó ïî ìàòåìàòèêå, åãî èñïîëüçîâàëè â 2006 ãîäó è îíî ÿâëÿåòñÿ òðåòüèì ïî ñ÷åòó. Ìåòêè äîëæíû áûòü ïðèñâîåíû çàäàíèÿì åùå â ïðîöåññå èõ ðàçðàáîòêè è ïîìåùåíû â áóêëåòû äëÿ ïðåäâàðèòåëüíûõ è îêîí÷àòåëüíûõ ôîðì òåñòà. Ìåòêè ìîãóò áûòü íàïå÷àòàíû ìåëêèì øðèôòîì áåç àáçàöíîãî îòñòóïà íàïðîòèâ íîìåðà çà- äàíèÿ, êàê ïîêàçàíî íèæå: M06003 5 Âû÷èñëèòå ñóììó 6 + 7 =__________. Âàæíî ñîõðàíÿòü èñòîðèþ ðàçâèòèÿ êàæäîãî çàäàíèÿ. Àíà- ëèòèêó íåîáõîäèì íàáîð êëþ÷åé äëÿ çàäàíèé ñ ìíîæåñòâåííûì âûáîðîì. Òàêæå åìó íóæíî çíàòü ìåñòîïîëîæåíèå çàäàíèé â áðîøþðàõ ñ ïðåäâàðèòåëüíûìè âàðèàíòàìè òåñòîâ. Äëÿ ïîä- ãîòîâêè îò÷åòîâ òðåáóåòñÿ ïîëíàÿ èíôîðìàöèÿ î ôîðìå çàäà- íèé è ïðîöåññàõ, íà îöåíêó êîòîðûõ íàïðàâëåíî êàæäîå çàäà- íèå. Ìåíåäæåð ïî ðàçðàáîòêå òåñòîâ äîëæåí ñôîðìèðîâàòü è ïîääåðæèâàòü â àêòèâíîì ñîñòîÿíèè êðóïíîôîðìàòíóþ òàáëè- öó, êîòîðàÿ ïîìîæåò âåñòè ó÷åò êàæäîãî çàäàíèÿ, åãî êëàññè- ôèêàöèé è ñòàòóñà, à òàêæå ëþáûõ èçìåíåíèé, êîòîðûå, âîç- ìîæíî, áûëè ïðîèçâåäåíû â çàäàíèè. Íèæå ïðèâåäåí ïðèìåð èç îò÷åòà íåêîòîðûõ çàãîëîâêîâ êðóïíîôîðìàòíîé òàáëèöû äëÿ òåñòà ïî ÷òåíèþ: РАЗРАБОТКА ЗАДАНИЙ 89 íàçâàíèå þíèòà íàçâàíèå, äàííîå þíèòó (íàïðè- ìåð, «Ãîíî÷íûå àâòîìîáèëè»); ìåòêà çàäàíèÿ ìåòêà ñ øåñòüþ öèôðàìè (íà- ïðèìåð, R06003); ñîäåðæàíèå çàäàíèÿ ôîðìóëèðîâêà âîïðîñà òåñòà; òåêóùèé ñòàòóñ ïîêàçûâàåò, â êàêîé ôîðìå äîñ- òóïíî çàäàíèå äëÿ èñïîëüçîâà- íèÿ (íàïðèìåð, ðàçðàáîòàíî êàê òðåíèðîâî÷íîå çàäàíèå; çà- äàíèå, îòêëîíåííîå êëèåíòîì, çàäàíèå; íå ðàçðåøåííîå ê êî- ïèðîâàíèþ); êëþ÷ ïðàâèëüíûé îòâåò äëÿ çàäàíèÿ ñ ìíîæåñòâåííûì âûáîðîì; ìàêñèìàëüíûé áàëë ìàêñèìàëüíàÿ îöåíêà â áàëëàõ äëÿ çàäàíèÿ; òèï òåêñòà òåêñòîâûé æàíð (íàïðèìåð, ðàññêàç, èíôîðìàöèÿ); ôîðìà çàäàíèÿ ôîðìà òåñòîâîãî çàäàíèÿ (íà- ïðèìåð, ñ âûáîðîì îòâåòà); ïðîöåññ ïîçíàâàòåëüíûé ïðîöåññ (íà- ïðèìåð, âîñïðîèçâåäåíèå); àíàëèòè÷åñêèå çàìåòêè èçìåíåíèÿ, ñäåëàííûå â çàäà- íèè ïîñëå ïðåäâàðèòåëüíîãî òåñòèðîâàíèÿ. Çàäàíèÿ íóæíî õðàíèòü â áåçîïàñíîì ìåñòå. Ìàòåðèàë, ñâÿ- çàííûé ñ ðàçðàáîòêîé þíèòà èëè çàäàíèÿ, äîëæåí õðàíèòüñÿ ñ òåì æå çàäàíèåì. Íåîáõîäèìî ñîõðàíèòü äàæå òîò ìàòåðèàë, êîòîðûé íå èñïîëüçîâàëñÿ â õîäå ïðåäâàðèòåëüíîãî òåñòèðîâà- íèÿ, ïîòîìó ÷òî îí ìîæåò ïîíàäîáèòüñÿ ïîçæå â òîò æå ñàìûé èëè íà ñëåäóþùèé ãîä îáó÷åíèÿ. Èñòî÷íèê äîêóìåíòîâ èëè èë- ëþñòðàöèé äîëæåí áûòü çàðåãèñòðèðîâàí è ïîìå÷åí òàê, ÷òî- áû ðàçðåøåíèå íà åãî êîïèðîâàíèå ìîæíî áûëî áû ëåãêî îòûñ- êàòü â ñëó÷àå íåîáõîäèìîñòè. Êîïèè íóæíî õðàíèòü òàê, ÷òîáû ìîãëè áûòü âûÿâëåíû ëþáûå ïîñëåäóþùèå ìîäèôèêàöèè. 90 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ Áîëüøèíñòâî çàäàíèé ìîæíî ñîõðàíèòü íà ýëåêòðîííûõ íîñèòåëÿõ èíôîðìàöèè. Íåîáõîäèìî ïðåäóñìîòðåòü íàëè÷èå ðåçåðâíûõ ôàéëîâ ñ çàäàíèÿìè íà îòäåëüíîì êîìïüþòåðå èëè äèñêå. Ïðàâèëüíàÿ ìàðêèðîâêà è ïîëíàÿ è òî÷íàÿ êëàññèôèêà- öèÿ ïîìîãóò ãàðàíòèðîâàòü, ÷òî çàäàíèÿ ñîõðàíåíû â ñîîòâåò- ñòâóþùèõ ôàéëàõ è ìîãóò áûòü ëåãêî âîññòàíîâëåíû. Çàäàíèÿ ïîäâåðãàþòñÿ ïîñòîÿííîìó ïåðåñìîòðó, âêëþ÷àÿ èçìåíåíèÿ ðóêîâîäñòâà ïî îöåíêå è èëëþñòðàöèé è íåçíà÷èòåëüíîå óñî- âåðøåíñòâîâàíèå ôîðìóëèðîâîê. Ïîñëåäíÿÿ âåðñèÿ çàäàíèÿ äîëæíà áûòü ãîòîâà ê èñïîëüçîâàíèþ îòäåëüíî îò èíôîðìà- öèè â ôàéëå. ПРИМЕЧАНИЯ 1 Äëÿ äîïîëíèòåëüíîé èíôîðìàöèè ïî ðàçðàáîòêå òåñòîâûõ çàäà- íèé ñì. Chatterji (2003), Haladyna (1999), Kubiszyn and Borich (2000), Linn and Miller (2004). 2 Àìåðèêàíñêàÿ íàöèîíàëüíàÿ îöåíêà îáðàçîâàòåëüíîãî ïðîãðåñ- ñà âêëþ÷àåò êîìïîíåíò ïèñüìà (Íàöèîíàëüíîå ïðàâëåíèå îöåí- êè n.d.). 4 ÃËÀÂÀ ÏÐÅÄÂÀÐÈÒÅËÜÍÀß ÏÐÎÂÅÐÊÀ ÇÀÄÀÍÈÉ Äëÿ ðàçðàáîòêè òåñòîâ íàöèîíàëüíîé îöåí- êè ðåçóëüòàòîâ îáó÷åíèÿ, êàê ïðàâèëî, èñïîëüçóåòñÿ òåõíîëî- ãèÿ, êîòîðàÿ áûëà âûðàáîòàíà â õîäå ïðîåêòèðîâàíèÿ òåñòîâ, ïðåäíàçíà÷åííûõ äëÿ îöåíêè è àíàëèçà ó÷åáíûõ äîñòèæåíèé îòäåëüíûõ ó÷àùèõñÿ. Ïîñêîëüêó ïîñëåäíèå íåîáõîäèìû äëÿ äèôôåðåíöèàöèè ó÷àùèõñÿ ïî ðåçóëüòàòàì òåñòèðîâàíèÿ, èì âûäàåòñÿ ïî ñóùåñòâó îäèí è òîò æå òåñò. Öåëü íàöèîíàëüíîé îöåíêè ñîâåðøåííî èíàÿ. Íàöèîíàëüíàÿ îöåíêà íå íàïðàâëå- íà íà äèôôåðåíöèàöèþ ó÷àùèõñÿ. Åå çàäà÷à – ïîêàçàòü, â êà- êîé ñòåïåíè ó÷àùèåñÿ â öåëîì â îáðàçîâàòåëüíîé ñèñòåìå (èëè â ÷åòêî îïðåäåëåííîé åå ÷àñòè) ïðèîáðåëè çíàíèÿ è óìåíèÿ, ïðåäïèñàííûå ó÷åáíûì ïëàíîì. Äëÿ åå âûïîëíåíèÿ íåîáõîäè- ìî îáåñïå÷èòü àäåêâàòíîå îòðàæåíèå â òåñòàõ ó÷åáíîãî ïëàíà. Ïîýòîìó îíè äîëæíû íàìíîãî áîëüøå îõâàòûâàòü ðàçäåëû ïëà- íà, ÷åì òåñòû, ðàçðàáîòàííûå äëÿ îöåíêè îòäåëüíûõ ó÷àùèõ- ñÿ. Ïîòðåáíîñòü â øèðîêîì îõâàòå ó÷åáíîãî ïëàíà ñòàíîâèòñÿ åùå î÷åâèäíåé â òåõ ñëó÷àÿõ, êîãäà îöåíèâàíèå ïðåäíàçíà÷å- íî äëÿ èäåíòèôèêàöèè òåõ åãî îáëàñòåé, â êîòîðûõ ó÷àùèåñÿ ïîêàçûâàþò âûñîêèå èëè, íàîáîðîò, íèçêèå ðåçóëüòàòû. Ó÷èòûâàÿ âñå âûøåñêàçàííîå, â òåñòû ìíîãèõ íàöèî- íàëüíûõ è ìåæäóíàðîäíûõ ñèñòåì îöåíêè âêëþ÷àåòñÿ íàìíî- 92 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ ãî áîëüøå çàäàíèé, ÷åì â òåñòû äëÿ îöåíèâàíèÿ îòäåëüíûõ ó÷à- ùèõñÿ. Îäíàêî ÷òîáû èçáåæàòü ÷ðåçìåðíîé íàãðóçêè, êàæäûé ó÷åíèê âûïîëíÿåò òîëüêî ÷àñòü çàäàíèé. Ñëåäîâàòåëüíî, â áóê- ëåòå äîëæíû áûòü ïðèâåäåíû íåñêîëüêî àëüòåðíàòèâíûõ êîì- ïëåêòîâ çàäàíèé äëÿ èõ âîçìîæíîé ðîòàöèè. Òî÷íîå ÷èñëî çà- äàíèé â ðàçíûõ ñèñòåìàõ íàöèîíàëüíîé îöåíêè èçìåíÿåòñÿ. Äàííûé ïîäõîä, õîòÿ è íåîáõîäèìûé ïî ðÿäó ïðè÷èí, ïðè- âíîñèò â ïðîöåññ ïðåäúÿâëåíèÿ òåñòà ìíîãî òðóäíîñòåé. Âî-ïåðâûõ, äîâîëüíî ñëîæíûì ñòàíîâèòñÿ äèçàéí òåñòà, ïîòî- ìó ÷òî íóæíî îáåñïå÷èòü «íàëîæåíèå» çàäàíèé è ñîîòâåòñòâèå ìåæäó èõ ïîäâûáîðêàìè. Âî-âòîðûõ, íåîáõîäèìî ãàðàíòèðî- âàòü ïðàâèëüíóþ âûäà÷ó áóêëåòîâ ó÷àùèìñÿ è ñîîòâåòñòâèå èíñòðóêöèé äëÿ âñåõ áóêëåòîâ. Íàêîíåö, îáúåäèíåíèå äàííûõ, ïîëó÷åííûõ ïî ìíîæåñòâó íàáîðîâ çàäàíèé, òðåáóåò îòíîñè- òåëüíî ñëîæíûõ ñòàòèñòè÷åñêèõ ïðîöåäóð. Ïî ýòèì ïðè÷èíàì ìíîãèå ðàçâèâàþùèåñÿ ñòðàíû íå èñïîëüçóþò áîëüøîå ÷èñëî òåñòîâûõ áóêëåòîâ. Áîëüøèíñòâî êîììåíòàðèåâ íà ñëåäóþùèõ ñòðàíèöàõ, òàê æå êàê è â ãëàâå 5, ïðèìåíèìû ê äâóì ñèòóàöèÿì, â îäíîé èç êîòîðûõ êîìàíäà ïî íàöèîíàëüíîé îöåíêå èñïîëüçóåò ìíîæå- ñòâî òåñòîâûõ áóêëåòîâ, à â äðóãîé – äëÿ èçìåðåíèÿ ó÷åáíûõ äîñòèæåíèé â ïðåäìåòíîé îáëàñòè ïðåäíàçíà÷àåòñÿ åäèíñòâåí- íûé òåñòîâûé áóêëåò. Îáà ïîäõîäà òðåáóþò êîððåêòíîãî ïðî- âåäåíèÿ ïðåäâàðèòåëüíîãî òåñòèðîâàíèÿ. Ïðåäâàðèòåëüíîå, èëè ïèëîòíîå, òåñòèðîâàíèå ÿâëÿåòñÿ ñóùåñòâåííûì ýòàïîì ïðîöåññà ðàçðàáîòêè òåñòà. Ó÷àùèåñÿ, êîòîðûå âûïîëíÿþò ïðåäâàðèòåëüíûé òåñò, äîëæíû îáëàäàòü òåìè æå õàðàêòåðèñòèêàìè, ÷òî è òå, êîòîðûå áóäóò âûïîëíÿòü îêîí÷àòåëüíûé òåñò. Æåëàòåëüíî, ÷òîáû â ïðåäâàðèòåëüíîì òåñòèðîâàíèè ó÷àñòâîâàëè ðàçíûå ïî ðàçìåðó øêîëû èç ðàç- íûõ ðàéîíîâ ãîðîäà ñ ó÷àùèìèñÿ èç ñåìåé ñ âàðüèðóþùèìñÿ ñîöèàëüíî-ýêîíîìè÷åñêèì ôîíîì. Èäåàëüíûé âàðèàíò, êîãäà ïðåäâàðèòåëüíîå òåñòèðîâàíèå ïðîâîäèòñÿ â òî æå ñàìîå âðå- ìÿ, íà êîòîðîå çàïëàíèðîâàíî îêîí÷àòåëüíîå òåñòèðîâàíèå, íî ãîäîì ðàíåå. Íàïðèìåð, ïðåäâàðèòåëüíûé òåñò äëÿ ó÷åíè- êîâ 5-ãî êëàññà ïðîâîäèòñÿ â îêòÿáðå 2005 ãîäà, à îêîí÷àòåëü- íûé – â îêòÿáðå 2006 ãîäà. Îäíàêî íà ïðàêòèêå ýòîò ñöåíàðèé ПРЕДВАРИТЕЛЬНАЯ ПРОВЕРКА ЗАДАНИЙ 93 ìîæåò îêàçàòüñÿ íåâûïîëíèìûì, è ïðåäâàðèòåëüíûé òåñò ìîæåò áûòü âûäàí èñïûòóåìûì, êîòîðûå ïðîó÷èëèñü íà íå- ñêîëüêî ìåñÿöåâ áîëüøå èëè ìåíüøå, ÷åì öåëåâàÿ ãåíåðàëüíàÿ ñîâîêóïíîñòü ó÷àùèõñÿ. Íàïðèìåð, ó÷àùèåñÿ 6-ãî êëàññà ìî- ãóò áûòü ïðåäâàðèòåëüíî ïðîòåñòèðîâàíû â íà÷àëå ó÷åáíîãî ãîäà, ÷òîáû îáåñïå÷èòü äàííûå äëÿ òåñòà, êîòîðûé áóäóò èñ- ïîëüçîâàòü äëÿ îöåíèâàíèÿ ó÷àùèõñÿ 5-ãî êëàññà â êîíöå ó÷åá- íîãî ãîäà. Ó÷àùèåñÿ, êîòîðûå ó÷àñòâóþò â ïðåäâàðèòåëüíîì òåñòèðî- âàíèè, íå äîëæíû èìåòü äîñòóïà ê îêîí÷àòåëüíîìó âàðèàíòó òåñòà. Åñëè îêîí÷àòåëüíûé òåñò íóæíî ïðåäúÿâëÿòü ñòàòèñòè- ÷åñêè îòîáðàííîé ñëó÷àéíîé âûáîðêå, òî îíà äîëæíà áûòü ïîñòðîåíà äî òîãî, êàê áóäóò îïðåäåëåíû øêîëû äëÿ ïðåäâàðè- òåëüíîãî òåñòèðîâàíèÿ. Ñ÷èòàåòñÿ ïîëåçíûì èñïîëüçîâàòü â ïðåäâàðèòåëüíîì òåñ- òèðîâàíèè â äâà èëè òðè ðàçà áîëüøå çàäàíèé, ÷åì â îêîí÷à- òåëüíîì. Äëèíà êàæäîé ïðåäòåñòîâîé ôîðìû äîëæíà áûòü ïî- äîáíà òîé, êàêàÿ áóäåò â îêîí÷àòåëüíîì òåñòå. Ïîëåçíî èñïîëüçîâàòü ìàðêèðîâêó ôîðì òåñòà â àëôàâèòíîì ïîðÿäêå ñîãëàñíî ãîäó îáó÷åíèÿ, íàïðèìåð, ïÿòü ôîðì äëÿ 3-ãî êëàññà òîãäà áûëè áû îáîçíà÷åíû ñèìâîëàìè 3A, 3B, 3C, 3D è 3E, à äëÿ 8-ãî – 8A, 8B, 8C, 8D è 8E. Äëÿ êàæäîãî êëàññà òðåáóåòñÿ íåñêîëüêî ïðåäòåñòîâûõ ôîðì. Èäåàëüíî, åñëè ôîðìû äëÿ êàæäîãî ãîäà îáó÷åíèÿ áóäóò ñëó÷àéíûì îáðàçîì ðàñïðåäåëåíû â êàæäîì êëàññå. Åñëè èñ- ïîëüçóþòñÿ òðè ôîðìû â 5-ì êëàññå (5A, 5B è 5C), òî êàæäàÿ øêîëà äîëæíû ïîëó÷èòü «ñìåñü» èç çàäàíèé âñåõ òðåõ ôîðì. Åñëè ýòà ïðîöåäóðà íåâîçìîæíà, òî âàæíî ãàðàíòèðîâàòü, ÷òî êàæäàÿ ôîðìà ðàñïðåäåëåíà ïî âñåì ñîñòàâëÿþùèì âûáîðêè äëÿ ïðåäâàðèòåëüíîãî òåñòèðîâàíèÿ. Íàïðèìåð, ôîðìà 5A íå äîëæíà áûòü âûäàíà òîëüêî ãîðîäñêèì ó÷àùèìñÿ, ôîðìà 5B – òîëüêî ñåëüñêèì ó÷àùèìñÿ íà ñåâåðå ðàéîíà è ôîðìà 5C – ñåëü- ñêèì ó÷àùèìñÿ â þæíîé åãî ÷àñòè. Ôîðìû äîëæíû áûòü íà- ñòîëüêî ýêâèâàëåíòíûìè, íàñêîëüêî ýòî âîçìîæíî ñ òî÷êè çðå- íèÿ ñîîòâåòñòâèÿ ïðîåêòó òåñòà. Ñóùåñòâåííî îáåñïå÷èòü òàêóþ ñâÿçü ïðåäòåñòîâûõ ôîðì, ÷òîáû çàäàíèÿ ìîãëè áûòü îáúåäèíåíû äëÿ ñðàâíåíèÿ. Ñâÿçü 94 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ îçíà÷àåò, ÷òî íåñêîëüêî îäíèõ è òåõ æå çàäàíèé ïîÿâëÿþòñÿ â ðàçëè÷íûõ ôîðìàõ òåñòà. Íåêîòîðûå ïðåäòåñòîâûå ôîðìû íåèçáåæíî áóäóò áîëåå òðóäíûìè, ÷åì äðóãèå. Ñ ïîìîùüþ ñâÿçè îáùàÿ òðóäíîñòü çàäàíèé ìîæåò áûòü îïðå- äåëåíà íåçàâèñèìî îò ôîðìû, â êîòîðîé ýòè çàäàíèÿ âñòðå÷à- þòñÿ. Ãîðèçîíòàëüíàÿ ñâÿçü òðåáóåòñÿ â òåõ ñëó÷àÿõ, êîãäà òåñ- òèðóþòñÿ ó÷àùèåñÿ îäíîãî ãîäà îáó÷åíèÿ, âåðòèêàëüíàÿ – êîãäà â òåñòèðîâàíèè ïðèíèìàþò ó÷àñòèå ó÷àùèåñÿ ðàçíûõ ëåò îáó- ÷åíèÿ. Ìèíèìóì 200 èñïûòóåìûõ äîëæíû ïîïûòàòüñÿ âûïîëíèòü êàæäîå ïðåäòåñòîâîå çàäàíèå äëÿ êàæäîãî ãîäà îáó÷åíèÿ. Åñëè òðè ïðåäòåñòîâûå ôîðìû áóäóò ðàçðàáîòàíû äëÿ 5-ãî êëàññà, òî ïðåäâàðèòåëüíûé òåñò äîëæíû âûïîëíÿòü, ïî êðàéíåé ìåðå, 600 ó÷àùèõñÿ. Îò ýòèõ 200 èñïûòóåìûõ äëÿ êàæäîãî ïðåäòåñ- òîâîãî çàäàíèÿ òðåáóåòñÿ ïîëó÷èòü, ñàìîå ìàëîå, 150 îòâåòîâ. Íåèçáåæíî, ÷òî âî âðåìÿ ïðåäâàðèòåëüíîãî òåñòèðîâàíèÿ ïðî- èçîéäåò íåêîòîðàÿ ïîòåðÿ äàííûõ.  ëó÷øåì ñëó÷àå øêîëà ìî- æåò âûéòè èç ïðîãðàììû ïðåäâàðèòåëüíîãî òåñòèðîâàíèÿ â ïîñëåäíþþ ìèíóòó èëè ïðåäúÿâèòü òåñò ìåíüøåìó ÷èñëó ó÷à- ùèõñÿ, ÷åì ïðåäïîëàãàëîñü. Òàêæå ìàëîâåðîÿòíî, ÷òî êàæäûé ó÷àùèéñÿ ïîïûòàåòñÿ âûïîëíèòü êàæäîå çàäàíèå â ïðåäâàðè- òåëüíîì òåñòå. Ïîñêîëüêó ïðåäâàðèòåëüíîå òåñòèðîâàíèå äîëæíî ïðîâî- äèòüñÿ â òåõ æå ñàìûõ óñëîâèÿõ, ÷òî è îêîí÷àòåëüíîå, ïðîìå- æóòîê âðåìåíè äëÿ âûïîëíåíèÿ òåñòà äîëæåí áûòü îäèíàêîâ. ×èñëî çàäàíèé, êîòîðûå ó÷àùèåñÿ ìîãóò âûïîëíèòü â îòïóùåí- íîå äëÿ òåñòèðîâàíèÿ âðåìÿ, âîçìîæíî, íå áóäåò èçâåñòíî. Åñëè ýòî äåéñòâèòåëüíî òàê, òî ñôîðìèðóéòå ïðèìåð ïðåäòåñòîâîé ôîðìû è èñïûòàéòå åå â íåñêîëüêèõ êëàññàõ ïåðåä òåì, êàê ñîáèðàòü ïðåäâàðèòåëüíûé òåñò, ÷òîáû ãàðàíòèðîâàòü «ðåàëè- ñòè÷íîñòü» ÷èñëà çàäàíèé â êàæäîé ïðåäòåñòîâîé ôîðìå.  íà- öèîíàëüíîì îöåíèâàèè íå ïðèìåíÿþòñÿ òåñòû íà ñêîðîñòü. Ó áîëüøèíñòâà ó÷àùèõñÿ äîëæíî áûòü äîñòàòî÷íî âðåìåíè äëÿ âûïîëíåíèÿ áîëüøåé ÷àñòè çàäàíèé òåñòà. Æåëàòåëüíî çàâåðøèòü ïðåäâàðèòåëüíîå òåñòèðîâàíèå çà äâå–òðè íåäåëè. ПРЕДВАРИТЕЛЬНАЯ ПРОВЕРКА ЗАДАНИЙ 95 Ïðåäâàðèòåëüíîå òåñòèðîâàíèå îáåñïå÷èâàåò âîçìîæíîñòü îöåíèòü ïðèãîäíîñòü è êà÷åñòâî çàäàíèé, à òàêæå òî÷íî íàñòðî- èòü ìíîãèå àñïåêòû ïðåäúÿâëåíèÿ òåñòà. Àäìèíèñòðàòîðû äîë- æíû ïðåäîñòàâèòü ñëåäóþùóþ èíôîðìàöèþ. Áûëî ëè ó ó÷àùèõñÿ äîñòàòî÷íî òðåíèðîâî÷íûõ âîïðîñîâ ïî ïðèìåíåíèþ òåñòà, áûëè ëè èíñòðóêöèè è îáúÿñíåíèÿ äîñòàòî÷íî ÿñíû? Èìåë ëè òåñò ïîäõîäÿùóþ èëè ÷ðåçìåðíóþ äëèíó, è ïðèáëè- çèòåëüíî ñêîëüêî ó÷àùèõñÿ çàêîí÷èëè òåñò ðàíüøå, ÷åì çà 10 ìèíóò äî îêîí÷àíèÿ âðåìåíè, îòâåäåííîãî íà òåñòèðîâàíèå? Áûëè ëè èñïûòóåìûå ïîãëîùåíû âûïîëíåíèåì òåñòà? Áûëî ëè äîñòàòî÷íî ñîïðîâîäèòåëüíûõ ìàòåðèàëîâ, òàêèõ êàê êàðàíäàøè è ëàñòèêè? Äåéñòâèòåëüíî ëè óñëîâèÿ â øêîëå áûëè ïîäõîäÿùèìè äëÿ ïðîâåäåíèÿ òåñòèðîâàíèÿ? Ïîíèìàëè ëè ïðåïîäàâàòåëè è èñïûòóåìûå öåëü òåñòèðî- âàíèÿ? ДИЗАЙН ПРЕДТЕСТОВОЙ ФОРМЫ Àíàëèç äàííûõ ïðåäâàðèòåëüíîãî òåñòèðîâàíèÿ äàåò îñíîâàíèÿ äëÿ îòáîðà çàäàíèé â îêîí÷àòåëüíûé òåñò.  áîëüøèíñòâå ñëó÷à- åâ â íàöèîíàëüíîé îöåíêå ãîòîâÿò ðàçíûå ôîðìû ñâÿçàííûõ òåñ- òîâûõ áóêëåòîâ äëÿ êàæäîãî ãîäà îáó÷åíèÿ. Ýòîò ïîäõîä ïîìîãà- åò øèðå îõâàòèòü ó÷åáíûé ïëàí ïî ñðàâíåíèþ ñ åäèíñòâåííûì òåñòîì è â òî æå âðåìÿ ïîçâîëÿåò ãàðàíòèðîâàòü, ÷òî ó÷àùèìñÿ íå ïðåäúÿâëåíû íåîáîñíîâàííî äëèííûå òåñòû. Äèçàéí òåñòà è ñâÿçü äàííûõ ïî ôîðìàì äîëæíû ãàðàíòèðîâàòü, ÷òî äàííûå òåñ- òèðîâàíèÿ ìîãóò áûòü ïðåäñòàâëåíû â åäèíîé øêàëå. Ê ðàçðàáîò- êå äèçàéíà ïðåäâàðèòåëüíîãî òåñòà íåîáõîäèìî ïðèâëå÷ü àíàëè- òèêà, ñòàòèñòèêà è âåäóùèõ ñïåöèàëèñòîâ ïî êîìïüþòåðíîìó äèçàéíó. Ýòî ïîçâîëèò ãàðàíòèðîâàòü, ÷òî ïðè ïðîåêòèðîâàíèè òåñòà áûëè îòðàæåíû òðåáîâàíèÿ ê äàííûì. Ñâÿçàííûå ôîðìû èìåþò îáùèå çàäàíèÿ. Îáû÷íî òðåáóåò- ñÿ îò 8 äî 10 îáùèõ çàäàíèé. Åñòü íåñêîëüêî ñïîñîáîâ äëÿ ïîñò- ðîåíèÿ äèçàéíà ñâÿçàííûõ ôîðì. 96 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ Ïåðâûé ñïîñîá – åäèíñòâåííûé åäèíûé íàáîð îáùèõ çàäà- íèé äëÿ ñâÿçè, êîãäà îäíè è òå æå 8–10 çàäàíèé ïîâòîðÿþòñÿ â êàæäîé ôîðìå. Íåîáõîäèìî îòìåòèòü, ÷òî åñëè ñâÿçóþùèå çà- äàíèÿ âåäóò ñåáÿ ïëîõî (èìåþò ïëîõèå ñòàòèñòè÷åñêèå õàðàê- òåðèñòèêè) ïðè àíàëèçå, òî ñâÿçü ìåæäó ôîðìàìè áóäåò ñëàáîé, ÷òî íåãàòèâíî ïîâëèÿåò íà êà÷åñòâî îáùåãî àíàëèçà ðåçóëüòà- òîâ òåñòèðîâàíèÿ. Âòîðîé ñïîñîá – êðóãîâàÿ ñâÿçü. Ðàçëè÷íûå íàáîðû çàäàíèé èñïîëüçóþòñÿ äëÿ ñâÿçè ìåæäó ïàðàìè ôîðì. Íàïðèìåð, ôîð- ìà 3A ìîæåò áûòü ñâÿçàíà ñ ôîðìîé 3B ñ ïîìîùüþ íàáîðà èç X çàäàíèé, ôîðìà 3B – ñ ôîðìîé 3C ñ ïîìîùüþ íàáîðà èç Y çàäàíèé, à ôîðìà 3C, â ñâîþ î÷åðåäü, ñâÿçàíà ñ ôîðìîé 3A íà- áîðîì èç Z çàäàíèé. Êàæäàÿ ôîðìà òàêæå ñîäåðæèò óíèêàëüíûå çàäàíèÿ, êîòî- ðûå íå ïîÿâëÿþòñÿ íè â îäíîé èç äðóãèõ ôîðì (ðèñ. 4.1). Òðåòèé ñïîñîá – ëèíåéíàÿ ñâÿçü, êîòîðàÿ ñëåäóåò êðóãîâîé ìîäåëè ñâÿçè, íî èñêëþ÷àåò èñïîëüçîâàíèå äëÿ ñâÿçè íàáîðà çàäàíèé Z. Òàêèì îáðàçîì, ôîðìà 3A áóäåò ñâÿçàíà ñ ôîðìîé 3B, à 3B – ñ 3C, íî ìåæäó ôîðìàìè 3A è 3C íå áóäåò íèêàêîé ñâÿçè. Åñëè íåÿñíî, êàê áóäóò ðàáîòàòü çàäàíèÿ, ëó÷øå èñïîëüçî- âàòü êðóãîâóþ ñâÿçü è áîëüøåå ÷èñëî çàäàíèé äëÿ ñâÿçè, ÷åì ýòî íåîáõîäèìî â îêîí÷àòåëüíîì âàðèàíòå ôîðì. Ïðè êðóãî- âîé ñâÿçè äàæå â òîì ñëó÷àå, åñëè îäèí íàáîð ñâÿçóþùèõ çàäà- íèé îêàæåòñÿ íåóäà÷íûì, ñâÿçè ìåæäó ôîðìàìè áóäóò ñîõðà- íåíû. Ñâÿçè ìîãóò áûòü è ãîðèçîíòàëüíûìè (äëÿ îäèíàêîâûõ êëàñ- ñîâ), è âåðòèêàëüíûìè (äëÿ ðàçëè÷íûõ êëàññîâ, íàïðèìåð, ñâÿ- çè ìåæäó ðåçóëüòàòàìè òåñòèðîâàíèÿ 3-õ è 5-õ êëàññîâ). Åñëè êîíå÷íûå ôîðìû òåñòà íå ñîáèðàþòñÿ ñâÿçûâàòü âåðòèêàëüíî, òîãäà ñâÿçü ïðè ïðåäâàðèòåëüíîì òåñòèðîâàíèè äîëæíà èìåòü ÿâíî âûðàæåííûé àêöåíò íà ãîðèçîíòàëüíîì ñïîñîáå. Ìèíè- ìàëüíàÿ âåðòèêàëüíàÿ ñâÿçü ìîæåò èñïîëüçîâàòüñÿ äëÿ ñðàâíå- íèÿ äàííûõ ïðåäâàðèòåëüíîãî òåñòèðîâàíèÿ ìåæäó ðàçëè÷íû- ìè ãîäàìè îáó÷åíèÿ. Ñ òî÷êè çðåíèÿ òåõíîëîãèè äëÿ ñâÿçè ðåçóëüòàòîâ ïî ðàçíûì ãîäàì îáó÷åíèÿ íåîáõîäèìî òîëüêî 8 èëè 10 îáùèõ çàäàíèé. Îöåíî÷íûå ïðîöåäóðû äëÿ óñòàíîâ- ПРЕДВАРИТЕЛЬНАЯ ПРОВЕРКА ЗАДАНИЙ 97 Рис. 4.1 Пример р овой связи заданий Форма 3A Форма 3B Форма 3C Набор заданий X Набор заданий X Набор заданий Y Набор заданий Z Набор заданий Y Набор заданий Z Набор ни альных Набор ни альных Набор ни альных заданий для 3A заданий для 3В заданий для 3С Источни : разработ и авторов. ëåíèÿ õîðîøåé âåðòèêàëüíîé ñâÿçè ìåæäó çàäàíèÿìè ÿâëÿþò- ñÿ áîëåå òðóäíûìè, ÷åì ïðîöåäóðû äëÿ îáåñïå÷åíèÿ õîðîøåé ãîðèçîíòàëüíîé ñâÿçè. Ïîñêîëüêó â ïðåäâàðèòåëüíîì òåñòèðî- âàíèè êà÷åñòâî ñâÿçóþùèõ çàäàíèé îáû÷íî íåèçâåñòíî, òî æåëàòåëüíî èìåòü, ïî êðàéíåé ìåðå, 16 çàäàíèé äëÿ óñòàíîâëå- íèÿ âåðòèêàëüíîé ñâÿçè, ðàñïðîñòðàíåííîé ïî êàæäîé èç òåñ- òîâûõ ôîðì. Åñëè êîíå÷íûå ôîðìû òåñòà äîëæíû áûòü ñâÿçàíû âåðòè- êàëüíî, òî âàæíî èìåòü áîëüøåå ÷èñëî çàïàñíûõ çàäàíèé äëÿ óñòàíîâëåíèÿ âåðòèêàëüíîé ñâÿçè â òåñòèðîâàíèè ïî ñðàâíå- íèþ ñ òåì ÷èñëîì, êîòîðîå ïîòðåáóåòñÿ äëÿ îêîí÷àòåëüíîãî òåñòèðîâàíèÿ, ÷òîáû äëÿ îêîí÷àòåëüíûõ ôîðì òåñòà ìîãëè áûòü âûáðàíû ëó÷øèå çàäàíèÿ. Àëüòåðíàòèâíàÿ ìîäåëü ïðåä- âàðèòåëüíîãî òåñòèðîâàíèÿ ïðè âåðòèêàëüíîé ñâÿçè îêîí÷à- òåëüíûõ ôîðì òåñòà ïîêàçàíà íà ðèñ. 4.2. Ìîäåëü îñíîâàíà íà ñëó÷àéíîì ðàñïðåäåëåíèè ôîðì A, B è C â ïðåäåëàõ êàæäîãî êëàññà.  ýòîì äîâîëüíî ñëîæíîì ïðèìåðå êàæäàÿ èç ôîðì 3A, 5A, 7A è 10A âåðòèêàëüíî ñâÿçàíà ëèíåéíûì ñïîñîáîì ñ ïîìîùüþ 8–10 çàäàíèé. Çàäàíèÿ ñâÿçàíû ïîäîáíûì ñïîñîáîì è â ôîð- ìàõ B è C. Åñòü â öåëîì 8–10 çàäàíèé äëÿ ãîðèçîíòàëüíûõ ñâÿ- çåé ìåæäó ôîðìàìè A è B äëÿ 3-ãî è 7-ãî êëàññîâ è â öåëîì 8–10 çàäàíèé äëÿ ãîðèçîíòàëüíûõ ñâÿçåé ìåæäó ôîðìàìè B è C äëÿ 5-ãî è 10-ãî êëàññîâ. Ýòî ÷èñëî çàäàíèé äëÿ ãîðèçîíòàëüíûõ ñâÿçåé ÿâëÿåòñÿ âïîëíå ïðèåìëåìûì. Åñëè òåñòîâûå ôîðìû íå ñîáèðàþòñÿ ðàñïðåäåëÿòü â ñëó÷àéíîì ïîðÿäêå âíóòðè êàæäî- 98 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ Рис. 4.2 Модель для верти ально связ ющих заданий 3-й ласс от 4 до 5 заданий 3-й ласс 3-й ласс Форма А общих для Форма В Форма С 3А и 3В от 8 до 10 от 8 до 10 от 8 до 10 заданий заданий заданий общих для общих для общих для 3А и 5А 3В и 5В 3С и 5С от 4 до 5 заданий 5-й ласс 5-й ласс 5-й ласс общих для Форма А Форма В Форма С 5В и 5С от 8 до 10 от 8 до 10 от 8 до 10 заданий заданий заданий общих для общих для общих для 5А и 7А 5В и 7В 5С и 7С 7-й ласс от 4 до 5 заданий 7-й ласс 7-й ласс Форма А общих для Форма В Форма С 7А и7В от 8 до 10 от 8 до 10 от 8 до 10 заданий заданий заданий общих для общих для общих для 7А и10А 7В и10В 7С и10С от 4 до 5 заданий общих для 10-й ласс 10-й ласс 7А и7В 10-й ласс Форма А Форма В Форма С Источни : разработ и авторов. ãî êëàññà èëè åñëè àâòîðû íå óâåðåíû â êà÷åñòâå çàäàíèé äëÿ ãîðèçîíòàëüíûõ ñâÿçåé, òî äîëæíî áûòü âêëþ÷åíî áîëüøå ñâÿ- çóþùèõ çàäàíèé â òåñòû äëÿ êàæäîãî êëàññà. Ñâÿçóþùèå çàäàíèÿ äîëæíû áûòü ïîìåùåíû â íà÷àëå èëè â ñåðåäèíå òåñòîâûõ ôîðì, íî íå â êîíöå, ÷òîáû èçáåæàòü ñèòó- àöèé, êîãäà èñïûòóåìûå âîâñå íå ïðèñòóïÿò ê îòâåòó íà íèõ. Èõ íåîáõîäèìî ïðèâîäèòü â îäíîì ïîðÿäêå â êàæäîì òåñòîâîì áóêëåòå è íà îäíàêîâûõ ìåñòàõ òàê, ÷òîáû ëþáûå ðàçëè÷èÿ â ðåçóëüòàòàõ íå ìîãëè áûòü ïðèïèñàíû ïîðÿäêó èëè ìåñòó ðàñïî- ëîæåíèÿ çàäàíèé. Íåáîëüøèå ðàçëè÷èÿ â ìåñòîïîëîæåíèè íå- èçáåæíû. Âàæíî èçáåãàòü çíà÷èòåëüíûõ îòëè÷èé. ПРЕДВАРИТЕЛЬНАЯ ПРОВЕРКА ЗАДАНИЙ 99 Ñâÿçóþùèå çàäàíèÿ äîëæíû îòíîñèòüñÿ ê äèàïàçîíó ñðåä- íåé òðóäíîñòè.  öåëîì, ó÷àùèåñÿ ñî ñðåäíèìè ñïîñîáíîñòÿ- ìè â ãåíåðàëüíîé ñîâîêóïíîñòè äîëæíû ïðàâèëüíî îòâåòèòü íà ýòè çàäàíèÿ ñ âåðîÿòíîñòüþ îò 40 äî 60%. Ïîñêîëüêó â ïðåä- âàðèòåëüíîì òåñòå òðóäíîñòü çàäàíèé äëÿ âûáîðêè èñïûòóåìûõ íå áóäåò èçâåñòíà, àâòîðû äîëæíû ñäåëàòü ñâîþ ïðèáëèçèòåëü- íóþ íàèëó÷øóþ îöåíêó òðóäíîñòè çàäàíèé. Åñëè îíè ñîìíåâà- þòñÿ â òî÷íîñòè ñâîèõ ïðèáëèæåííûõ îöåíîê, òî æåëàòåëüíî óâåëè÷èòü ÷èñëî çàäàíèé äëÿ óñòàíîâëåíèÿ ñâÿçè ìåæäó ôîð- ìàìè òåñòà. Åñëè çàäàíèÿ ðàçðàáîòàíû â ñîîòâåòñòâèè ñ þíèòàìè, òî ëó÷øå ñâÿçûâàòü ôîðìû ñ ïîìîùüþ çàäàíèé, âçÿòûõ èç äâóõ èëè áîëüøå þíèòîâ, ïîñêîëüêó ñâÿçü íå ðàáîòàåò äîñòàòî÷íî õîðîøî, åñëè çàäàíèÿ âçÿòû èç îäíîãî þíèòà. Íåò íåîáõîäèìî- ñòè èñïîëüçîâàòü äëÿ ñâÿçè âñå çàäàíèÿ èç þíèòà. Íåêîòîðûå ìî- ãóò áûòü îáùèìè, à äðóãèå – óíèêàëüíûìè, êàê ïîêàçàíî â òàáë. 4.1. Îáà þíèòà «Ïîèñê äîìàøíåãî æèâîòíîãî» è «Ã îðà Aâàðàïà» âêëþ÷åíû â ôîðìû 3A è 3B äëÿ 3-ãî êëàññà. Òðè çàäàíèÿ ÿâëÿþò- ñÿ îáùèìè äëÿ êàæäîãî þíèòà è êàæäîé ôîðìû. Ó ïðåäâàðèòåëü- íîãî òåñòà åñòü äîïîëíèòåëüíûå óíèêàëüíûå çàäàíèÿ. Åñëè ïðåäòåñò âêëþ÷àåò êîìáèíàöèþ ôîðì çàäàíèé, òî ñâÿ- çóþùèå çàäàíèÿ äîëæíû òàêæå îòðàæàòü ýòî ñî÷åòàíèå ôîðì. Çàäàíèÿ äîëæíû èìåòü óíèêàëüíûå ìåòêè, íàïå÷àòàííûå ðÿäîì ñ íèìè â êàæäîé òåñòîâîé ôîðìå, â êîòîðîé îíè âñòðå- ÷àþòñÿ, è îïðåäåëåííûì îáðàçîì âûäåëåííûå. Çàäàíèÿ ñ îä- íîé è òîé æå ìåòêîé äîëæíû áûòü èäåíòè÷íûìè âî âñåõ îòíî- øåíèÿõ, çà èñêëþ÷åíèåì ïîðÿäêà ïîÿâëåíèÿ â òåñòîâîé ôîðìå. ТАБЛИЦА 4.1 Связ ющие задания в дв х юнитах по чтению Общие задания Юниты для форм Уникальные задания Уникальные задания по чтению 3A и3B для формы 3A для формы 3B «Поиск домашнего 3, 4, 6 2, 7 1, 5 животного» «Гора Аварапа» 1, 2, 5 3 4 Источни : разработ и авторов. 100 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ Çàäàíèÿ, èìåþùèå íåáîëüøèå èçìåíåíèÿ â èõ ôîðìóëèðîâêàõ, äîëæíû èìåòü ðàçíûå ìåòêè. Àâòîð çàäàíèé äîëæåí ñîçäàòü êðóïíîôîðìàòíóþ òàáëèöó ñî ñïèñêîì âñåõ çàäàíèé; çàãîëîâêè òàáëèöû äîëæíû îòðàæàòü, êàêèå çàäàíèÿ ïîÿâëÿþòñÿ, â êàêîé ôîðìå è â êàêîì ïîðÿäêå. Òàáë. 4.2 ïîêàçûâàåò ÷àñòü òàêîé òèïîâîé êðóïíîôîðìàòíîé òàáëèöû, êîòîðàÿ îõâàòûâàåò òðè þíèòà («Ñîáàêè», «Ellie» è «Óäàð») òåñòà ïî ÷òåíèþ äëÿ 5-ãî êëàññà. ТАБЛИЦА 4.2 Часть р пноформатной таблицы для отслеживания заданий по формам Название Метка Форма 5A Форма 5B Форма 5C Форма 5D юнита задания «Собаки» R070101 1 1 4 4 «Собаки» R070102 3 3 5 5 «Собаки» R070103 2 «Собаки» R070104 2 «Ellie» R070201 1 «Ellie» R070202 2 1 «Ellie» R070203 3 2 «Ellie» R070204 3 «Удар» R070301 4 6 «Удар» R070302 5 7 Источни : разработ и авторов. Çàäàíèÿ äëÿ òðåõ þíèòîâ ïîêàçàíû ñëåâà. ×èñëà â êîëîí- êàõ îòðàæàþò ïîðÿäîê ïîÿâëåíèÿ êàæäîãî èç ýòèõ çàäàíèé â êîíêðåòíîé ïðåäòåñòîâîé ôîðìå. Ïåðâûå äâà çàäàíèÿ â þíè- òå «Ñîáàêè» ÿâëÿþòñÿ îáùèìè äëÿ âñåõ ÷åòûðåõ ôîðì. ВЫЧИТКА И ТИРАЖИРОВАНИЕ ПРЕДВАРИТЕЛЬНОГО ТЕСТА Êàæäîå çàäàíèå ïðåäòåñòà äîëæíî ïîÿâèòüñÿ â òîì æå âèäå, â êàêîì îíî áóäåò âêëþ÷åíî â îêîí÷àòåëüíûé òåñò. Ýòî òàêæå êà- ñàåòñÿ è ìàòåðèàëîâ ñòèìóëà, ãðàôèêîâ è èëëþñòðàöèé. Èäå- àëüíî, êîãäà è ñâÿçóþùèå çàäàíèÿ ïðèâîäÿòñÿ â òîì æå ïîðÿä- êå, íî íà ïðàêòèêå ýòî íå âñåãäà âîçìîæíî. ПРЕДВАРИТЕЛЬНАЯ ПРОВЕРКА ЗАДАНИЙ 101 Ìàòåðèàë ñòèìóëà ïðè ïðî÷òåíèè çàäàíèÿ äîëæåí ðàñïî- ëàãàòüñÿ èëè íà òîé æå ñàìîé ñòðàíèöå, ÷òî è çàäàíèå, èëè îí ìîæåò íàõîäèòüñÿ íà ëåâîé ñòðàíèöå ðàçâîðîòà, à çàäàíèÿ íà ïðàâîé, ÷òî ïîçâîëèò èñïûòóåìûì ëåãêî ïåðåêëþ÷àòü âíèìà- íèå îò òåêñòà ñòèìóëîâ ê çàäàíèÿì. Íà ïåðâîé ñòðàíèöå ïðåäòåñòîâîãî áóêëåòà íå äîëæíî áûòü âñåõ äåòàëåé, êîòîðûå íåîáõîäèìû â êîíå÷íîé ôîðìå òåñòà.  ïîñëåäíåé äîëæíû çàïðàøèâàòüñÿ ñâåäåíèÿ î øêîëå èñïûòó- åìîãî, ãîäå îáó÷åíèÿ, à òàêæå ïîë, âîçðàñò è ðîäíîé ÿçûê. Ïî- ñêîëüêó ðåçóëüòàòû ïðåäâàðèòåëüíîãî òåñòèðîâàíèÿ ó÷àùèì- ñÿ íå ñîîáùàþò âîâñå, òî áëàíêè ïîäïèñûâàòü íå òðåáóåòñÿ. Íåêîòîðûå âòîðîñòåïåííûå äåòàëè, êîòîðûå íåîáõîäèìû â îêîí÷àòåëüíîì òåñòå, â ïðåäâàðèòåëüíîì òåñòèðîâàíèè íå íóæíû. Ðàñïîëîæåíèå çàäàíèé äîëæíî áûòü ñîãëàñîâàííûì ïî âñåì òåñòîâûì ôîðìàì.  ïðîöåññå ïîäãîòîâêè èëè ðàññìîòðåíèÿ âîïðîñîâ òèðà- æèðîâàíèÿ ïðåäòåñòîâûõ ìàòåðèàëîâ íåëüçÿ çàáûâàòü î ñëåäó- þùåì êîíòðîëüíîì ñïèñêå: çàãîëîâêè (áîëüøèå è ÿñíûå); îòñòóïû îò êðàåâ – ââåðõó, âíèçó, ñëåâà è ñïðàâà (ñîãëàñî- âàííûå); íîìåðà ñòðàíèö (ïîñëåäîâàòåëüíûå); íîìåðà çàäàíèé (áîëüøèå è ÿñíûå); ìåòêè çàäàíèé (ïðèìåíèìûå); ëèíèè äëÿ çàïèñè îòâåòîâ èñïûòóåìûìè (ÿñíûå è ñîîòâåò- ñòâóþùåé äëèíû); òåêñòû çàäàíèé (êåãëü øðèôòà 12 èëè 14); ÷èñëî ñëîâ â ñòðîêå (10–12); ìàòåðèàë ñòèìóëà (ÿñíûé, ïðåäïî÷òèòåëüíî ñî øðèôòîì, îòëè÷àþùèìñÿ îò øðèôòà òåêñòà çàäàíèé); ìàòåðèàë ñòèìóëà è ñâÿçàííûå ñ íèì çàäàíèÿ (íà îäíîé ñòðà- íèöû èëè íà ñòðàíèöàõ ðàçâîðîòà); çàãîëîâêè è ïîäñòðî÷íûå ñíîñêè (ñîãëàñîâàííûå è ïîëåçíûå); ãðàìîòíîå ïðàâîïèñàíèå (çàâåðøåííàÿ ïðîâåðêà). Íåêîòîðûå òåñòû âêëþ÷àþò îöåíî÷íûå îïöèè â äèõîòîìè- ÷åñêîé øêàëå. Íàïðèìåð, 0 èëè 1 ìîæíî áûëî áû ïðèñâîèòü 102 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ çàäàíèþ, ÷òîáû îöåíèòü íåïðàâèëüíûé èëè ïðàâèëüíûé îòâåò ñîîòâåòñòâåííî. Îöåíî÷íûå îïöèè äëÿ çàäàíèé, êîòîðûå íå ïûòàëèñü âûïîëíÿòü, îáû÷íî ïðèíèìàþòñÿ ðàâíûìè 9, êàê áûëî ðåêîìåíäîâàíî â ïðåäûäóùåé ãëàâå. Ýêñïåðòû ìîãóò ïðî- ñòî îáâåñòè ñîîòâåòñòâóþùóþ îöåíêó êðóæêîì. Âñòàâêà îöåíîê â áóêëåò íàïîìèíàåò ýêñïåðòàì äèàïàçîí îöåíî÷íûõ îïöèé. Âñå òåñòîâûå áóêëåòû è ðóêîâîäñòâà ïî ïðåäúÿâëåíèþ òåñ- òîâ äîëæíû áûòü òùàòåëüíî âû÷èòàíû. Êîððåêòîðó ñëåäóåò âûïîëíèòü òåñòîâûå çàäàíèÿ òàê, êàê åñëè áû îí áûë íà ìåñòå ó÷àùèõñÿ. Âû÷èòêà äîëæíà ãàðàíòèðîâàòü, ÷òî ìàòåðèàëû â òåñòå ñîîòâåòñòâóþò ñëåäóþùèì êðèòåðèÿì. Âõîäíûå èíñòðóêöèè è òðåíèðîâî÷íûå çàäàíèÿ ÿñíû è íå- äâóñìûñëåííû. Çàäàíèÿ ÿñíû è íåäâóñìûñëåííû. Ìàòåðèàë ñòèìóëà ÿñåí è ëåãîê äëÿ ÷òåíèÿ. Îïöèè â çàäàíèÿõ ñ ìíîæåñòâåííûì âûáîðîì âêëþ÷àþò îäèí ïðàâèëüíûé âàðèàíò îòâåòà, à äðóãèå – âñå ÿâíî íå- ïðàâèëüíûå. Êàæäûé ïðåäëîæåííûé âàðèàíò îòâåòà äëÿ âûáîðà èìååò ñìûñë. Ïðè íåîáõîäèìîñòè îáåñïå÷åíî ñîîòâåòñòâóþùåå ìåñòî äëÿ çàïèñè îòâåòîâ èñïûòóåìûõ. Ìàòåðèàë ñòèìóëà äëÿ ÷òåíèÿ íàõîäèòñÿ íà òîé æå ñàìîé ñòðàíèöå, ÷òî è çàäàíèå, èëè îí ïîìåùåí íà ëåâóþ ñòðàíè- öó, à çàäàíèÿ íà ïðîòèâîïîëîæíîé ñòðàíèöå ðàçâîðîòà. Çàäàíèÿ â þíèòå íåçàâèñèìû, ò.å. îòâåò íà îäíî çàäàíèå íå ñîäåðæèòñÿ â îñíîâíîé ÷àñòè èëè â âàðèàíòàõ îòâåòîâ íà äðóãèå çàäàíèÿ. Ñâÿçóþùèå çàäàíèÿ èäåíòè÷íû. Íå âñòðå÷àåòñÿ íè îäíîé îøèáêè â ïðàâîïèñàíèè èëè ïóíê- òóàöèè. Ðàñïîëîæåíèå ðàçëè÷íûõ òåñòîâûõ ôîðì ÿâëÿåòñÿ ñîãëà- ñîâàííûì. Î÷åíü âàæíà êîððåêòóðà çàäàíèé. Ñåðüåçíûå îøèáêè ìîãóò áûòü äîïóùåíû ôàêòè÷åñêè íà âñåõ ñòàäèÿõ ïîäãîòîâêè. Ïðåä- âàðèòåëüíîå òåñòèðîâàíèå ñòàíåò ïóñòîé òðàòîé âðåìåíè, ñèë ПРЕДВАРИТЕЛЬНАЯ ПРОВЕРКА ЗАДАНИЙ 103 è ñðåäñòâ, åñëè òåñò áóäåò ñîäåðæàòü îïå÷àòêè è íåñîãëàñîâàí- íîñòè.  ýòîì ñëó÷àå óìåíüøèòñÿ ïîëíîöåííîñòü äàííûõ, ïîòî- ìó ÷òî íåïðàâèëüíûå ïðåäòåñòîâûå çàäàíèÿ íå ìîãóò èñïîëüçî- âàòüñÿ â îêîí÷àòåëüíîì òåñòå. Ïîýòîìó íåîáõîäèìî ïðèâëåêàòü êâàëèôèöèðîâàííûõ êîððåêòîðîâ è îòâîäèòü äîñòàòî÷íî âðå- ìåíè äëÿ âû÷èòêè è âíåñåíèÿ ïðàâêè. Ïðåäòåñòîâûå áóêëåòû äîëæíû áûòü ïðîâåðåíû ïîñëå ðàñ- ïå÷àòêè íà ïðèíòåðå. Âûáîðî÷íàÿ ïðîâåðêà äîëæíà áûòü ñäå- ëàíà èç êàæäîé ñâÿçêè èëè êîðîáêè ñ áóêëåòàìè, ÷òîáû ãàðàí- òèðîâàòü, ÷òî: âñå ñòðàíèöû áûëè íàïå÷àòàíû ÷åòêî; ñòðàíèöû ðàñïîëîæåíû â ïðàâèëüíîì ïîðÿäêå; ñòðàíèöû íå áûëè äóáëèðîâàíû; ìàòåðèàë ñòèìóëà äëÿ ÷òåíèÿ äëÿ êàæäîãî þíèòà íàõîäèò- ñÿ íà ïðàâèëüíîé ñòðàíèöå; èëëþñòðàöèè ÷åòêèå. Ïðåäòåñòîâûå áóêëåòû äîëæíû áûòü íàïå÷àòàíû è ïðîâå- ðåíû çàäîëãî äî ðàññûëêè ïî øêîëàì. Òàêîé ïîðÿäîê ðàáîòû ïîçâîëèò íàéòè âðåìÿ äëÿ òîãî, ÷òîáû â ñëó÷àå íåîáõîäèìîñ- òè ïåðåèçäàòü áóêëåòû. Ïîñêîëüêó òèðàæè ïðåäòåñòîâ îáû÷íî ìàëåíüêèå, òî ïåðåèçäàíèå, åñëè îíî òðåáóåòñÿ, ñòîèò îòíîñè- òåëüíî íåäîðîãî. ПРОВЕДЕНИЕ ПРЕДВАРИТЕЛЬНОГО ТЕСТИРОВАНИЯ Íà ñòàäèè âûïîëíåíèÿ ïðåäâàðèòåëüíîãî èëè îêîí÷àòåëüíîãî òåñòà ó ó÷àùèõñÿ íå äîëæíî âîçíèêíóòü íèêàêîãî ñîìíåíèÿ îò- íîñèòåëüíî òîãî, êàê ïðåäñòàâèòü ñâîè îòâåòû. Òåñòû ðàçðàáà- òûâàþòñÿ ñ òàêèì ðàñ÷åòîì, ÷òîáû ïðîâåðèòü çíàíèå âàæíûõ ðàçäåëîâ ó÷åáíîãî ïëàíà, à íå ñïîñîáíîñòè èñïûòóåìûõ ê óãà- äûâàíèþ ôîðìû ïðåäñòàâëåíèÿ îòâåòîâ. Êàê â íà÷àëå ïðåäâà- ðèòåëüíîãî òåñòà, òàê è â íà÷àëå êàæäîãî åãî ðàçäåëà íåîáõîäè- ìî ïðåäîñòàâèòü ó÷àùèìñÿ âîçìîæíîñòü âûïîëíåíèÿ òðåíèðîâî÷íûõ çàäàíèé. Îñîáåííî âàæíî ïðåäîñòàâèòü èñïû- òóåìûì àäåêâàòíîå ÷èñëî òðåíèðîâî÷íûõ çàäàíèé (íàïðèìåð, òðè èëè ÷åòûðå) â òåõ ñèñòåìàõ îáðàçîâàíèÿ, â êîòîðûõ çàäà- íèÿ ñ ìíîæåñòâåííûì âûáîðîì òðàäèöèîííî íå èñïîëüçóþòñÿ. 104 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ Çàäàíèé â ïðåäòåñòîâûõ ôîðìàõ ìîæåò áûòü ñòîëüêî æå, ñêîëüêî è â îêîí÷àòåëüíîì âàðèàíòå, à ìîæåò áûòü è íåìíîãî ìåíüøå. Âàæíî, ÷òîáû èñïûòóåìûå ïîïûòàëèñü âûïîëíèòü âñå ïðåäëîæåííûå èì çàäàíèÿ. Åñëè ïðåäâàðèòåëüíûé òåñò áóäåò ñëèøêîì äëèííûì èëè ñîäåðæàòü ñëèøêîì ìíîãî òðóäíûõ çà- äàíèé â êîíöå, òî íåìíîãèå èç ýòèõ ïîñëåäíèõ çàäàíèé áóäóò âûïîëíåíû ó÷àùèìèñÿ. Òåñò ëó÷øå íà÷àòü ñ íåñêîëüêèõ ëåãêèõ çàäàíèé. Èõ âûïîë- íåíèå áóäåò ñòèìóëîì äëÿ áîëåå ñëàáûõ ó÷àùèõñÿ. Æåëàòåëüíî ÷åðåäîâàòü òðóäíîñòü èäóùèõ äðóã çà äðóãîì çàäàíèé, ÷òîáû ñî- õðàíèòü ó èñïûòóåìûõ îïðåäåëåííóþ ìîòèâàöèþ ïðè âûïîëíå- íèè âñåãî òåñòà. Òîãäà îíè íå áðîñÿò òåñò, êîãäà äîéäóò äî òðóä- íûõ çàäàíèé. Ïîïûòàéòåñü ñäåëàòü îáùóþ òðóäíîñòü êàæäîé ïðåäòåñòîâîé ôîðìû ïðèìåðíî îäèíàêîâîé. Èçáåãàéòå òåñòîâ, íàïîëíåííûõ èñêëþ÷èòåëüíî òÿæåëûìè çàäàíèÿìè, ïîòîìó ÷òî ó÷àùèåñÿ ìîãóò ïðåæäåâðåìåííî ñäàòüñÿ è áðîñèòü òåñò. Åñëè ýòî ñëó÷èòñÿ, òî äëÿ çàäàíèé â êîíöå ôîðìû íå áóäåò äîñòàòî÷- íî äàííûõ äëÿ öåëåé àíàëèçà ïðåäâàðèòåëüíîãî òåñòà. Ïðåäâàðèòåëüíîå òåñòèðîâàíèå ïðåäîñòàâëÿåò âîçìîæ- íîñòü ïðîâåðèòü àëüòåðíàòèâíûå âåðñèè çàäàíèé â ðàçëè÷íûõ ôîðìàõ. Íàïðèìåð, çàäàíèå ìîæåò áûòü ïðåäâàðèòåëüíî ïðî- âåðåíî â ôîðìå ñ ìíîæåñòâåííûì âûáîðîì îòâåòà è îòêðûòîé ôîðìå (äîïîëíèòåëüíûé ìàòåðèàë 4.1).  ïðåäâàðèòåëüíûé òåñò ìîãóò áûòü òàêæå âêëþ÷åíû ðàç- ëè÷íûå ôîðìóëèðîâêè îòêðûòûõ çàäàíèé. Îáðàòèòå âíèìà- íèå, ÷òî àëüòåðíàòèâíûå âåðñèè çàäàíèé íå äîëæíû èñïîëüçî- âàòüñÿ â êà÷åñòâå ñâÿçóþùèõ, ïîñêîëüêó çàäàíèÿ äëÿ óñòàíîâêè ñâÿçè ìåæäó ôîðìàìè äîëæíû áûòü èäåíòè÷íûìè. ОЦЕНКА ПРЕДВАРИТЕЛЬНОГО ТЕСТА Öåëü ñáîðà äàííûõ ïðåäâàðèòåëüíîãî òåñòèðîâàíèÿ, èëè ýêñ- ïåðèìåíòàëüíûõ äàííûõ, ñîñòîèò â òîì, ÷òîáû ïîëó÷èòü èí- ôîðìàöèþ, êîòîðàÿ ïîìîæåò îòîáðàòü çàäàíèÿ õîðîøåãî êà- ÷åñòâà äëÿ îêîí÷àòåëüíîãî òåñòà. Âîîáùå, îöåíêè è èìåíà ó÷àùèõñÿ íåò íåîáõîäèìîñòè ñâÿçûâàòü ìåæäó ñîáîé. Îñíîâ- íûå ïðîáëåìû äëÿ îöåíèâàíèÿ â ïðåäâàðèòåëüíîì òåñòèðîâà- ПРЕДВАРИТЕЛЬНАЯ ПРОВЕРКА ЗАДАНИЙ 105 Дополнительный материал 4.1 Пример задания в форме с множественным выбором и в от рытой форме 1) с множественным выбором 13 + 17 + 8 = (A) 28 (B) 30 (C) 38 (D) 110 2) с от рытым ответом 13 + 17 + 8 = __________ íèè ñâÿçàíû ñ êîíòðîëåì êà÷åñòâà è ñîãëàñîâàííîñòüþ â îáðà- áîòêå îòâåòîâ ó÷àùèõñÿ. Âñå îöåíèâàíèå òðåáóåò ïðîöåäóð êîíòðîëÿ êà÷åñòâà. Âûïîë- íåíèå îöåíèâàíèÿ ïî ïðåäâàðèòåëüíîìó òåñòó è ââîä äàííûõ âðó÷íóþ îáû÷íî áîëåå ýêîíîìíû, ïîòîìó ÷òî ÷èñëî çàäàíèé íà- õîäèòñÿ ïîä êîíòðîëåì. Ýêñïåðòû è ïåðñîíàë ïî ââîäó äàííûõ íåïðåìåííî äîëæíû ïðîéòè îáó÷åíèå. Ìåíåäæåð ïî ðàçðàáîò- êå òåñòîâ îáÿçàí ïðîñëåäèòü, ÷òîáû êà÷åñòâî èõ ðàáîòû ïðîâå- ðÿëîñü äâàæäû â äåíü, äëÿ ïîëó÷åíèÿ ãàðàíòèé ñîãëàñîâàííîñ- òè è íàäåæíîñòè ðåçóëüòàòîâ. Íà ðàííèõ ñòàäèÿõ ïðîâåðêè îñóùåñòâëÿþòñÿ ÷àñòî, à íà áîëåå ïîçäíèõ, åñëè ðàáîòà ýêñïåð- òîâ îêàçàëàñü óäîâëåòâîðèòåëüíîé, èõ ìîæíî ïðîâîäèòü ðåæå. Ïðîöåíò ó÷àùèõñÿ, êîòîðûå íå ïîïûòàëèñü âûïîëíèòü ïðåäòåñòîâûå çàäàíèÿ, ïîìîãàåò ñäåëàòü âàæíûé âûâîä î òîì, êàê ñòðóêòóðèðîâàòü îêîí÷àòåëüíóþ ôîðìó òåñòà. Íèæå ïðè- âîäÿòñÿ îáùèå ïðèíöèïû, ðåãëàìåíòèðóþùèå òàêóþ ðàáîòó. Åñëè íå ìåíåå 15% ó÷àùèõñÿ íå ïîïûòàëèñü âûïîëíèòü íåñêîëüêî çàäàíèé â êîíöå òåñòà, òî ïðåäâàðèòåëüíûé òåñò, âîçìîæíî, áûë ñëèøêîì äëèííûì. Ðàññìîòðèòå âîçìîæ- íîñòü ñîçäàíèÿ áîëåå ëåãêîãî èëè áîëåå êîðîòêîãî îêîí÷à- òåëüíîãî òåñòà èëè èçìåíèòå è åãî òðóäíîñòü, è äëèíó. Åñëè íå ìåíåå 15% ó÷àùèõñÿ íå ïîïûòàëèñü âûïîëíèòü çàäàíèå, ðàñïîëîæåííîå íå â êîíöå òåñòà, òî, âîçìîæíî, îøèáêà äîïóùåíà â ñïîñîáå ïðåäñòàâëåíèÿ ýòîãî çàäàíèÿ ëèáî îíî ñëèøêîì òðóäíîå. Âîçìîæíî, èñïûòóåìûå ïðî- 106 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ ïóñòèëè çàäàíèå, íå çíàÿ, êàê ïîêàçàòü ñâîé îòâåò, èëè íå ïîíÿëè åãî ôîðìóëèðîâêó. Çàäàíèå íåîáõîäèìî ïåðåñìîò- ðåòü è ïðîâåñòè ïðåäâàðèòåëüíóþ ïðîâåðêó íîâîãî çàäà- íèÿ. Åñëè îïðåäåëåííàÿ ãðóïïà èñïûòóåìûõ (íàïðèìåð, íå ìå- íåå 15% äåâî÷åê) íå ïîïûòàëèñü âûïîëíèòü çàäàíèå, íî áîëüøèíñòâî äðóãèõ èñïûòóåìûõ åãî ñäåëàëè âåðíî, òî, âîçìîæíî, çàäàíèå èìååò ñèñòåìàòè÷åñêóþ îøèáêó. Ïðîàíà- ëèçèðóéòå çàäàíèÿ, íå âêëþ÷àÿ èõ â îêîí÷àòåëüíûé òåñò. Åñëè íå ìåíåå 15% èñïûòóåìûõ ñîãëàñîâàííî íå ïîïûòà- ëèñü âûïîëíèòü çàäàíèÿ â îïðåäåëåííîé ôîðìå (íàïðèìåð, îòêðûòûå çàäàíèÿ), òî, âîçìîæíî, îíè ïðîñòî íå ïîíÿëè, êàê ïðåäñòàâèòü ñâîè îòâåòû, èëè íóæäàëèñü â ïîäðîáíîé èíñòðóêöèè, êàê îòâå÷àòü íà òàêèå çàäàíèÿ. Ðàññìîòðèòå âîçìîæíîñòü âêëþ÷åíèÿ äîïîëíèòåëüíûõ òðåíèðîâî÷íûõ çàäàíèé èëè ïðèìåðîâ èõ âûïîëíåíèÿ, èñïîëüçóþùèõ ýòó ôîðìó, è ñíîâà ïðîâåäèòå ïðåäâàðèòåëüíîå òåñòèðîâàíèå ñ ýòèìè çàäàíèÿìè. Âîîáùå, ïðîïóùåííûå çàäàíèÿ èëè çàäàíèÿ, äî êîòîðûõ ó÷à- ùèåñÿ íå äîøëè, êîäèðóþòñÿ ÷èñëîì 9. Óáåäèòåñü â òîì, ÷òî íèêàêèì çàäàíèÿì íå ïðèñâîåí áàëë 9 çà ïðàâèëüíûé îòâåò. Åñëè ýòî ïðîèçîøëî, òî ìîæíî èñïîëüçîâàòü X (èëè äðóãóþ áóêâó àë- ôàâèòà), äëÿ êîäèðîâàíèÿ îöåíîê ïðîïóùåííûõ çàäàíèé. Ýêñïåðòàì íåîáõîäèìî ðàçúÿñíèòü ïðàâèëà îòíåñåíèÿ çà- äàíèé ê êàòåãîðèè ïðîïóùåííûõ. Çàäàíèå ñ÷èòàåòñÿ ïðîïóùåí- íûì, åñëè ó÷àùèéñÿ íå ñäåëàë íèêàêèõ ïîìåòîê äàæå êàðàíäà- øîì. Ëþáóþ ïîïûòêó îòâåòèòü íà çàäàíèå, äàæå åñëè îíà íåðàçáîð÷èâà, îáû÷íî ðàññìàòðèâàþò êàê íåïðàâèëüíûé îò- âåò, à íå êàê ïðîïóùåííîå çàäàíèå. Äëÿ çàäàíèé ñ ìíîæåñòâåííûì âûáîðîì äîëæíî áûòü ðàç- ðàáîòàíî ðóêîâîäñòâî ïî îöåíêå, ÷òî ïîçâîëèò ðàçðàáîò÷èêó òåñòà èëè ðåöåíçåíòó ïîëó÷èòü ìàêñèìàëüíî âîçìîæíîå êîëè- ÷åñòâî ïîëåçíûõ äàííûõ ïî êàæäîìó çàäàíèþ. Çàäàíèå ñ ÷åòûðüìÿ âàðèàíòàìè îòâåòîâ, íàïðèìåð, ìîæ- íî çàêîäèðîâàòü êàê 1, 2, 3, 4, 8 èëè 9. Ìîæíî èñïîëüçîâàòü áîëüøå öèôð, ÷òîáû îòðàçèòü áîëüøå âàðèàíòîâ. Öèôðû 1, 2, ПРЕДВАРИТЕЛЬНАЯ ПРОВЕРКА ЗАДАНИЙ 107 3 è 4 óêàçûâàþò âàðèàíò, êîòîðûé âûáðàë èñïûòóåìûé. Êîäî- âîå îáîçíà÷åíèå 7 ìîæíî èñïîëüçîâàòü, ÷òîáû ïîêàçàòü, ÷òî ó÷àùèéñÿ âûáðàë äâà èëè áîëüøå âàðèàíòîâ îòâåòîâ è, âîçìîæ- íî, íå ïîíèìàåò, êàê îòâåòèòü íà çàäàíèå.  ÷åòâåðòîé êíèãå ñåðèè ñ ïîìîùüþ êîäà 8 ìû óêàçûâàåì, ÷òî èñïûòóåìûé íå ïûòàëñÿ âûïîëíèòü çàäàíèå, è 9 – ÷òî ýòî îòäåëüíîå çàäàíèå íå ïðåäúÿâëÿëè ó÷àùèìñÿ (ïîñêîëüêó îíî áûëî â äðóãîé òåñòî- âîé ôîðìå), è ïîýòîìó åãî íåëüçÿ îöåíèâàòü êàê íåïðàâèëüíî âûïîëíåííîå. Äàííûå ïî çàäàíèÿì ñ ìíîæåñòâåííûì âûáîðîì íè â êîåì ñëó÷àå íå äîëæíû ââîäèòüñÿ òîëüêî êàê ðåçóëüòàò ïðàâèëüíî- ãî èëè íåïðàâèëüíîãî âûïîëíåíèÿ. Äëÿ ðàñïîëîæåíèÿ âàðè- àíòîâ äîëæåí èñïîëüçîâàòüñÿ íåÿâíûé îáðàçåö íóìåðàöèè îò 1 äî 4 èëè äî 5, â çàâèñèìîñòè îò èõ ÷èñëà. Ýêñïåðò èëè ñîòðóäíèê, ââîäÿùèé äàííûå, ïðîñòî çàïèñû- âàåò íîìåð âûáðàííîãî ó÷àùèìñÿ âàðèàíòà äëÿ êàæäîãî çàäà- íèÿ. Ýêñïåðòó èëè ñîòðóäíèêó, ââîäÿùåìó äàííûå, âîâñå íå íóæ- íî çíàòü, ÿâëÿåòñÿ ëè ïðàâèëüíûì îòâåò ó÷àùåãîñÿ. Ïðèìåð ôîðìàòà ââîäà äàííûõ ñì. â äîïîëíèòåëüíîì ìàòåðèàëå 4.2. Дополнительный материал 4.2 Пример формата ввода данных для предтеста Порядок предъявления Учащийся Q1 Q2 Q3 Q4 ← вопросов в тестовой форме } Ахмед Бута 2 3 2 1 Опции, выбранные каждым Мириам Висим 4 3 2 4 ← учащимся для каждого задания Альмет Дурас 2 3 1 4 Источни : разработ и авторов. Àâòîð çàäàíèÿ äîëæåí ïðåäîñòàâèòü ñïèñîê ïðàâèëüíûõ âàðèàíòîâ, èëè êëþ÷åé, äëÿ êàæäîãî çàäàíèÿ, êîòîðûå àíàëè- òèê äàííûõ ââîäèò â êîìïüþòåðíóþ ïðîãðàììó. Ïðîãðàììíîå îáåñïå÷åíèå äëÿ àíàëèçà äàííûõ îöåíèâàåò îòâåò êàæäîãî èñ- ïûòóåìîãî êàê ïðàâèëüíûé èëè íåïðàâèëüíûé íà îñíîâå ñî- ïîñòàâëåíèÿ ñ ïðåäëîæåííûì ñïèñêîì êëþ÷åé. 108 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ Èíôîðìàöèÿ îá îïöèÿõ íåïðàâèëüíûõ îòâåòîâ, âûáðàí- íûõ èñïûòóåìûìè, ïîçâîëèò àâòîðàì çàäàíèé ñóäèòü îá èõ êà- ÷åñòâå è ïîëíîöåííîñòè è ïðèíÿòü ðåøåíèå îòíîñèòåëüíî èñ- ïîëüçîâàíèÿ â îêîí÷àòåëüíîé ôîðìå òåñòà. Íàïðèìåð, åñëè ïî÷òè íèêòî íå âûáðàë íè îäèí èç äâóõ âàðèàíòîâ íåïðàâèëü- íûõ îòâåòîâ, òî îíè, î÷åâèäíî, íå ôóíêöèîíèðóþò êàê ýôôåê- òèâíûå äèñòðàêòîðû. Çàäàíèÿì ñ çàêðûòûì êîíñòðóèðóåìûì îòâåòîì è îòêðûòûì çàäàíèÿì îáû÷íî ïðèñâàèâàþò 0 (íåïðàâèëüíûé îòâåò), 1 (ïðà- âèëüíûé îòâåò) èëè 9 (ïðîïóùåííûå çàäàíèÿ). Çàäàíèÿ ñ ÷àñòè÷- íûì êðåäèòîâàíèåì ìîãóò áûòü îöåíåíû áàëëàìè 0, 1, 2 èëè 9. Ýêñïåðòíàÿ îöåíêà ïðåäòåñòîâûõ çàäàíèé, ïðîâîäèìàÿ âðó÷íóþ, òðåáóåò ñïåöèàëüíîãî îáó÷åíèÿ ýêñïåðòîâ. Íåîáõî- äèì êîíòðîëü êà÷åñòâà èõ ðàáîòû, òàêîé æå, êàê è ïðè ýêñïåðò- íîé îöåíêå ðåçóëüòàòîâ îêîí÷àòåëüíîãî òåñòà. Îïûòíûé àâòîð çàäàíèÿ äîëæåí ïðîâåñòè îáó÷åíèå ýêñïåðòîâ è íàáëþäàòü çà ïðîöåäóðîé îöåíêè ïðåäòåñòîâûõ çàäàíèé. Àâòîðàì çàäàíèé ñëåäóåò èñïîëüçîâàòü îòâåòû íà ïðåäòåñ- òû, ÷òîáû ïåðåñìîòðåòü è óñîâåðøåíñòâîâàòü ñâîè ðóêîâîäñòâà ïî îöåíèâàíèþ è îöåíî÷íûå êàòåãîðèè äî íà÷àëà îöåíêè ðå- çóëüòàòîâ ïðåäâàðèòåëüíîãî òåñòà. Ïåðåä íà÷àëîì îöåíêè âðó÷- íóþ àâòîðû äîëæíû âçÿòü ïðèìåð çàêîí÷åííûõ ïðåäòåñòîâûõ áóêëåòîâ è ñðàâíèòü ôàêòè÷åñêèå îòâåòû ó÷àùèõñÿ ñ îæèäàå- ìûìè íà çàäàíèÿ ñ êðàòêèì îòâåòîì. Àâòîðû ìîãóò èñïîëüçî- âàòü ïðèìåðû áóêëåòîâ äëÿ âêëþ÷åíèÿ îáðàçöîâ îòâåòîâ èñ- ïûòóåìûõ â ñâîè ðóêîâîäñòâà. Îöåíî÷íûå ðóêîâîäñòâà äîëæíû âêëþ÷àòü ïðàâèëà êàê äëÿ âåðíûõ, òàê è íåâåðíûõ îòâåòîâ.  äîïîëíèòåëüíîì ìàòåðèàëå 3.12 ïðèâåäåíû ïðèìåðû îòâåòîâ ðåàëüíûõ ó÷àùèõñÿ, êîòîðûå ñîîòâåòñòâóþò êàæäîé èç êàòåãî- ðèé ðåêîìåíäàöèé, âêëþ÷àÿ íóëåâûå îöåíêè. ×òîáû ïðèíÿòü âî âíèìàíèå âåñü äèàïàçîí îòâåòîâ, êîòî- ðûå ôàêòè÷åñêè äàþò ó÷àùèåñÿ, àâòîðàì íåîáõîäèìî óñîâåð- øåíñòâîâàòü èëè ðàñøèðèòü ñâîè îöåíî÷íûå ðóêîâîäñòâà. Èíîãäà ïåðåäåëêè ìîãóò áûòü âåñüìà çíà÷èòåëüíûìè. Èñïûòó- åìûå ñêëîííû ê èçîáðåòåíèþ íåïðåäâèäåííûõ, íî ïðàâèëüíûõ îòâåòîâ èëè íåîáû÷íûõ, íî òî÷íûõ ñïîñîáîâ âûðàæåíèÿ ñâî- èõ èäåé. Òàêèå ïðèìåðû íåîæèäàííûõ îòâåòîâ äîëæíû áûòü ПРЕДВАРИТЕЛЬНАЯ ПРОВЕРКА ЗАДАНИЙ 109 äîáàâëåíû â ðóêîâîäñòâà ïî îöåíêå, åñëè îíè ðàçóìíî îáîáùå- íû. Åñëè ìíîãèå ó÷àùèåñÿ äàþò îòâåòû, êîòîðûå òðóäíî êëàñ- ñèôèöèðîâàòü êàê ïðàâèëüíûå èëè íåïðàâèëüíûå, òî àâòîðû çàäàíèé äîëæíû óòî÷íèòü ñâîè ðóêîâîäñòâà, ÷òîáû ïðîÿñíèòü ðàçëè÷èÿ ìåæäó íèìè. Êîìàíäà ïî ðàçðàáîòêå çàäàíèé èëè ìå- íåäæåð ïî ðàçðàáîòêå òåñòîâ äîëæíû ðàññìîòðåòü ïåðåäåëàí- íûå ðóêîâîäñòâà ïðåæäå, ÷åì áóäóò îöåíèâàòüñÿ áóêëåòû ñ ïðåä- âàðèòåëüíûìè òåñòàìè.  õîäå îöåíèâàíèÿ âðó÷íóþ àâòîðû çàäàíèé äîëæíû ïîëó- ÷àòü èíôîðìàöèþ îò ýêñïåðòîâ î âîçìîæíûõ äàëüíåéøèõ íà- ïðàâëåíèÿõ ïåðåðàáîòêè ðóêîâîäñòâ ïî îöåíèâàíèþ. Åñëè äëÿ íåêîòîðîãî çàäàíèÿ äîëæåí áûòü ñäåëàí ñóùåñòâåííûé ïåðå- ñìîòð ðóêîâîäñòâà ïî îöåíêå, òî ñàìî çàäàíèå òàêæå ïðèäåò- ñÿ ïîâòîðíî îöåíèòü, ÷òîáû ãàðàíòèðîâàòü ñîãëàñîâàííîñòü îöåíîê. Âàæíî ïåðåñìîòðåòü ðóêîâîäñòâà ïî îöåíèâàíèþ òàêèì îáðàçîì, ÷òîáû êðèòåðèè äëÿ îöåíîê è îáðàçöû îòâåòîâ ñîîò- âåòñòâîâàëè äèàïàçîíó ôàêòè÷åñêèõ îòâåòîâ ó÷àùèõñÿ. Åñëè ïåðåñìîòðà íå áóäåò, òî «ïîòåðÿ» íåêîòîðûõ çàäàíèé íåèçáåæ- íà, ïîòîìó ÷òî íè îäèí èç îòâåòîâ íå áóäåò ñîîòâåòñòâîâàòü ÷ðåçìåðíî ñòðîãèì òðåáîâàíèÿì ðóêîâîäñòâà. Îöåíêà äðóãèõ çàäàíèé ìîæåò áûòü íåíàäåæíîé, ïîòîìó ÷òî ýêñïåðòû, íå çíàÿ, êàê îöåíèòü çàäàíèÿ â òîì ñëó÷àå, åñëè îòâåòû íà íèõ íå ñîîòâåòñòâóþò êðèòåðèÿì ðóêîâîäñòâ, áóäóò âûíîñèòü ñâîè ñîáñòâåííûå ñóæäåíèÿ. Îáû÷íî áîëåå âûñîêèå îöåíêè äëÿ çàäàíèé ñ ÷àñòè÷íûì êðåäèòîâàíèåì îáîçíà÷àþò áîëåå ñëîæíûé èëè ðàçâåðíóòûé îòâåò. Îöåíêà 2 áàëëà ïðåäïîëàãàåò «ëó÷øèé» îòâåò, ÷åì òîò, êîòîðûé ïîëó÷àåò îöåíêó 1 áàëë. Äàííûå ïðåäâàðèòåëüíîãî òåñòèðîâàíèÿ ïî çàäàíèÿì ñ ÷àñòè÷íûì êðåäèòîâàíèåì ìîãóò èñïîëüçîâàòüñÿ äëÿ ñáîðà èíôîðìàöèè î êàòåãîðèÿõ îòâåòîâ ó÷àùèõñÿ. Ýòà èíôîðìàöèÿ ìîæåò ïîìî÷ü ñêîððåêòèðîâàòü ïðåäòåñòîâûå çàäàíèÿ èëè ðóêîâîäñòâà ïî îöåíêå. Îòâåòû íà ïðåäòåñòîâîå çàäàíèå ñ ÷àñòè÷íûì êðåäèòîâàíèåì ìîãóò áûòü çàêîäèðîâàíû öèôðàìè 0, 1, 2 èëè 3, õîòÿ ýòè îöåíêè, âîçìîæ- íî, íå ÿâëÿþòñÿ èåðàðõè÷åñêèìè.  òàêèõ íåèåðàðõè÷åñêèõ îöåíî÷íûõ ñèñòåìàõ îöåíêà 3 íå ñ÷èòàåòñÿ áîëåå âûñîêîé, ÷åì 110 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ îöåíêà 2 èëè 1. Êàæäàÿ èç îöåíîê 1, 2 è 3 îáîçíà÷àåò ïðàâèëü- íûé îòâåò, ðàçëè÷àþùèéñÿ ïî âèäó èëè ñïîñîáó ïîëó÷åíèÿ. Íàïðèìåð, ðåøèòü çàäà÷ó ïî ìàòåìàòèêå ìîæíî òðåìÿ ðàçëè÷- íûìè ñïîñîáàìè. ×òîáû ó÷åñòü òðè âîçìîæíûõ îòâåòà, òðåáó- þòñÿ âåñüìà ñëîæíûå ðóêîâîäñòâà. Åñëè âñå ó÷àùèåñÿ íà ïðåä- âàðèòåëüíîì òåñòèðîâàíèè âûáèðàþò îäèí è òîò æå ìåòîä, àâòîð çàäàíèÿ ìîæåò ïåðåñìîòðåòü ðóêîâîäñòâî ïî îöåíèâà- íèþ, ÷òîáû ñôîêóñèðîâàòü åãî íà áîëåå ïîïóëÿðíîì ìåòîäå ðåøåíèÿ ñ êðàòêîé ññûëêîé íà äðóãèå âîçìîæíûå ñïîñîáû.  ïîñëåäíåì ñëó÷àå íåîáõîäèìî òàêæå ñêîððåêòèðîâàòü ðåêî- ìåíäàöèè äëÿ îêîí÷àòåëüíîãî òåñòà, ÷òîáû ïîêàçàòü, ÷òî äëÿ ïðàâèëüíîãî îòâåòà äîëæíà áûòü âûáðàíà îöåíêà 1, íåçàâèñè- ìî îò èñïîëüçîâàííîãî ñïîñîáà ðåøåíèÿ ïðîáëåìû. Àâòîðû äîëæíû ñîîáùèòü ñïåöèàëèñòó ïî àíàëèçó äàííûõ î ñëó÷àÿõ èñïîëüçîâàíèÿ çàäàíèé ñ ÷àñòè÷íûì êðåäèòîâàíèåì, ÷òîáû îáîçíà÷èòü êàòåãîðèè, à íå èåðàðõèè, êîòîðûå ïîçâîëÿò àíàëèòèêó äèôôåðåíöèðîâàòü îòâåòû. Àíàëèòèê ìîæåò ïðèñâî- èòü îöåíêó 1 ëþáîé êàòåãîðèè ïðàâèëüíûõ îòâåòîâ. Òàêèì îá- ðàçîì, î÷åíü âàæíî, ÷òîáû ýêñïåðòû ïîíèìàëè, êîãäà îíè îöå- íèâàþò çàäàíèÿ ñ ÷àñòè÷íûì êðåäèòîâàíèåì ñ èåðàðõè÷åñêèìè êàòåãîðèÿìè îòâåòîì è êîãäà èåðàðõèè íåò. Âñå êàòåãîðèè îòâå- òîâ â çàäàíèÿõ ñ ÷àñòè÷íûì êðåäèòîâàíèåì â îêîí÷àòåëüíîì òå- ñòèðîâàíèè íóæíî ðàññìàòðèâàòü êàê èåðàðõè÷åñêèå.  ÷åòâåðòîé êíèãå íàñòîÿùåé ñåðèè åñòü ñïåöèàëüíûé ðàç- äåë ïî àíàëèçó ïèëîòíûõ äàííûõ, èëè äàííûõ ïðåäâàðèòåëü- íîãî òåñòèðîâàíèÿ. Ýòîò ðàçäåë îõâàòûâàåò ïîäõîäû ê àíàëè- çó è â êëàññè÷åñêîé òåîðèè òåñòîâ (ÑTT), è â ñîâðåìåííîé òåîðèè òåñòîâ (IRT). Ñîâðåìåííàÿ òåîðèÿ òåñòîâ ÷àñòî èñïîëü- çóåòñÿ ïðè àíàëèçå òåñòîâûõ çàäàíèé äëÿ óñòàíîâëåíèÿ ñâÿçè òåñòîâûõ ôîðì è â ðàçðàáîòêå øêàë äëÿ ñîîáùåíèÿ ðåçóëüòà- òîâ íàöèîíàëüíîãî îöåíèâàíèÿ (Beaton and Johnson, 1989). Îíà îáëàäàåò ðÿäîì ïðåèìóùåñòâ â ñèòóàöèÿõ ïðèìåíåíèÿ äëÿ øêà- ëèðîâàíèÿ ðåçóëüòàòîâ îöåíèâàíèÿ. Ñîâðåìåííàÿ òåîðèÿ òåñòîâ ïîçâîëÿåò ïîëó÷èòü õàðàêòåðèñòèêè çàäàíèÿ íåçàâèñè- ìî îò âûáîðêè èñïûòóåìûõ, êîòîðûå íà íåãî îòâå÷àþò, à òàê- æå îöåíèòü õàðàêòåðèñòèêè èñïûòóåìîãî íåçàâèñèìî îò âûáîð- êè çàäàíèé, ïðåäúÿâëÿåìûõ åìó. Cîâðåìåííàÿ òåîðèÿ òåñòîâ ПРЕДВАРИТЕЛЬНАЯ ПРОВЕРКА ЗАДАНИЙ 111 íàèáîëåå ïîëåçíà â òåõ ñëó÷àÿõ, êîãäà ó÷àùèìñÿ ïðåäúÿâëÿþò íàáîðû çàäàíèé ñ ìíîæåñòâåííûì âûáîðîì. Îäíàêî îíà èìå- åò íåêîòîðûå íåäîñòàòêè. Îäèí èç íèõ – ñëîæíîñòü ïðîöåäóð ïðèìåíåíèÿ, êîòîðûå òðåáóþò îò ïîëüçîâàòåëåé çíà÷èòåëüíûõ óìåíèé è îïûòà.  òåõ ñëó÷àÿõ, êîãäà íåîáõîäèìûå óìåíèÿ è îïûò íå äîñòóïíû â êàêîé-ëèáî ñòðàíå, âïîëíå ïðèåìëåìûì ìîæåò áûòü èñïîëüçîâàíèå êëàññè÷åñêîé òåîðèè òåñòîâ. НАДЕЖНОСТЬ Â ïðåäâàðèòåëüíîì è çàêëþ÷èòåëüíîì òåñòèðîâàíèè íåîáõî- äèìî ïðèâåñòè ñâèäåòåëüñòâà íàäåæíîñòè òåñòà. Ìåðà íàäåæ- íîñòè ÿâëÿåòñÿ ïîêàçàòåëåì ñîãëàñîâàííîñòè ðåçóëüòàòîâ òåñ- òèðîâàíèÿ. Íàäåæíîñòü çàâèñèò îò êà÷åñòâà òåñòîâûõ çàäàíèé, ñàìîãî òåñòà, ñïîñîáà, êîòîðûì òåñòû ïðåäúÿâëÿëèñü, õàðàê- òåðèñòèê ãðóïïû èñïûòóåìûõ (òàêèõ, êàê óñåðäèå, ñ êîòîðûì îíè âûïîëíÿþò ïðåäâàðèòåëüíûé òåñò èëè òåñòû äëÿ íàöèî- íàëüíîãî îöåíèâàíèÿ) è êà÷åñòâà îöåíèâàíèÿ òåñòîâûõ çàäà- íèé. Íàäåæíîñòü ðàññìàòðèâàåòñÿ â ÷åòâåðòîé êíèãå ñåðèè. Ïîêàçàòåëè íàäåæíîñòè òåñòîâ èçìåíÿþòñÿ â äèàïàçîíå îò 0 äî 1, ãäå 0 ñîîòâåòñòâóåò òåñòó, â êîòîðîì îòâåòû ó÷àùèõñÿ ïîëíîñòüþ íåñîñòîÿòåëüíû (íàïðèìåð, òåñò, â êîòîðîì âñå èñïûòóåìûå óãàäûâàþò îòâåòû íà âñå çàäàíèÿ), à 1 – òåñòó, êî- òîðûé èçìåðÿåò ñîäåðæàòåëüíóþ îáëàñòü ñ íàèâûñøåé ñîãëà- ñîâàííîñòüþ. Àãåíòñòâî, çàíèìàþùååñÿ ïðèìåíåíèåì òåñòîâ, äîëæíî ïîëó÷èòü ñâèäåòåëüñòâà íàäåæíîñòè î ñòåïåíè, ñ êîòîðîé îò- äåëüíûå ïðåäòåñòîâûå çàäàíèÿ êîððåëèðóþò äðóã ñ äðóãîì. Ýòà èíôîðìàöèÿ îáåñïå÷èâàåò ìåðó âíóòðåííåé ñîãëàñîâàí- íîñòè òåñòîâûõ çàäàíèé. Ýòîò ïîäõîä ïðåäïîëàãàåò, ÷òî îòî- áðàííûå çàäàíèÿ èçìåðÿþò åäèíñòâåííûé êîíñòðóêò, èëè õà- ðàêòåðèñòèêó, íàïðèìåð òàêóþ, êàê ñïîñîáíîñòü ê ÿçûêó èëè ìàòåìàòèêå. Îáû÷íî íàöèîíàëüíûå è ìåæäóíàðîäíûå êîìàí- äû ïî îöåíêå ñêëîííû óäàëÿòü çàäàíèÿ, êîòîðûå íå ÿâëÿþòñÿ îòíîñèòåëüíî ãîìîãåííûìè, ò.å. íå èçìåðÿùèìè åäèíñòâåí- íûé êîíñòðóêò èëè õàðàêòåðèñòèêó. Ãîìîãåííîñòü çàäàíèé ìî- æåò áûòü îöåíåíà ñ ïîìîùüþ òàêîé ôîðìóëû, êàê àëüôà Êðîí- 112 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ áàõà (Cronbach), êîýôôèöèåíò Êüþäåðà – Ðè÷àðäñîíà (Kuder – Richardson) KR20 èëè KR21, èëè êîýôôèöèåíòà íàäåæíîñòè, ïîëó÷åííîãî ìåòîäîì äåëåíèÿ òåñòà íà äâå ïîëîâèíû. Âñå ýòè ìåòîäû èìåþòñÿ â ïðîãðàììíîì îáåñïå÷åíèè – ñòàòèñòè÷åñ- êîì ïàêåòå SPSS©. Åñëè òåñòû äëÿ îöåíêè âêëþ÷àþò îòêðûòûå çàäàíèÿ èëè çàäàíèÿ ñî ñâîáîäíî êîíñòðóèðóåìûì îòâåòîì, òî àãåíòñòâî, çàíèìàþùååñÿ ïðèìåíåíèåì òåñòîâ, äîëæíî óñòàíîâèòü, ÷òî ìåòîä îöåíèâàíèÿ íàäåæåí. Àãåíòñòâî äîëæíî òàêæå ãàðàíòè- ðîâàòü, ÷òî êàæäûé ýêñïåðò èëè êîððåêòîð îòêðûòûõ çàäàíèé îáó÷åí âûíîñèòü ñóæäåíèÿ îòíîñèòåëüíî òîãî, ÿâëÿþòñÿ ëè îòâåòû ó÷àùèõñÿ ïðèåìëåìûìè. Òàêîå îáó÷åíèå áóäåò ïðåäïî- ëàãàòü, ÷òî ýêñïåðòû ðàáîòàþò ñ êîìàíäîé ïî ðàçðàáîòêå òåñ- òà, ÷òîáû çàðåãèñòðèðîâàòü ñïèñîê ïðèåìëåìûõ è íåäîïóñòè- ìûõ îòâåòîâ äëÿ êàæäîãî îòêðûòîãî çàäàíèÿ. Ïîñëå îáó÷åíèÿ ïàðû ýêñïåðòîâ, ðàáîòàþùèõ íåçàâèñèìî, äîëæíû îöåíèòü êàæäîå îòêðûòîå çàäàíèå ïî êðàéíåé ìåðå èç 60 ïðåòåñòîâûõ áóêëåòîâ, âûáðàííûõ ñëó÷àéíûì îáðàçîì, è âû÷èñëèòü ïðî- öåíò ïîëíîé ñîãëàñîâàííîñòè îöåíîê äëÿ âñåãî íàáîðà çàäàíèé. Àãåíòñòâî äîëæíî ïîëó÷èòü ðàçúÿñíåíèÿ îò ðàçðàáîò÷èêîâ òåñòîâ, â êîòîðûõ óêàçûâàþòñÿ îòâåòû ê çàäàíèÿì, âûçâàâøèå ñðåäè ýêñïåðòîâ ðàçíîãëàñèÿ îòíîñèòåëüíî ñâîåé ïðèåìëåìî- ñòè. Òùàòåëüíàÿ ðàáîòà ïî îöåíêå îòêðûòûõ ïðåäòåñòîâûõ çà- äàíèé äîëæíà îáåñïå÷èòü ãàðàíòèè òîãî, ÷òî îñòàëèñü ëèøü íåáîëüøèå îñíîâàíèÿ äëÿ ðàçíîãëàñèé ïî ïîâîäó ïðèåìëåìûõ è íåäîïóñòèìûõ îòâåòîâ, êîãäà îíè ðàññìàòðèâàþòñÿ â íàöèî- íàëüíîì îöåíèâàíèè. 5 ÃËÀÂÀ ÎÒÁÎÐ ÒÅÑÒÎÂÛÕ ÇÀÄÀÍÈÉ Îòáîð çàäàíèé äëÿ îêîí÷àòåëüíîãî òåñòà äåòàëüíî ðàññìàòðèâàåòñÿ â ÷åòâåðòîé êíèãå ñåðèè – «Àíàëèç äàííûõ íàöèîíàëüíîé îöåíêè ó÷åáíûõ äîñòèæåíèé». Îí â íàè- áîëåå çíà÷èòåëüíîé ñòåïåíè çàâèñèò, âî-ïåðâûõ, îò ñòðóêòóðû òåñòà, ïðåäñòàâëåííîé â ñïåöèôèêàöèè, à âî-âòîðûõ, îò èçìå- ðèòåëüíûõ ñâîéñòâ çàäàíèé. Êàê ïðàâèëî, èñïîëüçóþò ñëåäóþùèå êðèòåðèè îòáîðà äëÿ êàæäîãî çàäàíèÿ. Çàäàíèå ñîîòâåòñòâóåò ïðîåêòó òåñòà. Ïðîöåíò ó÷àùèõñÿ, äàâøèõ íà çàäàíèå ïðàâèëüíûé îòâåò, íàõîäèòñÿ â äèàïàçîíå îò 40 äî 80%. Äëÿ çàäàíèÿ õàðàêòåðíà íèçêàÿ äîëÿ ïðîïóñêîâ. Ïîêàçàòåëü äèñêðèìèíàòèâíîé ñïîñîáíîñòè çàäàíèÿ (êîð- ðåëÿöèÿ ìåæäó îöåíêîé ïî çàäàíèþ è ïîëíîé îöåíêîé ïî òåñòó) äîëæåí áûòü áîëüøå, ÷åì 0,2. Íàäåæíîñòü òåñòà ïîâûøàåòñÿ ïðè âêëþ÷åíèè â íåãî äàí- íîãî çàäàíèÿ. Ñèñòåìàòè÷åñêàÿ îøèáêà çàäàíèÿ íàõîäèòñÿ â ïðåäåëàõ, ïðèåìëåìûõ äëÿ áîëüøèíñòâà ãðóïï ó÷àùèõñÿ. 114 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ Ñëåäóþùèå ïîëîæåíèÿ îòíîñÿòñÿ òîëüêî ê çàäàíèÿì ñ ìíî- æåñòâåííûì âûáîðîì. Êîýôôèöèåíò òî÷å÷íîé áèññåðèàëüíîé êîððåëÿöèè äëÿ êëþ÷à ïîëîæèòåëåí è áîëüøå, ÷åì 0,2. Âñå äèñòðàêòîðû ïðàâäîïîäîáíû (ò.å. èõ âûáðàëè ïî êðàé- íåé ìåðå 5% ó÷àùèõñÿ) è èìåþò íóëåâîé èëè îòðèöàòåëü- íûé êîýôôèöèåíò òî÷å÷íîé áèññåðèàëüíîé êîððåëÿöèè. Òàáë. 5.1 ïîêàçûâàåò òèïè÷íûå ðåçóëüòàòû àíàëèçà çàäàíèÿ ñ ìíîæåñòâåííûì âûáîðîì. Ñ òî÷êè çðåíèÿ ñòàòèñòèêè çàäà- íèå ðàáîòàåò õîðîøî. Çàãîëîâêè ñòîëáöîâ îòðàæàþò ÷èñëî âàðèàíòîâ îòâåòîâ â çàäàíèè (A, B, C, D). Âàðèàíò D ÿâëÿåòñÿ êëþ÷îì, èëè ïðà- âèëüíûì âàðèàíòîì îòâåòà, îí ïðèâåäåí ñ îöåíêîé 1 â ñêîá- êàõ. Âàðèàíòû A, B è C ïðåäñòàâëåíû ñ îöåíêîé 0 â ñêîáêàõ. Ïåðâàÿ ñòðîêà òàáëèöû ïîêàçûâàåò ÷èñëî ó÷àùèõñÿ, âûáèðà- þùèõ òîò èëè èíîé âàðèàíò.  ýòîì çàäàíèè 254 ó÷åíèêà âûá- ðàëè ïðàâèëüíûé îòâåò. Âòîðàÿ ñòðîêà îòðàæàåò ïðîöåíòû äëÿ âàðèàíòîâ îòâåòîâ (÷èñëî èñïûòóåìûõ äëÿ êàæäîãî âàðèàíòà, âûðàæåííîå â ïðîöåíòàõ îò èõ îáùåãî ÷èñëà).  çàäàíèè 67% ó÷àùèõñÿ âûáðàëè ïðàâèëüíûé îòâåò. Ýòîò ðåçóëüòàò ñâèäå- òåëüñòâóåò î òîì, ÷òî çàäàíèå íàõîäèòñÿ â ïðåäåëàõ ïðèåìëå- ìîãî äèàïàçîíà òðóäíîñòè. Çàäàíèå äîâîëüíî ëåãêîå. Òî, ÷òî òîëüêî 3,7% èñïûòóåìûõ âûáðàëè âàðèàíò B, äàåò îñíîâàíèÿ ñ÷èòàòü, ÷òî ýòîò âàðèàíò ìàëî ïðèâëåêàòåëåí èëè íåïðàâäî- ïîäîáåí. Åãî èçìåíåíèå â ñòîðîíó áîëüøåé ïðàâäîïîäîáíîñ- òè ïîìîæåò óñîâåðøåíñòâîâàòü çàäàíèå, êîòîðîå áóäåò íóæäàòü- ñÿ â ïîâòîðíîé ïðåäâàðèòåëüíîé ïðîâåðêå íà ó÷àùèõñÿ. Ñëåäóþùàÿ ñòðîêà òàáëèöû ñîäåðæèò çíà÷åíèÿ òî÷å÷íîãî áèñåðèàëüíîãî êîýôôèöèåíòà êîððåëÿöèè äëÿ êàæäîãî âàðè- àíòà îòâåòà. Äëÿ ïðàâèëüíîãî îòâåòà îí ðàâåí 0,39. Äëÿ íåïðàâèëüíûõ îòâåòîâ âñå çíà÷åíèÿ ÿâëÿþòñÿ îòðèöàòåëüíû- ìè.  çàäàíèÿõ ñ ìíîæåñòâåííûì âûáîðîì îòâåòà òî÷å÷íûé áèñåðèàëüíûé êîýôôèöèåíò êîððåëÿöèè êëþ÷à èìååò òî æå ñàìîå çíà÷åíèå, ÷òî è ïîêàçàòåëü äèñêðèìèíàòèâíîñòè äëÿ çà- äàíèÿ. Ïîñëåäíÿÿ ñòðî÷êà ïîêàçûâàåò ñðåäíåå çíà÷åíèå îöå- íîê ñïîñîáíîñòè ó÷àùèõñÿ. Ó òåõ èñïûòóåìûõ, êîòîðûå îòâå- ОТБОР ТЕСТОВЫХ ЗАДАНИЙ 115 ТАБЛИЦА 5.1 Пример рез льтатов анализа задания с множественным выбором Опции ответов Критерий A [0] B [0] C [0] D [1] Число учащихся 90 14 21 254 Процент 23,7 3,7 5,5 67,0 Точечный бисериальный коэффициент –0,26 –0,21 –0,16 0,39 Средняя способность –0,02 –0,48 –0,14 0,54 Источни : разработ и авторов. òèëè âåðíî, ñðåäíÿÿ ñïîñîáíîñòü çíà÷èòåëüíî âûøå, ÷åì ó âûá- ðàâøèõ íåïðàâèëüíûå âàðèàíòû îòâåòîâ. Ýòîò ðåçóëüòàò òàê- æå ãîâîðèò î òîì, ÷òî çàäàíèå ðàáîòàåò õîðîøî. Äëÿ îòêðûòûõ çàäàíèé ìîæíî ïðèâåñòè ñëåäóþùèå ðåêî- ìåíäàöèè. Åñëè çàäàíèå îöåíèâàåòñÿ äèõîòîìè÷åñêè, òî åãî ïîêàçà- òåëü äèñêðèìèíàòèâíîñòè (êîððåëÿöèÿ ìåæäó îöåíêîé ïî çàäàíèþ è ïîëíîé îöåíêîé ïî òåñòó) äîëæåí áûòü áîëüøå, ÷åì 0,2. Åñëè çàäàíèå ïðåäóñìàòðèâàåò âîçìîæíîñòü ÷àñòè÷íîãî êðåäèòîâàíèÿ ïðè îöåíèâàíèè, òî åãî ïîêàçàòåëü äèñêðè- ìèíàòèâíîñòè äîëæåí áûòü ïîëîæèòåëüíûì è âûøå, ÷åì 0,3. Åñëè êàæäîå çàäàíèå îöåíèâàåòñÿ äèõîòîìè÷åñêè, òî áîëü- øèíñòâî çàäàíèé äîëæíû èìåòü òðóäíîñòü â äèàïàçîíå îò 40 äî 80%. Åñëè çàäàíèå ïðåäóñìàòðèâàåò âîçìîæíîñòü ÷àñòè÷íîãî êðåäèòîâàíèÿ ïðè îöåíèâàíèè, òî êàæäîé îöåíî÷íîé êà- òåãîðèè äîëæíû ñîîòâåòñòâîâàòü ïî êðàéíåé ìåðå 5% îò- âåòîâ ó÷àùèõñÿ. Åñëè çàäàíèå ïðåäóñìàòðèâàåò âîçìîæíîñòü ÷àñòè÷íîãî êðåäèòîâàíèÿ ïðè îöåíèâàíèè, òî îáùèé ïðîöåíò ó÷àùèõ- ñÿ, âûïîëíèâøèõ çàäàíèå, ïîëó÷åííûé ïóòåì ñëîæåíèÿ ïðîöåíòîâ òåõ, êòî äàë ïðàâèëüíûå è ÷àñòè÷íî ïðàâèëüíûå îòâåòû, íàõîäèòñÿ â äèàïàçîíå îò 40 äî 80%. 116 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ Åñëè çàäàíèå ïðåäóñìàòðèâàåò âîçìîæíîñòü ÷àñòè÷íîãî êðåäèòîâàíèÿ ïðè îöåíèâàíèè, òî ñðåäíÿÿ ñïîñîáíîñòü èñïûòóåìûõ äîëæíà ñíèæàòüñÿ ïî ìåðå ïåðåõîäà îò ñàìîé âûñîêîé äî ñàìîé íèçêîé êàòåãîðèè îòâåòîâ. Ðåçóëüòàòû àíàëèçà îòêðûòîãî çàäàíèÿ ñ ÷àñòè÷íûì êðåäè- òîâàíèåì ñ õîðîøåé ñòàòèñòèêîé ïðèâåäåíû â òàáë. 5.2. Çàãî- ëîâêè ñòîëáöîâ îòðàæàþò êàòåãîðèè îòâåòîâ ó÷àùèõñÿ. Èñïû- òóåìûå ïîëó÷àþò 0, åñëè îòâå÷àþò íà âîïðîñ íåïðàâèëüíî. ×àñòè÷íî ïðàâèëüíîìó îòâåòó ïðèñâàèâàèâàåòñÿ îöåíêà 1 áàëë, à ïîëíîñòüþ ïðàâèëüíîìó îòâåòó – îöåíêó 2 áàëëà. Ïðîïóùåí- íûå îòâåòû êîäèðóþòñÿ öèôðîé 9 è òàêæå îöåíèâàþòñÿ 0. Ïîë- íûé ïîêàçàòåëü äèñêðèìèíàòèâíîñòè, ðàâíûé 0,47, ÿâëÿåòñÿ äîñòàòî÷íî âûñîêèì. Îáðàòèòå âíèìàíèå íà òî, ÷òî äëÿ çàäà- íèé ñ ÷àñòè÷íûì êðåäèòîâàíèåì ïîêàçàòåëü äèñêðèìèíàòèâ- íîñòè íå áóäåò òàêèì æå, êàê çíà÷åíèå òî÷å÷íîãî áèñåðèàëü- íîãî êîýôôèöèåíòà êîððåëÿöèè äëÿ íàèâûñøåé îöåíî÷íîé êàòåãîðèè. ×èñëî è ïðîöåíò ó÷àùèõñÿ ïî êàæäîé êàòåãîðèè îòâåòîâ îòðàæåíû â ïåðâûõ äâóõ ñòðîêàõ òàáëèöû. Ïî÷òè ïîëîâèíà èñïûòóåìûõ, ïûòàâøèõñÿ âûïîëíèòü ýòî çàäàíèå, îòâåòèëè íà íåãî ïîëíîñòüþ íåïðàâèëüíî. Áîëüøå ÷åì 5% ó÷àùèõñÿ ïðè- õîäèòñÿ íà êàæäóþ êàòåãîðèþ îòâåòîâ, ÷òî ïîçâîëÿåò èñïîëü- çîâàòü ýòè êàòåãîðèè â äàëüíåéøåì. Òî÷å÷íàÿ áèñåðèàëüíàÿ êîððåëÿöèÿ óâåëè÷èâàåòñÿ îò 0 äî 0,2, ïîêàçûâàÿ, ÷òî êàòåãî- ðèè îöåíêè ðàáîòàþò, êàê è ïðåäïîëàãàëîñü. Ñðåäíÿÿ ñïîñîá- íîñòü ó÷àùèõñÿ, îöåíêè êîòîðûõ ñîîòâåòñòâóþò êàòåãîðèè 2, ðàâíà –0,9. Ó÷àùèåñÿ, îöåíêè êîòîðûõ ñîîòâåòñòâóþò êàòåãî- ðèè 1, èìåþò ñðåäíþþ ñïîñîáíîñòü – 1,53. Ðàçíîñòü ìåæäó íèìè áîëüøå, ÷åì 0,5, ÷òî ïîääåðæèâàåò îáîñíîâàíèå ýòèõ äâóõ êàòåãîðèé â ðóêîâîäñòâå ïî îöåíèâàíèþ, ïîòîìó ÷òî îíè äèô- ôåðåíöèðóþò èñïûòóåìûõ ïî âåñüìà ðàçëè÷àþùèìñÿ ãðóïïàì ñïîñîáíîñòè. Ïðîöåíò ó÷àùèõñÿ, êîòîðûå íå ïîïûòàëèñü âûïîëíèòü ýòî çàäàíèå, âåñüìà âûñîê è ñîñòàâëÿåò 27,3%. Ýòîò ðåçóëüòàò íå- îáõîäèìî ðàññìîòðåòü â êîíòåêñòå ïðîôèëåé ïðîïóùåííûõ çàäàíèé ïî òåñòó â öåëîì. ОТБОР ТЕСТОВЫХ ЗАДАНИЙ 117 ТАБЛИЦА 5.2 Пример рез льтатов анализа от рыто о задания с частичным редитованием Показатель Категории ответов учащихся дискрими- Критерии нативности 0 [0] 0 1 [1] 2 [2] 9 [0] = 0,47 Число учащихся 1,466 425 268 809 Процент 49,4 14,3 9 27,3 Точечный бисериальный коэффициент 0,09 0,11 0,45 –0,48 Средняя способность –1,66 –1,53 –0,90 –1,90 Источни : разработ и авторов.  äàííîì òåñòå áîëüøèíñòâî îòêðûòûõ çàäàíèé èìåëî áî- ëåå 20% ïðîïóñêîâ. Íåæåëàíèå ó÷àùèõñÿ èõ âûïîëíÿòü ÿâëÿ- åòñÿ îòäåëüíîé ïðîáëåìîé, à íå ñâÿçàíî ñî ñïåöèôè÷åñêèìè íåäîñòàòêàìè ýòèõ çàäàíèé. Îáùèé óðîâåíü òðóäíîñòè îêîí÷àòåëüíîãî òåñòà äîëæåí áûòü àäåêâàòåí åãî öåëè. Îêîí÷àòåëüíûé òåñò, êîòîðûé ïðåä- íàçíà÷àåòñÿ äëÿ ìîíèòîðèíãà ðåçóëüòàòîâ ó÷åáíîé äåÿòåëüíî- ñòè âñåõ ó÷àùèõñÿ â ãåíåðàëüíîé ñîâîêóïíîñòè, äîëæåí èìåòü äèàïàçîí òðóäíîñòè, êîòîðûé ñîîòâåòñòâóåò äèàïàçîíó ñïîñîá- íîñòè öåëåâîé ãðóïïû. Îöåíêà, ïðåäíàçíà÷åííàÿ äëÿ ðàçëè÷- íûõ öåëåé, òàêèõ êàê âûÿâëåíèå ó÷àùèõñÿ, ïîäãîòîâêà êîòî- ðûõ îòâå÷àåò îïðåäåëåííîé òî÷êå íà øêàëå, ìîæåò ïîäðàçóìåâàòü áîëüøîå ÷èñëî ëåãêèõ èëè, íàîáîðîò, òðóäíûõ çàäàíèé â çàâèñèìîñòè îò òîãî, ãäå íà øêàëå óñòàíîâëåíà ýòà òî÷êà îòñ÷åòà. Îïûò, íàêîïëåííûé â ðàçðàáîòêå ïðåäòåñòîâ äëÿ íàöèî- íàëüíîé îöåíêè, ñâèäåòåëüñòâóåò î òîì, ÷òî àâòîðû ñêëîííû ê ðàçðàáîòêå çàäàíèé, êîòîðûå â èòîãå îêàçûâàþòñÿ ñëèøêîì òðóäíûìè. ×àñòè÷íî ýòà òåíäåíöèÿ îáúÿñíÿåòñÿ òåì, ÷òî ðà- íåå òå æå àâòîðû ðàçðàáàòûâàëè çàäàíèÿ äëÿ ìàññîâûõ ýêçàìå- íîâ, â êîòîðûõ ïðèíÿòî èñïîëüçîâàòü âîïðîñû äîñòàòî÷íî âûñîêîãî óðîâíÿ òðóäíîñòè. Êðîìå òîãî, ìíîãèå àâòîðû ïðåä- òåñòîâûõ çàäàíèé æèâóò â ãîðîäàõ è íå èìåþò ïðåäñòàâëåíèÿ î íèçêèõ ðåçóëüòàòàõ îáó÷åíèÿ, êîòîðûå ìîãóò âñòðå÷àòüñÿ â îòäàëåííûõ ñåëüñêèõ ðàéîíàõ. 118 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ Åñëè áîëüøèíñòâî ïðåäòåñòîâûõ çàäàíèé ÿâëÿþòñÿ ñëèø- êîì òðóäíûìè è åñëè ïðåäâàðèòåëüíûé òåñò íå ñîäåðæèò äîñòàòî÷íîãî êîëè÷åñòâà ëåãêèõ çàäàíèé, îòâå÷àþùèõ êðèòå- ðèÿì ïðîåêòà òåñòà, òî ïîòðåáóåòñÿ åùå îäèí ðàóíä ïðåäâàðè- òåëüíîãî òåñòèðîâàíèÿ ñ íîâûì íàáîðîì áîëåå ëåãêèõ çàäàíèé. Àíàëîãè÷íî, åñëè â òåñòå íåäîñòàòî÷íî òðóäíûõ çàäàíèé, òî íåîáõîäèìî áóäåò ïðîâåñòè åùå îäíî ïðåäâàðèòåëüíîå òåñòè- ðîâàíèå ñ áîëåå òðóäíûìè çàäàíèÿìè. Ñïåöèàëèñò, êîòîðûé áóäåò àíàëèçèðîâàòü äàííûå îêîí÷à- òåëüíîãî òåñòèðîâàíèÿ, äîëæåí ðàññìàòðèâàòü è äàííûå ïðåä- âàðèòåëüíîãî òåñòèðîâàíèÿ. Ñîâìåñòíî ñ àâòîðàìè îí ìîæåò ðåøèòü ëþáûå ïðîáëåìû, ñâÿçàííûå ñ îáåñïå÷åíèåì èíôîð- ìàöèè î êëàññèôèêàöèè çàäàíèé, êëþ÷àõ îöåíêè è ñïîñîáàõ îöåíèâàíèÿ çàäàíèé. Ê èíòåðïðåòàöèè äàííûõ àíàëèçà ïðåäâàðèòåëüíîãî òåñ- òèðîâàíèÿ è îòáîðó çàäàíèé äëÿ îêîí÷àòåëüíîãî òåñòà ñëåäóåò ïðèâëå÷ü êîìàíäó àâòîðîâ çàäàíèé. Ðåøåíèÿ î âêëþ÷åíèè èëè èñêëþ÷åíèè òåõ èëè èíûõ çàäàíèé íåîáõîäèìî ïðèíèìàòü èñõîäÿ èç ïðîåêòà òåñòà è ïðåäìåòíîé îáëàñòè ó÷åáíîãî ïëà- íà, íà îöåíêó êîòîðîãî íàïðàâëåí äàííûé òåñò. Îáû÷íî íà êàæäîì óðîâíå îáó÷åíèÿ èñïîëüçóåòñÿ òîëüêî îäíà îêîí÷àòåëüíàÿ ôîðìà òåñòà. Îíà ìîæåò ñîñòîÿòü èç äâóõ èëè òðåõ îòäåëüíûõ òåñòîâ, òàêèõ êàê òåñò ïî ìàòåìàòèêå, ÷òå- íèþ è ïèñüìó. Ýòè òåñòû ìîãóò áûòü íàïå÷àòàíû â îòäåëüíûõ áóêëåòàõ èëè îáúåäèíåíû â îäèí. Ïðîáëåìû, êàñàþùèåñÿ ñâÿçè çàäàíèé, èõ îòáîðà è ðàçìå- ùåíèÿ, êîòîðûå âîçíèêàþò â õîäå ïðåäâàðèòåëüíîãî òåñòèðî- âàíèÿ, ìîãóò òàêæå ïðîÿâèòüñÿ è â îêîí÷àòåëüíîì òåñòå, åñëè îí áóäåò èìåòü íåñêîëüêî ôîðì. Íåêîòîðûå çàäàíèÿ èìåþò ïðåâîñõîäíûé êîíöåïòóàëüíûé çàìûñåë, íî ïëîõóþ ñòàòèñòèêó. Ýòà ñèòóàöèÿ ìîæåò îáúÿñíÿòü- ñÿ âûáîðîì íåïðàâèëüíîãî ñïîñîáà ïðåäñòàâëåíèÿ çàäàíèÿ. Ó÷àùèåñÿ ìîãóò áûòü íå çíàêîìû ñ èñïîëüçóåìîé â çàäàíèè òåð- ìèíîëîãèåé, íå ïîíÿòü, êàêèì îáðàçîì îíè äîëæíû ïðèâåñòè îòâåò, èëè ìàòåðèàë ñòèìóëà ìîæåò çàïóòàòü ó÷àùèõñÿ. Èäåàëü- íî, êîãäà çàäàíèÿ ñ ïëîõîé ñòàòèñòèêîé íå ïðîñòî êîððåêòèðó- ОТБОР ТЕСТОВЫХ ЗАДАНИЙ 119 þòñÿ, íî è ïîâòîðíî ïðîâåðÿþòñÿ â ïðîáíîì òåñòèðîâàíèè. Îäíàêî åñëè çàäàíèÿ ñ ïëîõîé ñòàòèñòèêîé îòâå÷àþò âàæíûì òðåáîâàíèÿì ïðîåêòà, à äðóãèå çàäàíèÿ íåäîñòóïíû, òî ïðèõî- äèòñÿ âêëþ÷àòü èõ â îêîí÷àòåëüíûé òåñò.  ïðèíöèïå, â ïðîìåæóòîê âðåìåíè ìåæäó ñîçäàíèåì ïðåä- âàðèòåëüíîãî òåñòà è çàêëþ÷èòåëüíûõ ôîðì çàäàíèÿ íå äîëæ- íû èçìåíÿòüñÿ, ïîòîìó ÷òî òàêèå èçìåíåíèÿ ìîãóò ïîâëèÿòü íà ñòàòèñòèêó. Íà ïðàêòèêå òåñòîâûå àãåíòñòâà äåëàþò òîëüêî íåçíà÷èòåëüíûå èçìåíåíèÿ â íåñêîëüêèõ çàäàíèÿõ, ÷àñòî íå áîëüøå, ÷åì 4 èëè 5 â òåñòå èç 30 çàäàíèé. Òàêèå íåçíà÷èòåëü- íûå ïåðåäåëêè âêëþ÷àþò: çàìåíó îäíîãî èëè äâóõ ñëîâ, ÷òîáû ñäåëàòü ôîðìóëèðîâêó çàäàíèÿ áîëåå ÿñíîé èëè ñíèçèòü òðóäíîñòü èñïîëüçóåìîé ëåêñèêè; óñòðàíåíèå ñàìîãî «ñëàáîãî» âàðèàíòà îòâåòîâ â çàäàíèè ñ ïÿòüþ âàðèàíòàìè îòâåòîâ; èñïðàâëåíèå ãðàììàòè÷åñêèõ îøèáîê èëè óïðîùåíèå ãðàì- ìàòè÷åñêèõ êîíñòðóêöèé; óëó÷øåíèå ðàñïîëîæåíèÿ ýëåìåíòîâ ðèñóíêîâ â çàäàíèÿõ, òàêèõ êàê ñèìâîëû íà äèàãðàììàõ, èëè îáåñïå÷åíèå ñîãëà- ñîâàííîñòè çàãîëîâêîâ. ПРИМЕЧАНИЕ Ïðèìåðû, ïðèâåäåííûå â ýòîé ãëàâå, îñíîâàíû íà àíàëèçå çàäà- íèé ñ èñïîëüçîâàíèåì êëàññè÷åñêîé òåîðèè òåñòîâ.  ÷åòâåðòîé êíèãå íàñòîÿùåé ñåðèè äàííûé ïîäõîä ðàññìàòðèâàåòñÿ äåòàëü- íî.  êíèãå òàêæå ïðåäñòàâëåí äðóãîé ìåòîä àíàëèçà, îñíîâàííûé íà ñîâðåìåííîé òåîðèè òåñòîâ, êîòîðàÿ èñïîëüçóåò èíîé ñòàòèñ- òè÷åñêèé ïîäõîä è îòëè÷àþùóþñÿ òåðìèíîëîãèþ. 6 ÃËÀÂÀ ÑÎÇÄÀÍÈÅ ÎÊÎÍ×ÀÒÅËÜÍÎÃÎ ÒÅÑÒÀ ПРОЕКТИРОВАНИЕ ОКОНЧАТЕЛЬНОГО ТЕСТА Ê ðàçðàáîòêå îêîí÷àòåëüíîé ôîðìû òåñòà íåîáõîäèìî ïðèâëå- êàòü ñïåöèàëèñòà ïî àíàëèçó äàííûõ òåñòèðîâàíèÿ, èëè ñòàòè- ñòèêà. Îí èëè îíà äîëæíû óäîñòîâåðèòüñÿ, ÷òî äèçàéí òåñòà îòâå÷àåò ñëåäóþùèì òðåáîâàíèÿì: àäåêâàòíîñòü ôîðìû ïðåäñòàâëåíèÿ âõîäíîé èíôîðìàöèè çàäà÷àì àíàëèçà; àäåêâàòíîñòü ìåòîäà ðåãèñòðàöèè îòâåòîâ íà çàäàíèå çàäà- ÷àì àíàëèçà; àäåêâàòíîñòü õàðàêòåðà è âîçìîæíîñòåé ðóêîâîäñòâ ïî îöåíêå. ãîðèçîíòàëüíûå ñâÿçè ñ äàííûìè òåñòèðîâàíèÿ ïðåäûäó- ùèõ ëåò èëè âåðòèêàëüíûå ñâÿçè, óñòàíîâëåíèå êîòîðûõ ìîæåò ïîòðåáîâàòüñÿ, ÿâëÿþòñÿ ñòàòèñòè÷åñêè ñîñòîÿòåëü- íûìè. Âõîäíàÿ èíôîðìàöèÿ äëÿ ó÷àùèõñÿ, êîòîðóþ íåîáõîäèìî ðàçìåñòèòü íà îáëîæêå òåñòîâûõ áóêëåòîâ, äîëæíà îòðàæàòü öåëü òåñòà è ñïîñîá ñîîáùåíèÿ ðåçóëüòàòîâ. Ó÷àùèåñÿ íå äîëæ- íû èñïûòûâàòü çàòðóäíåíèé â âîñïðèÿòèè âõîäíûõ äàííûõ. 122 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ Îáû÷íî ê âõîäíîé èíôîðìàöèè îòíîñÿò: íàçâàíèå øêîëû; ïîëíîå èìÿ èñïûòóåìîãî; ïîë èñïûòóåìîãî; âîçðàñò èñïûòóåìîãî èëè äàòó åãî ðîæäåíèÿ; óðîâåíü îáó÷åíèÿ èëè êëàññ èñïûòóåìîãî; îñíîâíîé ÿçûê èñïûòóåìîãî.  íåêîòîðûõ ñòðàíàõ êàæäîìó ó÷àùåìóñÿ ïðèñâàèâàþò óíè- êàëüíûé íàöèîíàëüíûé èäåíòèôèêàöèîííûé íîìåð. Èñïîëü- çîâàíèå òàêèõ íîìåðîâ âåñüìà æåëàòåëüíî. Òàêæå ïîëåçíî îñòàâëÿòü íà îáëîæêå ñïåöèàëüíóþ îáëàñòü äëÿ àäìèíèñòðàòîðà òåñòèðîâàíèÿ, ÷òîáû îí ìîã ñäåëàòü îòìåòêó î âîçìîæíîì ïîëíîì èëè ÷àñòè÷íîì îòñóòñòâèè ó÷à- ùåãîñÿ â ñâÿçè ñ áîëåçíüþ èëè î íåîáõîäèìîñòè îêàçàíèÿ ñïå- Дополнительный материал 6.1 Пример облож и теста ОЦЕНИВАНИЕ В ЦЕЛЯХ МОНИТОРИНГА ОБРАЗОВАНИЯ: 4-й КЛАСС Раздел для заполнения чащимся: Ш ола _______________________________________________________ Месторасположение__________________________________________ Класс ________________________________________________________ Имя _________________________________________________________ Фамилия ____________________________________________________ Мальчи Девоч а Возраст лет и месяцев Язы , на отором я в основном раз овариваю дома, является ан лийс им Да Нет Раздел для заполнения администратором тестирования: Этот чащийся отс тствовал на след ющих тестах: Чтение Математи а Этот чащийся пол чил специальн ю помощь для выполнения тестов по Чтению Математи е Опишите специальн ю помощь, предоставленн ю чащем ся:___________ Источни : Отдел образования Пап а – Новой Гвинеи, 2004. СОЗДАНИЕ ОКОНЧАТЕЛЬНОГО ТЕСТА 123 öèàëüíîé ïîìîùè èñïûòóåìîìó ñ îãðàíè÷åííûìè âîçìîæíîñ- òÿìè (ñì. äîïîëíèòåëüíûé ìàòåðèàë 6.1). Âîîáùå îáåñïå÷èòü ïðàâèëüíóþ ðåãèñòðàöèþ èäåíòèôèêà- öèîííûõ äàííûõ ó÷àùåãîñÿ è ñâÿçü ñ ñîîòâåòñòâóþùèìè ðåçóëü- òàòàìè òåñòèðîâàíèÿ ëåã÷å, åñëè òåñòû ïî âñåì ïðåäìåòàì ïðè- âåäåíû â îäíîì áóêëåòå. Îäíàêî åñëè èíôîðìàöèÿ íà îáëîæêå êàæäîãî îòäåëüíîãî òåñòîâîãî áóêëåòà òî÷íî è ÷åòêî ââåäåíà ïåðåä ïåðâîé ñåññèåé òåñòèðîâàíèÿ, òî ïîòåíöèàëüíûõ èñòî÷- íèêîâ äëÿ âîçíèêíîâåíèÿ ïðîáëåì ñ èäåíòèôèêàöèåé íå áóäåò. Ïðè èñïîëüçîâàíèè îäíîãî òåñòîâîãî áóêëåòà àäìèíèñòðàòîð äîëæåí ïðîñëåäèòü çà òåì, ÷òîáû áóêëåòû âðó÷àëèñü ñîîòâåò- ñòâóþùèì èñïûòóåìûì ïåðåä êàæäîé ïîñëåäóþùåé ñåññèåé òåñòèðîâàíèÿ. Åñëè ïðèìåíÿþòñÿ ðàçíûå òåñòîâûå áóêëåòû, íåîáõîäèìî ïðåäóñìîòðåòü ýôôåêòèâíûå ïðîöåäóðû äëÿ îáåñïå÷åíèÿ ñî- îòâåòñòâèÿ ìåæäó èñïûòóåìûìè è áóêëåòàìè ïðè î÷åðåäíîì èñïîëüçîâàíèè. Ñ èõ èñïîëüçîâàíèåì ñâÿçàíû ñëåäóþùèå ïðî- áëåìû. Ó÷àùèéñÿ ìîæåò çàïèñàòü ñâîå èìÿ ïî-ðàçíîìó â ðàçëè÷íûõ áóêëåòàõ. Ó÷àùèéñÿ ìîæåò èñïîëüçîâàòü ðàçíûå ôîðìû ñâîåãî èìå- íè, íàïðèìåð, â îäíîì áóêëåòå – óêàçàòü ñîêðàùåííóþ ôîð- ìó, à â äðóãèõ – ïîëíóþ, èëè â îäíîì áóêëåòå ïðèâåñòè ðåëè- ãèîçíîå èëè àðòèñòè÷åñêîå èìÿ, à â äðóãèõ – ôàìèëèþ, èëè â îäíîì áóêëåòå ïðèâåñòè ïåðâîå èìÿ, à â äðóãèõ – âòîðîå èìÿ èëè îò÷åñòâî. Ó÷àùèéñÿ ìîæåò íàïèñàòü ñâîå èìÿ èëè åãî ÷àñòü íåðàçáîð- ÷èâî, ïî êðàéíåé ìåðå, â îäíîì èç áóêëåòîâ. Ó÷àùèéñÿ ìîæåò áûòü íå â ñîñòîÿíèè âïèñàòü ñâîå èìÿ â îäèí áóêëåò èëè áîëåå. Ôîðìàò ðàñïîëîæåíèÿ è ðóêîâîäñòâà ïî ïðèìåíåíèþ òåñ- òîâ äîëæíû áûòü ÷åòêìè è ïîñëåäîâàòåëüíûìè. Ïî âîçìîæíî- ñòè ðàñïîëîæåíèå êîìïîíåíòîâ òåñòà â ïðåäâàðèòåëüíîé è îêîí÷àòåëüíîé âåðñèÿõ äîëæíî áûòü îäèíàêîâûì. Òåñò íåîáõîäèìî íà÷èíàòü ñ íåñêîëüêèõ ëåãêèõ çàäàíèé, ÷òîáû ìîòèâèðîâàòü ñëàáûõ ó÷àùèõñÿ. Äëÿ çàäàíèé, îõâàòû- 124 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ âàþùèõ íåêîòîðûé äèàïàçîí óðîâíåé òðóäíîñòè, íå ñòîèò âû- áèðàòü òàêîé ïîðÿäîê ñëåäîâàíèÿ, ÷òîáû ó÷àùèåñÿ áðîñàëè ðàáîòó íàä òåñòîì, íå ïîïðîáîâàâ âûïîëíèòü ðÿä òðóäíûõ çà- äàíèé. Òàêæå âàæíî, ÷òîáû íåêîòîðûì íàèáîëåå ìåäëåííî ðàáîòàþùèì ó÷àùèìñÿ áûë äàí øàíñ íà ïîïûòêó âûïîëíåíèÿ òðóäíûõ çàäàíèé, ïîýòîìó íåêîòîðûå èç íèõ ñëåäóåò ðàçìåñ- òèòü áëèæå ê íà÷àëó òåñòà. Ñàìûå òðóäíûå çàäàíèÿ ñëåäóåò ïî- ìåñòèòü â êîíöå òåñòà, ïîòîìó ÷òî ìàëîâåðîÿòíî, ÷òî ó÷àùèå- ñÿ ñ áîëåå íèçêèìè ñïîñîáíîñòÿìè äîéäóò äî êîíöà òåñòà. Çàäàíèÿ, îòíîñÿùèåñÿ ê îáùåìó ñòèìóëó (íàïðèìåð, ïàðàãðà- ôó èëè êàðòå) äîëæíû áûòü ïðåäñòàâëåíû âìåñòå, íåçàâèñèìî îò ñîîáðàæåíèé, ñâÿçàííûõ ñ èõ óðîâíåì òðóäíîñòè. Îñíîâíûå ïðèíöèïû ðàçìåùåíèÿ ñâÿçóþùèõ çàäàíèé äëÿ çàêëþ÷èòåëüíîé è ïðåäâàðèòåëüíîé ôîðì òåñòà ÿâëÿþòñÿ îäè- íàêîâûìè (ñì. ãëàâó 4). Ïðè ãîðèçîíòàëüíîé ñâÿçè íåîáõîäè- ìî ñîîòíåñòè çàäàíèÿ ñ ïðåäûäóùèì òåñòîì, åñëè ðåçóëüòàòû îáó÷åíèÿ ñðàâíèâàþòñÿ íà ïðîòÿæåíèè äîëãîãî âðåìåíè. Âåð- òèêàëüíûå ñâÿçè òðåáóþòñÿ äëÿ ñðàâíåíèÿ ðåçóëüòàòîâ îáó÷å- íèÿ ìåæäó ðàçëè÷íûìè êëàññàìè. Ñâÿçóþùèå çàäàíèÿ äîëæíû áûòü ïîìåùåíû â íà÷àëå èëè áëèæå ê ñåðåäèíå áóêëåòà è íà îäíîé è òîé æå ïîçèöèè â êàæäîì òåñòîâîì áóêëåòå. Ìåòêè çàäàíèé íåîáõîäèìî âûäåëÿòü â òåñòîâûõ áóêëåòàõ, ÷òîáû çàäàíèÿ ìîæíî áûëî îòñëåäèòü (ñì. ãëàâó 3). Ìåíåäæåð ïî ðàçðàáîòêå òåñòîâ äîëæåí ïðåäîñòàâèòü àíà- ëèòèêàì äàííûõ òåñòèðîâàíèÿ êðóïíîôîðìàòíóþ òàáëèöó, â êîòîðîé îòðàæåíî ìåñòîïîëîæåíèå çàäàíèé â êàæäîì áóêëå- òå, âêëþ÷àÿ ñâÿçóþùèå çàäàíèÿ. Ðåøåíèå î òîì, êàê ó÷àùèåñÿ áóäóò çàïèñûâàòü îòâåòû, íå- îáõîäèìî ïðèíÿòü íà ñòàäèè ðàçðàáîòêè ïðîåêòà òåñòà (ñì. ãëàâó 2). ×àñòî èñïûòóåìûå îòìå÷àþò îòâåòû ïðÿìî â òåñòî- âûõ áóêëåòàõ. Íóæíî ïðåäóñìîòðåòü äîñòàòî÷íî ñâîáîäíîãî ìåñòà äëÿ çàïèñè îòâåòà ó÷àùèõñÿ, è äëÿ ýêñïåðòîâ – ÷òîáû îíè ìîãëè ïðîñòàâèòü ñâîþ îöåíêó.  äðóãèõ ñëó÷àÿõ, îñîáåííî â ñòàðøèõ êëàññàõ, ìîãóò èñïîëü- çîâàòüñÿ îòäåëüíûå îòâåòíûå áëàíêè. Ïðè÷åì ó÷àùèìñÿ äîëæ- íî áûòü ïðåäåëüíî ÿñíî, êàê ñâÿçàòü îòâåò íà çàäàíèå èëè âà- ðèàíò, íàïå÷àòàííûé â òåñòîâîì áóêëåòå, ñ ñîîòâåòñòâóþùåé СОЗДАНИЕ ОКОНЧАТЕЛЬНОГО ТЕСТА 125 ïîçèöèåé íà áëàíêå îòâåòà. Åñëè çàäàíèÿ òåñòà ñãðóïïèðîâà- íû ïî þíèòàì, òî áóäåò öåëåñîîáðàçíà òàêàÿ æå îðãàíèçàöèÿ ðàñïîëîæåíèÿ íà áëàíêàõ îòâåòîâ. ВЫЧИТКА И ТИРАЖИРОВАНИЕ Äëèíó òåñòîâîãî áóêëåòà îïðåäåëÿþò ñëåäóþùèå ôàêòîðû: ÷èñëî îõâà÷åííûõ â òåñòå ïðåäìåòíûõ îáëàñòåé; øèðîòà îõâàòà â ïðåäåëàõ êàæäîé ïðåäìåòíîé îáëàñòè; ôîðìà çàäàíèé; èñïîëüçîâàíèå èëëþñòðàöèé; äëèíà ìàòåðèàëîâ ñòèìóëîâ; ðàçìåð øðèôòà; ôèíàíñèðîâàíèå, âûäåëåííîå íà òèðàæèðîâàíèå òåñòîâûõ áóêëåòîâ. Àâòîðû çàäàíèé ñ ñàìîãî íà÷àëà äîëæíû çíàòü ïðåäïîëàãà- åìîå ÷èñëî ñòðàíèö â îêîí÷àòåëüíîé ôîðìå òåñòà. Åñëè ñòà- íåò èçâåñòíî, ÷òî äëèíà òåñòà áóäåò îãðàíè÷åíà, òî ìàòåðèàë ñòèìóëà, à òàêæå ÷èñëî äèàãðàìì è èíûõ èëëþñòðàöèé íåîáõî- äèìî ñîêðàòèòü. Íåçàâèñèìî îò ðàçìåðîâ ñâîáîäíîãî ïðîñòðàí- ñòâà äëÿ îòâåòîâ ìàêåò äîëæåí áûòü ÿñíûì è íå çàãðîìîæäåí- íûì. Áóêëåòû îáúåìîì ìåíåå 20 ñòðàíèö (l0 ëèñòîâ) îáû÷íî ïå- ÷àòàþòñÿ íà ëèñòå ôîðìàòà A4 (210 × 297 ìì) è ñøèâàþòñÿ ñ îäíîé ñòîðîíû. Áîëüøèå áóêëåòû, êàê ïðàâèëî, ïå÷àòàþò íà ëèñòå ôîðìàòà A3 (420 × 297 ìì) è ñøèâàþò ïîñåðåäèíå. Áóêëåòû ñ áîëüøèì êîëè÷åñòâîì ñòðàíèö ïîçâîëÿþò èñ- ïîëüçîâàòü áîëåå ðàçíîîáðàçíûé è èíòåðåñíûé ìàòåðèàë ñòè- ìóëà è áîëåå îáðàçíûå çàäàíèÿ. Ê íåäîñòàòêàì ìîæíî îòíåñòè âûñîêèå ðàñõîäû íà ïå÷àòü è áðîøþðîâêó. Êðîìå òîãî, äëÿ íèõ òðåáóåòñÿ áîëüøå ïîäñîáíûõ ïîìåùåíèé äëÿ ïàêåòèðîâàíèÿ è îöåíèâàíèÿ, ÷òî òàêæå ìîæåò ñóùåñòâåííî óâåëè÷èòü îáùèå çàòðàòû íà òåñòèðîâàíèå. Òåñòû îáû÷íî ïå÷àòàþò ñ äâóõ ñòîðîí ëèñòà. Êà÷åñòâî áóìà- ãè äîëæíî áûòü õîòÿ áû òàêèì, ÷òîáû çàäàíèÿ, íàïå÷àòàííûå íà îäíîé ñòîðîíå ëèñòà, íå ïðîñâå÷èâàëè è íå íàêëàäûâàëèñü íà òåêñò, íàïå÷àòàííûé íà äðóãîé ñòîðîíå òîãî æå ëèñòà. 126 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ Äëÿ âûñîêîêà÷åñòâåííîé ïå÷àòè ôîòîãðàôèé òðåáóåòñÿ âûñîêîêà÷åñòâåííàÿ áóìàãà. Òî æå ñàìîå êàñàåòñÿ ñëîæíûõ ñõåì ñ áîëüøèì êîëè÷åñòâîì äåòàëåé. Åñëè ó÷àùèåñÿ äîëæíû îòâå÷àòü ïðÿìî â òåñòîâûõ áóêëå- òàõ, ñëåäóåò èñïîëüçîâàòü äîñòàòî÷íî ïëîòíóþ áóìàãó, ÷òîáû îíè ñëó÷àéíî íå ðàçîðâàëè åå è ÷òîáû îòâåòû íå ïðîñâå÷èâà- ëè ñêâîçü ñòðàíèöó. Áóìàãà äëÿ îáëîæêè èíîãäà èìååò áîëåå âûñîêîå êà÷åñòâî, ÷åì áóìàãà äëÿ òåêñòà, íî ýòî, êàê ïðàâèëî, âåäåò ê ðîñòó çà- òðàò è íå ÿâëÿåòñÿ îáÿçàòåëüíûì. Áóêëåòû äëÿ ðàçíûõ êëàññîâ äîëæíû ðàçëè÷àòüñÿ ïî öâåòî- âîé ãàììå. Ýòî äàñò ãàðàíòèþ, ÷òî ó÷àùèìñÿ áóäóò âûäàíû ïðà- âèëüíûå áóêëåòû. Öâåò òåêñòà äîëæåí îáåñïå÷èòü ëåãêîñòü ÷òåíèÿ. Îêîí÷àòåëüíûé âàðèàíò òåñòà îáÿçàòåëüíî äîëæåí ïðîâå- ðèòü ïðîôåññèîíàëüíûé êîððåêòîð. Òàêæå ñòîèò ïîïðîñèòü êîìïåòåíòíûõ êîëëåã, êîòîðûå íå ïðèâëåêàëèñü ê ðàçðàáîòêå, ïðî÷èòàòü îêîí÷àòåëüíóþ ôîðìó òåñòà ñ òî÷êè çðåíèÿ ïîëüçî- âàòåëÿ, ÷òîáû ïðîâåðèòü, ÷òî îíà èìååò ñìûñë. Äëÿ êîððåêòèðîâêè îêîí÷àòåëüíûõ òåñòîâûõ ôîðì åñòü äâà íàèáîëåå ïîäõîäÿùèõ ïåðèîäà. Ïîñëå òîãî, êàê áûëè ñî- áðàíû îêîí÷àòåëüíûå ôîðìû, èõ äîëæíû ïðî÷èòàòü ìåíåä- æåð ïî ðàçðàáîòêå òåñòîâ, àâòîðû çàäàíèé è, íàêîíåö, ïðî- ôåññèîíàëüíûé êîððåêòîð. Àâòîðû çàäàíèé äîëæíû ïðîâåðèòü èñïðàâëåíèÿ, ñäåëàííûå êîððåêòîðîì. Âòîðîé ðàç îêîí÷àòåëüíûå ôîðìû òåñòà äîëæíû áûòü ïðî÷èòàíû, êîãäà ïðèíòåð âûäàåò «ðàñïå÷àòêó» äëÿ ïðîâåðêè. Ðàñïå÷àòêà – ýòî èçîáðàæåíèå ñòðàíèö òåñòà â òîì âèäå, â êàêîì ïðèíòåð èõ âîñïðîèçâîäèò. Ïðèíòåð áóäåò îáû÷íî âûäàâàòü ðàñïå÷àòêè â òå÷åíèå íåñêîëüêèõ äíåé ïîñëå ïîëó÷åíèÿ òåñòà. Ñïåöèà- ëèñò ïî ðàçðàáîòêå òåñòîâ ìîæåò ïðèíÿòü îòâåòñòâåííîñòü íà ñåáÿ, à ìîæåò íàíÿòü ïðîôåññèîíàëüíîãî êîððåêòîðà. Íà âû÷èòêó è âíåñåíèå ïðàâêè íóæíî îòâåñòè ïî êðàéíåé ìåðå äâå íåäåëè. Ìîæåò ïîòðåáîâàòüñÿ è áîëüøå âðåìåíè – ýòî çà- âèñèò îò íàëè÷èÿ ñîòðóäíèêîâ äëÿ âûïîëíåíèÿ èñïðàâëåíèé â áóêëåòàõ. СОЗДАНИЕ ОКОНЧАТЕЛЬНОГО ТЕСТА 127 Êîððåêòîðû ÷àñòî íàõîäÿò ñîòíè ìàëåíüêèõ îøèáîê – â íåñîãëàñîâàííîì èñïîëüçîâàíèè çàãîëîâêîâ, ïóíêòóàöèè, ôîðìàòèðîâàíèè, ðàñïîëîæåíèè çàäàíèé è ïðàâîïèñàíèè. Åñëè êîððåêòóðà ïðåäâàðèòåëüíûõ òåñòîâ áûëà ïîëíîé è îá- øèðíîé, è â çàäàíèÿõ áûëî ñäåëàíî ìèíèìàëüíîå êîëè÷åñòâî ñóùåñòâåííûõ èçìåíåíèé, òî òåîðåòè÷åñêè êîððåêòóðà îêîí- ÷àòåëüíûõ ôîðì äîëæíà âûÿâèòü íåìíîãî îøèáîê, åñëè îíè âîîáùå èìåþòñÿ. Íà ïðàêòèêå ýòî ñëó÷àåòñÿ ðåäêî. Îøèáêè ìîãóò ïîÿâèòüñÿ â îêîí÷àòåëüíûõ ôîðìàõ òåñòà â òåõ ìåñòàõ, ãäå ðàíüøå èõ íå áûëî. Êîððåêòîðàì îáû÷íî íóæ- íî íåñêîëüêî äíåé, ÷òîáû ïîëíîñòüþ âû÷èòàòü îêîí÷àòåëüíûå òåñòîâûå ôîðìû è ðóêîâîäñòâà ïî ïðåäúÿâëåíèþ òåñòà äàæå â òåõ ñëó÷àÿõ, êîãäà ïðåäòåñòû ïðîøëè êîððåêòóðó. Çàðàíåå óñòàíîâèòå ïîðÿäîê ðàáîòû äëÿ áîëüøèõ ïðèíòå- ðîâ íà íåñêîëüêî íåäåëü èëè äàæå ìåñÿöåâ. Ïðèíòåð èìååò õà- ðàêòåðèñòèêè ñêîðîñòè ïå÷àòè. Êîìàíäà ïî íàöèîíàëüíîé îöåíêå ìîæåò ôèíàíñîâî ïîîùðèòü áûñòðóþ äîñòàâêó ðàñïå- ÷àòàííûõ òåñòîâ èëè íàçíà÷èòü øòðàô çà èõ äîñòàâêó ñ îïîçäà- íèåì. Ïðè ïå÷àòè òåñòîâûõ áóêëåòîâ âîçìîæíû îøèáêè. Ñàìàÿ ðàñïðîñòðàíåííàÿ èç íèõ – ýòî ïðîïóñê íåêîòîðûõ ñòðàíèö. Äëÿ èñêëþ÷åíèÿ ëþáûõ îøèáîê ìåíåäæåð ïî ðàçðàáîòêå òåñ- òà äîëæåí âûáîðî÷íî ïðîâåðèòü ðàñïå÷àòàííûå áóêëåòû. 7 ÃËÀÂÀ ÎÖÅÍÊÀ ÒÅÑÒÎÂÛÕ ÇÀÄÀÍÈÉ ÂÐÓ×ÍÓÞ ×ëåíû êîìàíäû, îñóùåñòâëÿþùåé íàöèî- íàëüíîå îöåíèâàíèå ðåçóëüòàòîâ îáó÷åíèÿ, äîëæíû òî÷íî çíàòü, ÷òî ýêñïåðòû, îöåíèâàþùèå çàäàíèÿ îêîí÷àòåëüíîãî òåñòà âðó÷íóþ, ïðîøëè ñïåöèàëüíóþ ïîäãîòîâêó. Ê ýòîìó ìî- ìåíòó ðóêîâîäñòâà ïî îöåíêå è çàäàíèÿ, êîòîðûå ïî èòîãàì ïðåäâàðèòåëüíîãî òåñòèðîâàíèÿ íóæäàëèñü â ïåðåñìîòðå, äîëæíû áûòü èçìåíåíû. Äî íà÷àëà çàêëþ÷èòåëüíîé ïðîöåäó- ðû îöåíèâàíèÿ âðó÷íóþ àâòîðàì çàäàíèé ñëåäóåò îòîáðàòü îá- ðàçöû îêîí÷àòåëüíûõ òåñòîâûõ ôîðì, ïðîâåðèòü ÿñíîñòü è ýô- ôåêòèâíîñòü ðóêîâîäñòâ ïî îöåíêå è ïðè íåîáõîäèìîñòè âíåñòè íåçíà÷èòåëüíûå ïîïðàâêè. Ïîäãîòîâêà ñïåöèàëüíîãî îöåíî÷íîãî öåíòðà äëÿ ïðîâåð- êè çàäàíèé âðó÷íóþ è îðãàíèçàöèÿ ýôôåêòèâíîé ýêñïåðòèçû ðåçóëüòàòîâ òåñòèðîâàíèÿ äîëæíû áûòü çàïëàíèðîâàíû çàðà- íåå. Äî íà÷àëà îöåíèâàíèÿ çàäàíèé âðó÷íóþ ÷ëåíàì êîìàíäû ñëåäóåò îòâåòèòü íà ñëåäóþùèå âîïðîñû. Ãäå áóäóò õðàíèòüñÿ ìàòåðèàëû òåñòîâ? Êàêèì îáðàçîì îíè áóäóò äîñòàâëåíû â öåíòð ýêñïåðòíîãî îöåíèâàíèÿ? 130 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ Êàêîâû ãàðàíòèè áåçîïàñíîñòè ìàòåðèàëîâ? (Òåñòû è ðóêî- âîäñòâà ïî îöåíêå íå äîëæíû ïîêèäàòü êîìíàòó, ãäå âåäåò- ñÿ ýêñïåðòèçà.) Êàêîâî ðàñïèñàíèå äëÿ ðàáîò ïî îöåíèâàíèþ âðó÷íóþ? Áó- äóò ëè îíè ïðîâîäèòüñÿ åæåäíåâíî â ðàçíîå âðåìÿ (âêëþ÷àÿ âå÷åðíèå ÷àñû)? Áóäóò ëè ýêñïåðòû ðàáîòàòü ïî âûõîäíûì? Êàê áóäóò ïðåäñòàâëåíû äàííûå â îò÷åòå ýêñïåðòîâ? Êàêèå âñïîìîãàòåëüíûå ìàòåðèàëû ìîãóò ïîòðåáîâàòüñÿ? Çà÷àñòóþ ýêñïåðòû ïðåäïî÷èòàþò êðàñíóþ èëè çåëåíóþ ðó÷êó, ïîòîìó ÷òî ýòè öâåòà áîëåå ÿðêèå è çàìåòíûå. Îáî- çíà÷èòü çàäàíèÿ, â êîòîðûõ ó ýêñïåðòîâ âîçíèêàþò âîïðî- ñû, ìîæíî ñ ïîìîùüþ ñòèêåðîâ è ôëàéåðîâ. Êàêîâà ôîðìà îïëàòû – ñäåëüíàÿ (ïî ÷èñëó ïðîâåðåííûõ òå- ñòîâ) èëè âðåìåííàÿ (ïî âðåìåíè, çàòðà÷åííîìó íà îöåíêó)? Îáå ôîðìû èìåþò ïðåèìóùåñòâà è íåäîñòàòêè.  ïåðâîì ñëó- ÷àå ýêñïåðòû ìîãóò òîðîïèòüñÿ è, êàê ñëåäñòâèå, âûïîëíèòü ðàáîòó íåáðåæíî, ïîñêîëüêó îíè áóäóò ñòàðàòüñÿ ïðîâåðèòü êàê ìîæíî áîëüøå òåñòîâ. Ïîýòîìó âåëèêà âåðîÿòíîñòü òîãî, ÷òî ýêñïåðòû íå áóäóò âûêëàäûâàòüñÿ ïîëíîñòüþ, è ðåçóëü- òàòû òàêîé ïðîâåðêè áóäóò íåêà÷åñòâåííûìè. Ðàçóìíûì âû- õîäîì ìîãëà áû ñòàòü îïëàòà ïî çàòðà÷åííîìó âðåìåíè, íî ñ ÷åòêèì óêàçàíèåì ìèíèìàëüíîãî êîëè÷åñòâà ðàáîò, êîòîðîå äîëæíî áûòü ïðîâåðåíî êàæäûé äåíü.  îöåíî÷íîì öåíòðå îáÿçàòåëüíî äîëæíû áûòü: ðóêîâîäè- òåëü ãðóïïû, âåäóùèé ñïåöèàëèñò è ñàìè ýêñïåðòû. Ëèöà, îò- âåòñòâåííûå çà îòáîð ïåðñîíàëà, äîëæíû ïðîâåñòè ñîáåñåäî- âàíèå ñ êàíäèäàòàìè è ïðîâåðèòü èõ ðåêîìåíäàöèè. Ðóêîâîäèòåëü ãðóïïû ýêñïåðòîâ íåñåò îòâåòñòâåííîñòü çà âñå åå äåéñòâèÿ. Îí èëè îíà ãàðàíòèðóåò, ÷òî ðàáîòà èäåò ïî ðàñ- ïèñàíèþ, ðåøàåò òåêóùèå ïðîáëåìû, íàáëþäàåò çà ïðîöåññîì êîíòðîëÿ êà÷åñòâà ðàáîòû è îáåñïå÷èâàåò áåçîïàñíîñòü òåñ- òîâ, ïðåäîõðàíÿÿ èõ îò ðàññåêðå÷èâàíèÿ. Ðóêîâîäèòåëü äîëæåí áûòü îïûòíûì ýêñïåðòîì ñ õîðîøèìè óïðàâëåí÷åñêèìè è îðãà- íèçàòîðñêèìè íàâûêàìè, ñïîñîáíûé íà ðåøèòåëüíûå äåé- ñòâèÿ, òàêèå êàê óâîëüíåíèå ñîòðóäíèêîâ, íå ñïðàâëÿþùèõñÿ ñî ñâîèìè îáÿçàííîñòÿìè. ОЦЕНКА ТЕСТОВЫХ ЗАДАНИЙ ВРУЧНУЮ 131 Âåäóùèé ýêñïåðò îòâåòñòâåíåí çà ìîíèòîðèíã îöåíêè â êîíê- ðåòíîé ïðåäìåòíîé îáëàñòè è îñóùåñòâëåíèå ïðîöåäóð êîíòðî- ëÿ êà÷åñòâà. Ïî êàæäîìó ïðîâåðÿåìîìó ïðåäìåòó äîëæåí áûòü, ïî êðàéíåé ìåðå, îäèí âåäóùåé ñïåöèàëèñò (íàïðèìåð ïî ìàòå- ìàòèêå, ÷òåíèþ è ò.ä.). Íåîáõîäèìî, ÷òîáû âåäóùèé ýêñïåðò èìåë îïûò ðàáîòû â ñîîòâåòñòâóþùåé ïðåäìåòíîé îáëàñòè è â êà÷åñòâå ýêñïåðòà è âíóøàë óâàæåíèå ïîä÷èíåííûì. Ýêñïåðòû îöåíèâàþò îòâåòû ó÷àùèõñÿ. Îáû÷íî õîðîøèìè ýêñïåðòàìè ÿâëÿþòñÿ ïðåïîäàâàòåëè. Îíè äîëæíû áûòü ïðè- ëåæíûìè, íàäåæíûìè, ïîñëåäîâàòåëüíûìè â ðàññóæäåíèÿõ è îòëè÷íî çíàòü ñâîþ ïðåäìåòíóþ îáëàñòü. Äëÿ îáó÷åíèÿ ýêñïåðòîâ ìåíåäæåð ïî ðàçðàáîòêå òåñòà íà- çíà÷àåò ñòàðøåãî ñðåäè àâòîðîâ çàäàíèé ïî ñîîòâåòñòâóþùèì ïðåäìåòíûì îáëàñòÿì. Æåëàòåëüíî, ÷òîáû àâòîð, îáó÷àþùèé ýêñïåðòîâ, áûë âîâëå÷åí â ðàçðàáîòêó çàäàíèé è îöåíî÷íûõ ðóêîâîäñòâ, à òàêæå èìåë îïûò â äàííîì ïðåäìåòå. Ìåíåäæåð ïî ðàçðàáîòêå òåñòà ìîã áû âçÿòü íà ñåáÿ îáó÷åíèå ýêñïåðòîâ â ñâîåé ïðåäìåòíîé îáëàñòè. Èäåàëüíûé âàðèàíò – êîãäà ÷å- ëîâåê, îáó÷àâøèé ýêñïåðòîâ íà ñòàäèè ïðåäâàðèòåëüíîãî òå- ñòèðîâàíèÿ, ïðîâîäèò îáó÷åíèå è äëÿ îêîí÷àòåëüíîãî òåñòè- ðîâàíèÿ. Êàæäîé ãðóïïå ýêñïåðòîâ íåîáõîäèìî ïðåäîñòàâèòü äîñòà- òî÷íîå êîëè÷åñòâî âðåìåíè íà îáó÷åíèå, êîòîðîå îáû÷íî ïðî- õîäèò â íåñêîëüêî ýòàïîâ.  õîäå îáó÷åíèÿ íóæíî ó÷èòûâàòü, ÷òî ýêñïåðòàì ïðåäñòîèò îöåíèòü öåëûé ñïåêòð âîçìîæíûõ ïðàâèëüíûõ îòâåòîâ. Íåêîòîðûå èç íèõ, âîçìîæíî, íå òàêèå, êîòîðûå âûáðàë áû ñàì ýêñïåðò, íåêîòîðûå ìîãóò èìåòü íåáîëü- øîå ñõîäñòâî ñ îòâåòàìè â ó÷åáíèêå. Êðîìå òîãî, ó÷àùèåñÿ ìîãóò íå ñîâñåì ãðàìîòíî ïðåäñòàâèòü îòâåò èëè èñïîëüçîâàòü íåñòàíäàðòíóþ ëåêñèêó. Ïðè îáó÷åíèè ýêñïåðòîâ íåîáõîäèìî ó÷èòûâàòü ñëåäóþùèå àñïåêòû. Ýêñïåðòû íå îáëàäàþò ñâîáîäîé â îïðåäåëåíèè ñòåïåíè ïðèãîäíîñòè îòâåòîâ îöåíî÷íûõ ðóêîâîäñòâ èëè æå ýòà ñâî- áîäà âåñüìà îãðàíè÷åíà. Îíè íå èìåþò âîçìîæíîñòè âû- ñêàçûâàòü ëè÷íîå ìíåíèå èëè ïðåäïî÷òåíèÿ. 132 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ Íåëüçÿ ñíèìàòü áàëëû çà îðôîãðàôè÷åñêèå èëè ãðàììàòè- ÷åñêèå îøèáêè â òåñòàõ ïî ÷òåíèþ, ìàòåìàòèêå èëè åñòå- ñòâåííûì íàóêàì, åñëè ðàáîòà ó÷àùåãîñÿ ïîääàåòñÿ ðàñïîç- íàâàíèþ. Åñëè ýêñïåðòû íå óâåðåíû, êàê îöåíèòü îòäåëüíûé îòâåò, èì ñëåäóåò îáðàùàòüñÿ çà ñîâåòîì ê âåäóùåìó ýêñïåðòó. Ýêñïåðòû äîëæíû èñïîëüçîâàòü îäíó è òó æå îöåíêó (îáû÷- íî 0) äëÿ âñåõ íåïðàâèëüíûõ è íåðàçáîð÷èâûõ îòâåòîâ, âêëþ÷àÿ äàæå îäíó íå÷åòêî íàïèñàííóþ áóêâó èëè íåáðåæ- íî íàðèñîâàííóþ ëèíèþ. Ýêñïåðòû äîëæíû èñïîëüçîâàòü îäèí è òîò æå òîò îöåíî÷- íûé êîä (îáû÷íî 9) äëÿ âñåõ çàäàíèé, íà êîòîðûå ó÷àùèé- ñÿ íå ïîïûòàëñÿ îòâåòèòü, ò.å. íà ìåñòå, ïðåäóñìîòðåííîì äëÿ îòâåòà, íåò íèêàêîé îòìåòêè êàðàíäàøîì. Äëÿ îáëåã÷åíèÿ ââîäà äàííûõ ýêñïåðò äîëæåí èñïîëüçîâàòü äëÿ ïðîñòàâëåíèÿ îöåíêè òîëüêî ñïåöèàëüíî îòâåäåííîå äëÿ ýòîãî ìåñòî â òåñòîâîì áóêëåòå. Ýêñïåðòû íå äîëæíû íåñòè îòâåòñòâåííîñòü çà ñóììèðîâà- íèå áàëëîâ ïðè âûñòàâëåíèè ïîëíîé îöåíêè ïî òåñòó.  îáó÷åíèè íåîáõîäèìî ñäåëàòü àêöåíò íà ïîíèìàíèè ýê- ñïåðòàìè òîãî, ÷òî âëå÷åò çà ñîáîé îöåíêà, è íà äîñòèæåíèè ñîãëàñîâàííîñòè â îöåíêàõ. Ìåòîäû îáó÷åíèÿ ìîãóò èçìåíÿòü- ñÿ. Íèæå ìû ïðåäñòàâëÿåì îäèí èç ìíîãèõ âîçìîæíûõ âàðè- àíòîâ. Ïðåïîäàâàòåëü ïðîñèò ýêñïåðòîâ ñàìîñòîÿòåëüíî îòâåòèòü íà êàæäîå çàäàíèå, îöåíèâàåìîå âðó÷íóþ. Òàêèì îáðàçîì, ýêñïåðòû ïîçíàêîìÿòñÿ ñ çàäàíèÿìè, äîëæíûì îáðàçîì ïðî- ÷òóò è ïîéìóò èõ. Ïðåïîäàâàòåëü âûäàåò êàæäîìó ýêñïåðòó ÷åòûðå èëè ïÿòü âûïîëíåííûõ òåñòîâûõ áóêëåòîâ. Îí îáñóæäàåò ïåðâîå çà- äàíèå è ðóêîâîäñòâî ïî îöåíêå, è çàòåì ýêñïåðòû îöåíèâà- þò ýòî çàäàíèå â ñâîèõ òåñòîâûõ áóêëåòàõ. Ïðåïîäàâàòåëü ìîòèâèðóåò ãðóïïó ê àíàëèçó ëþáûõ ðàñõîæäåíèé èëè ñîìíåíèé â òîì, êàê îöåíèòü îòâåò. Ýêñïåðòîâ ïðîñÿò âû- äåëèòü òå ÷àñòè îòâåòîâ, êîòîðûå ìîãóò îòëè÷àòüñÿ îò ïðè- ìåðîâ â îöåíî÷íîì ðóêîâîäñòâå. Ïîñëå òîãî êàê áûëî âñå- ОЦЕНКА ТЕСТОВЫХ ЗАДАНИЙ ВРУЧНУЮ 133 ñòîðîííå ðàññìîòðåíî è ïðîàíàëèçèðîâàíî ïåðâîå çàäà- íèå, ïðåïîäàâàòåëü ïåðåõîäèò ê ñëåäóþùåìó. Îáû÷íî íà ýòî óõîäèò íåñêîëüêî ÷àñîâ. Ýêñïåðòû ïðîõîäÿò ïîâòîðíîå îáó÷åíèå, âî âðåìÿ êîòîðî- ãî îíè ðàáîòàþò ïàðàìè. Îíè îöåíèâàþò íåñêîëüêî çàäà- íèé ñàìîñòîÿòåëüíî, à çàòåì ïðîâåðÿþò ðàáîòó äðóã äðóãà è îáñóæäàþò âîçìîæíûå ðàñõîæäåíèÿ. Åñëè îíè íå ìîãóò ïðèéòè ê ñîãëàñèþ, èì ñëåäóåò îáðàòèòüñÿ çà êîíñóëüòàöè- åé ê ïðåïîäàâàòåëþ. Ïîñëå òîãî êàê îáó÷åíèå çàêîí÷åíî, îòâåòñòâåííîñòü ïî óïðàâëåíèþ ãðóïïîé ýêñïåðòîâ ïðèíè- ìàåò íà ñåáÿ âåäóùèé ýêñïåðò. Îí äîëæåí ñîîáùàòü ïðåïî- äàâàòåëþ îáî âñåõ âîçíèêàþùèõ ïðîáëåìàõ.  ïðîöåññå ðåàëüíîé ïðîâåðêè âåäóùèé ýêñïåðò êàæäûé äåíü âûáèðàåò íåñêîëüêî ïðîáëåìíûõ çàäàíèé è ïðîâîäèò êðàòêèå îáñóæäåíèÿ ïî íèì, ÷òîáû ñîñðåäîòî÷èòü íà íèõ âíèìàíèå è äîáèòüñÿ ñîãëàñîâàííîñòè îöåíîê ýêñïåðòîâ. Êà÷åñòâåííàÿ ïðîâåðêà çàäàíèé ñ êðàòêèì îòâåòîì äëÿ íà- öèîíàëüíûõ ïðîãðàìì îöåíèâàíèÿ ìîæåò âêëþ÷àòü ïåðâè÷íóþ ïåðåïðîâåðêó ïî÷òè 100% âñåõ òåñòîâûõ áóêëåòîâ. Êàê ïðàâè- ëî, åå ïðîâîäÿò âåäóùèå ýêñïåðòû. Ïîñòåïåííî ÷èñëî ïåðåïðî- âåðÿåìûõ òåñòîâûõ áóêëåòîâ ìîæåò áûòü ñîêðàùåíî äî 10–20%, ïîñêîëüêó ýêñïåðòû ïîñòåïåííî ñòàíîâÿòñÿ áîëåå ïî- ñëåäîâàòåëüíûìè è íàäåæíûìè â ñâîèõ îöåíêàõ. Åñëè ê ïðîâåðêå ïðèâëåêàåòñÿ áîëüøîå ÷èñëî ñîòðóäíèêîâ, òî íåîáõîäèìî íàçíà÷èòü íåñêîëüêî âåäóùèõ ýêñïåðòîâ, ÷òîáû ãàðàíòèðîâàòü åå êà÷åñòâî è îáåñïå÷èòü áûñòðóþ îáðàòíóþ ñâÿçü ïî ïîâîäó ëþáûõ âîçìîæíûõ îøèáîê. Âåäóùèé ýêñïåðò äîëæåí òðåáîâàòü ïîâòîðíîé îöåíêè çàäàíèé â ðàíåå ïðîâåðåí- íûõ òåñòîâûõ áóêëåòàõ, ãäå áûëè äîïóùåíû îøèáêè ïðè âûñòàâ- ëåíèè îöåíîê. Ïðîöåäóðû äëÿ óñòðàíåíèÿ íåñîîòâåòñòâèé â îöåíêàõ òàêæå äîëæíû áûòü ðàçúÿñíåíû. Îáû÷íî ó÷èòûâàåòñÿ èìåííî òà îöåíêà, êîòîðóþ âûñòàâëÿåò âåäóùèé ýêñïåðò. Òåñò ïî ÿçûêó ìîæåò ñîäåðæàòü îäíî èëè íåñêîëüêî çàäà- íèé, êîòîðûå òðåáóþò íàïèñàíèÿ ýññå. Ýññå ÷àñòî îöåíèâàþò äâà ýêñïåðòà. Ïðè ýòîì âòîðîé ýêñïåðò íå çíàåò îöåíêè, ïðè- ñâîåííîé ïåðâûì ýêñïåðòîì. Çàòåì îöåíêè ñðàâíèâàþòñÿ. 134 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ Ðàçíèöà â îäèí áàëë îáû÷íî ó÷èòûâàåòñÿ, è ýòè äâå îöåíêè óñðåäíÿþòñÿ. Åñëè ðàçíèöà áîëüøå, òî ýòî çíà÷èò, ÷òî ïî êðàé- íåé ìåðå îäíà èç îöåíîê ïî ðåçóëüòàòàì äèñêóññèè äîëæíà áûòü áûëà èçìåíåíà. Åñëè ýêñïåðòû íå ìîãóò ïðèéòè ê ñîãëàñèþ, òî ðåøåíèå äîëæåí ïðèíÿòü âåäóùèé ýêñïåðò. Îöåíêà âðó÷íóþ òðåáóåò ïðåäåëüíîé êîíöåíòðàöèè. Ýêñ- ïåðòû íå äîëæíû ðàáîòàòü áåç ïåðåðûâîâ è âûõîäíûõ. Äëè- òåëüíîñòü ðàáî÷åãî äíÿ íå äîëæíà ïðåâûøàòü øåñòè – øåñòè ñ ïîëîâèíîé ÷àñîâ. Ðàáî÷èé äåíü ìîæåò âêëþ÷àòü òðåõ÷àñî- âóþ óòðåííþþ ñåññèþ ñ êîðîòêèì ïåðåðûâîì è òðåõ÷àñîâóþ äíåâíóþ ñåññèþ òàêæå ñ íåáîëüøèì ïåðåðûâîì. Ýêñïåðòàì, ðàáîòàþùèì ìåäëåííåå ñâîèõ êîëëåã, ìîãóò ïîòðåáîâàòüñÿ äî- ïîëíèòåëüíûå ïîë÷àñà, ÷òîáû âûïîëíèòü äíåâíóþ íîðìó. Òàêæå ýêñïåðòû äîëæíû çàïîëíÿòü åæåäíåâíûå áëàíêè ïîñå- ùàåìîñòè. ×ÀÑÒÜ 2 ÊÎÍÑÒÐÓÈÐÎÂÀÍÈÅ ÀÍÊÅÒ 8 ÃËÀÂÀ ÏÐÎÅÊÒÈÐÎÂÀÍÈÅ ÀÍÊÅÒ Àíêåòà ïðåäñòàâëÿåò ñîáîé íàáîð çàäàíèé, ïðåäíàçíà÷åííûõ äëÿ ïîëó÷åíèÿ èíôîðìàöèè îá èñïûòóåìûõ. Çàïðàøèâàåìûå ñâåäåíèÿ ìîãóò áûòü ñàìûìè ðàçëè÷íûìè: ëè÷íûå õàðàêòåðèñòèêè ó÷àùèõñÿ, èìåþùèåñÿ êâàëèôèêàöèè è îïûò, óñëîâèÿ ðàáîòû, êðàòêàÿ àâòîáèîãðàôèÿ, âåðîèñïîâå- äàíèå, ïîëèòè÷åñêèå óáåæäåíèÿ, ìíåíèå ïî îïðåäåëåííûì âîïðîñàì. Öåëü íàöèîíàëüíîé îöåíêè – ïîëó÷èòü íàäåæíûå ïðè- áëèæåííûå îöåíêè äîñòèæåíèé ó÷àùèõñÿ (èçìåðÿþòñÿ ñ ïî- ìîùüþ ñïåöèàëüíî ðàçðàáîòàííîãî òåñòà), à òàêæå êëþ÷åâûõ ïåðåìåííûõ (èçìåðÿþòñÿ ñ ïîìîùüþ àíêåòû), ñâÿçàííûõ ñ ðàçëè÷èÿìè â ó÷åáíûõ äîñòèæåíèÿõ. Äàííûå òåñòèðîâàíèÿ ïîçâîëÿþò îöåíèòü ðåçóëüòàòû îáó÷åíèÿ, à ïðîâîäÿùååñÿ â ñî÷åòàíèè ñ òåñòèðîâàíèåì àíêåòèðîâàíèå ïîìîãàåò ïîëó- ÷èòü äàííûå î ïåðåìåííûõ, êîòîðûå ñâÿçàíû èëè îáúÿñíÿ- þò ðàçëè÷èÿ â ðåçóëüòàòàõ âûïîëíåíèÿ òåñòîâ. Òàê, àíàëè- çèðóÿ äàííûå àíêåò, ìîæíî ñäåëàòü âûâîä, ÷òî ïëîõèå ðåçóëüòàòû èñïûòóåìûõ îáúÿñíÿþòñÿ îòñóòñòâèåì â èõ øêî- ëå áèáëèîòåêè, à âûñîêèå ðåçóëüòàòû ïîêàçûâàþò ó÷àùèåñÿ òåõ øêîë, ãäå ïðåïîäàâàòåëè ðåãóëÿðíî ó÷àñòâóþò â ïðîãðàì- ìàõ ïðîôåññèîíàëüíîãî ðàçâèòèÿ. Äàííûå àíêåòèðîâàíèÿ 138 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ ïîìîãàþò íàéòè ðåñóðñû äëÿ óëó÷øåíèÿ êà÷åñòâà ðåçóëüòà- òîâ îáó÷åíèÿ. Õîðîøàÿ àíêåòà ñîáèðàåò äàííûå î ïåðåìåííûõ, ïî êîòî- ðûì òàêòèêè õîòåëè áû èìåòü òî÷íóþ èíôîðìàöèþ, íà êîòî- ðûå îíè ìîãóò è õîòÿò ïîâëèÿòü, à òàêæå î òåõ ïåðåìåííûõ, êîòîðûå, ñîãëàñíî ðåçóëüòàòàì èññëåäîâàíèé, ìîãóò âëèÿòü íà ó÷åáíûå äîñòèæåíèÿ. Òèïè÷íàÿ îøèáêà ìíîãèõ àíêåò ñîñòîèò â òîì, ÷òî îíè ïðåäíàçíà÷àþòñÿ äëÿ ñáîðà èçëèøíå áîëüøîãî êîëè÷åñòâà èíôîðìàöèè. Òàêòèêîâ, êàê ïðàâèëî, èíòåðåñóåò èíôîðìàöèÿ òîëüêî î íåñêîëüêèõ êëþ÷åâûõ ïåðåìåííûõ. Êðîìå òîãî, äàæå â òåõ ñëó÷àÿõ, êîãäà äëÿ ñáîðà äàííûõ ñóùåñòâóþò âåñîìûå íà- ó÷íûå ïðè÷èíû, âîçìîæíûå ïîëèòè÷åñêèå è ñîöèàëüíûå ïî- ñëåäñòâèÿ ìîãóò óêàçàòü íà íåæåëàòåëüíîñòü íàöèîíàëüíîé îöåíêè, ïîñêîëüêó îíà ÿâëÿåòñÿ íå ñàìûì ïîäõîäÿùèì ìåõà- íèçìîì. Ïîìèìî àíêåò â ñòðàíàõ, êîòîðûå âåäóò òî÷íûé è íàäåæ- íûé ó÷åò õàðàêòåðèñòèê øêîë, ïðåïîäàâàòåëåé è ó÷àùèõñÿ, ìîãóò áûòü è äðóãèå èñòî÷íèêè èíôîðìàöèè – ïðàâèòåëüñòâåí- íûå îò÷åòû. Ïðåíåáðåãàòü èìè íå ñëåäóåò. Îáðàùåíèå ê òàêèì îò÷åòàì ìîæåò áûòü çíà÷èòåëüíî äåøåâëå è ëåã÷å, ÷åì àíêåòè- ðîâàíèå. Äèçàéí àíêåòû äîëæåí îïèñûâàòü, êàêèå âèäû äàííûõ áó- äóò ñîáðàíû, êàê îíè áóäóò àíàëèçèðîâàòüñÿ è ñîîáùàòüñÿ è êàêîé âêëàä â ñîâåðøåíñòâîâàíèå ñèñòåìû îáðàçîâàíèÿ îíè âíåñóò. Ðàçðàáîòêà äèçàéíà àíêåò ïðåäóñìàòðèâàåò ñëåäóþùèå ýòàïû. Âûáåðèòå öåëü àíêåòèðîâàíèÿ è ñïîñîáû èñïîëüçîâàíèÿ äàííûõ. Ðàçðàáîòàéòå ïðîåêò, êîòîðûé îïðåäåëèò ðåñïîíäåíòîâ, öåëåâûå îáëàñòè, âèäû çàäàíèé, ñïîñîáû êîäèðîâàíèÿ èëè îöåíêè è ïðîòîêîë ïðåäúÿâëåíèÿ àíêåòû (äëÿ èíòåðâüþå- ðà èëè ñàìîñòîÿòåëüíîãî âûïîëíåíèÿ). Ñîñòàâüòå çàäàíèÿ.  êà÷åñòâå ðàçðàáîò÷èêîâ èëè ýêñïåð- òîâ ïðèâëåêèòå ñïåöèàëèñòîâ. Îíè ïîìîãóò ïðîàíàëèçèðî- âàòü çàäàíèÿ, ïðè íåîáõîäèìîñòè ñêîððåêòèðîâàòü èõ ПРОЕКТИРОВАНИЕ АНКЕТ 139 è ñäåëàòü äèçàéí àíêåòû ÿñíûì è ïîíÿòíûì, ÷òî îáëåã÷èò çàäà÷ó ðåñïîíäåíòàì è ñäåëàåò îáðàáîòêó äàííûõ áîëåå ýôôåêòèâíîé. Ñîñòàâüòå ïëàí àíàëèçà äàííûõ äëÿ îáðàáîòêè ñîáðàííîé èíôîðìàöèè, âûáîðà ïåðåìåííûõ èçìåðåíèÿ è ïîêàçàòå- ëåé äëÿ ïîñëåäóþùåãî ñòàòèñòè÷åñêîãî àíàëèçà. Ïðîâåäèòå ïðåäâàðèòåëüíóþ ïðîâåðêó, èëè àïðîáàöèþ, àíêåò, ÷òîáû óñòàíîâèòü ïðèãîäíîñòü çàäàíèé è ïðåäïîëà- ãàåìûõ êàòåãîðèé îòâåòîâ. Ïðîàíàëèçèðóéòå ïðåäâàðèòåëüíûå äàííûå ïðîâåðêè, ñêîððåêòèðóéòå àíêåòû è ñôîðìèðóéòå îêîí÷àòåëüíûå àí- êåòû äëÿ ïðåäúÿâëåíèÿ ðåñïîíäåíòàì. Ïðîöåññ ðàçðàáîòêè àíêåò è ïåðå÷åíü ïðèâëåêàåìûõ ñïå- öèàëèñòîâ ïðåäñòàâëåí â òàáë. 8.1. Àíêåòû è èíñòðóêöèè ïî èõ ïðåäúÿâëåíèþ äîëæíû áûòü ïîäãîòîâëåíû è ïðåäâàðèòåëüíî àïðîáèðîâàíû â ðåàëüíûõ óñëîâèÿõ, êàê è òåñòû. Çíà÷èò, ïðîåêòû àíêåò äîëæíû ðàçðàáà- òûâàòüñÿ â òî æå ñàìîå âðåìÿ, ÷òî è ïðîåêòû òåñòîâ. Âðåìÿ íàïèñàíèÿ àíêåò è îêîí÷àòåëüíûõ òåñòîâûõ çàäàíèé òàêæå äîëæíî ñîâïàäàòü. Ýêñïåðòèçó òàêæå íåîáõîäèìî ïðîâîäèòü îäíîâðåìåííî. СОДЕРЖАНИЕ АНКЕТ Àíêåòà äîëæíà ñîáèðàòü èíôîðìàöèþ ïî êëþ÷åâûì ïåðåìåí- íûì, êîòîðûå ìîãëè áû îáúÿñíèòü ðàçëè÷èÿ â ðåçóëüòàòàõ âû- ïîëíåíèÿ ó÷àùèìèñÿ òåñòîâ ó÷åáíûõ äîñòèæåíèé. Òàêèõ âçàè- ìîäåéñòâóþùèõ ïåðåìåííûõ ìíîæåñòâî. Îäíàêî àíêåòà ìîæåò áûòü ñôîêóñèðîâàíà òîëüêî íà íåêîòîðûõ èç íèõ. Òàêòèêè, êàê ïðàâèëî, õîòÿò ïîëó÷èòü èíôîðìàöèþ î ïåðå- ìåííûõ, êîòîðûå ñâÿçàíû ñ âàæíûìè îáðàçîâàòåëüíûìè ïðî- áëåìàìè â èõ ñòðàíå, òàêèìè êàê èçó÷åíèå ÿçûêà, ðàçëè÷èÿ â ðàñïðåäåëåíèè îáðàçîâàòåëüíûõ ðåñóðñîâ èëè îòíîøåíèå ê æåíñêîìó îáðàçîâàíèþ. Âîçìîæíî, îíè íå óâåðåíû â òîì, êà- êèå èìåííî ïàðàìåòðû âûáðàòü äëÿ èññëåäîâàíèÿ. Îíè ìîãóò äàòü äëèííûé ñïèñîê ïåðåìåííûõ, êîòîðûå âûáðàíû íà îñ- ТАБЛИЦА 8.1 140 Компоненты процесса разработ и ан ет К ом понент О писание Привлекаем ые специалисты РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ Ц ель Разъясните цель анкетирования и варианты использования данных Тактики, заинтересованные лица и м енеджер по разработке тестов анкет Проект Разработайте дизайн проекта для определения респондентов, Менеджер по разработке тестов, эксперты по предм етам , специалисты целевых областей, видов заданий, кодов и протоколов предъявления по анализу данных тестирования, авторы заданий, опытные анкет преподаватели, тактики и ключ евые заинтересованные лица Задания Составьте задания анкет Менеджер по разработке тестов, авторы заданий Проведите ч истку заданий для ясности и полноценности работы Менеджер по разработке тестов, авторы заданий экспертов Повторно проанализируйте анкеты Менеджер по разработке тестов, представители правительственных кругов и иные заинтересованные лица План анализа О пределите план обработки информ ации для выбора перем енных Специалист по анализу данных тестирования и м енеджер по разработке данных изм ерения и показателей для различ ных видов анализа тестов Предварительн Разработайте дизайн и откорректируйте анкеты для Менеджер по разработке тестов, авторы заданий, верстальщ ики, ая проверка предварительной проверки дизайнеры, корректоры анкет Разработайте инструкции по проведению анкетирования для Менеджер по разработке тестов и авторы заданий предварительной проверки анкет и обуч ения организаторов апробации Проведите предварительную проверку анкет одноврем енно с Менеджер по разработке тестов, м енеджер по логистике и организаторы апробацией тестов тестирования О конч ательное Проанализируйте данные предварительного анкетирования Специалист по анализу данных и м енеджер по разработке тестов анкетирование Проведите ч истку анкет и инструкций по их предъявлению на основе Менеджер по разработке тестов, авторы заданий и специалист по данных апробации и обратной связи по результатам предъявления анализу данных анкет Разработайте оконч ательную форм у анкет Менеджер по разработке тестов, авторы заданий, верстальщ ики, дизайнеры, корректоры Источни : разработ и авторов. ПРОЕКТИРОВАНИЕ АНКЕТ 141 íîâàíèè èõ ëè÷íîãî îïûòà è íàáëþäåíèé è êîòîðûå, êàê îíè äóìàþò, «äîëæíû» áûòü îòðàæåíû â àíêåòå. Òàêîé ñïèñîê íå- îáõîäèìî ñîêðàòèòü äî ïåðå÷íÿ èç íåñêîëüêèõ òðåáîâàíèé, êî- òîðûå, âåðîÿòíî, áóäóò ïîëåçíû â ôîðìèðîâàíèè ñîäåðæàíèÿ àíêåò. Òàêòèêè, âîçìîæíî, íå çíàþò, ÷òî ïðîöåññ àíàëèçà è ñî- îáùåíèÿ äàííûõ àíêåòèðîâàíèÿ äîðîã è òðåáóåò ìåòîäè÷åñ- êîé ýêñïåðòèçû. Ïîñêîëüêó ðåñóðñû âñåãäà áûâàþò îãðàíè- ÷åíû, àíêåòû äîëæíû áûòü êðàòêèìè è ðåëåâàíòíûìè. Ñîáðàííûå äàííûå äîëæíû òàêæå áûòü ìåòîäè÷åñêè ïðèåì- ëåìûìè, åñëè èõ ïðåäïîëàãàåòñÿ èñïîëüçîâàòü äëÿ îáúÿñíå- íèÿ ðåçóëüòàòîâ âûïîëíåíèÿ òåñòîâ ó÷àùèìèñÿ. Ìîäåëè, èñïîëüçóåìûå â äðóãèõ ñòðàíàõ ïðè íàöèîíàëüíîì îöåíèâà- íèè, ìîãóò îáåñïå÷èòü òîëüêî ïðèáëèçèòåëüíûå ðóêîâîäÿ- ùèå óêàçàíèÿ. Âåäü ó êàæäîé ñòðàíû åñòü ñâîè ñîáñòâåííûå ïîòðåáíîñòè, êîòîðûå, òåì íå ìåíåå, äîëæíû îïðåäåëèòü àäåêâàòíûé õàðàêòåð àíêåò. Ìåíåäæåð ïî ðàçðàáîòêå òåñòà èëè ñîòðóäíèê, îòâåòñòâåí- íûé çà ðàçðàáîòêó àíêåòû, äîëæåí ïîäñêàçàòü òàêòèêàì, êàêèå èìåííî êëþ÷åâûå ïåðåìåííûå, âåðîÿòíî, îáåñïå÷àò ïîëåçíóþ èíôîðìàöèþ. Äëÿ ýòîãî ïîòðåáóåòñÿ ïðèâåñòè ðåëåâàíòíûå ïðèìåðû, ÷òîáû òàêòèêè ìîãëè ðàññìîòðåòü âîçìîæíûå âàðè- àíòû ïðèìåíåíèÿ ñîáðàííîé èíôîðìàöèè. Ýòà èíôîðìàöèÿ ïîìîæåò â äàëüíåéøåì ñêîððåêòèðîâàòü ñïèñîê ïåðåìåííûõ, ê êîòîðûì áóäóò îáðàùàòüñÿ â ïðîöåññå àíàëèçà. Ïîñêîëüêó àíêåòû ðàçðàáàòûâàþòñÿ äëÿ ðàçíûõ êàòåãîðèé – ó÷àùèõñÿ, èõ ðîäèòåëåé, ïðåïîäàâàòåëåé è ðóêîâîäèòåëåé ó÷åá- íûõ çàâåäåíèé, òî è âîïðîñû â íèõ áóäóò ðàçíûå. Íèæå ïðèâå- äåíû ïðèìåðíûå âàðèàíòû àíêåò äëÿ êàæäîé èç ýòèõ ãðóïï. Ан ета для чащихся  àíêåòàõ äëÿ èñïûòóåìûõ ìîæíî çàïðàøèâàòü ñëåäóþùèå ñâå- äåíèÿ: ïîë, âîçðàñò, îñíîâíîé ÿçûê (âñå äàííûå, êîòîðûå îáû÷íî ñîáèðàþò íà ïåðâîé ñòðàíèöå òåñòîâîãî áóêëåòà); 142 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ óðîâåíü îáðàçîâàíèÿ: êîëè÷åñòâî ëåò, ïðîâåäåííûõ â øêî- ëå è âíå øêîëû; âîçìîæíîñòè äëÿ ïîñåùåíèÿ øêîëû; ñòðåìëåíèå ê óñïåõó, ëè÷íîå èëè ñåìåéíîå îòíîøåíèå ê öåííîñòè øêîëüíîãî îáðàçîâàíèÿ; âîñïðèÿòèå õàðàêòåðèñòèê îêðóæàþùåé ñðåäû: ÷óâñòâî áå- çîïàñíîñòè â êëàññå, äðóæåëþáíîå îòíîøåíèå äðóãèõ ó÷à- ùèõñÿ èëè ïîääåðæêà ñî ñòîðîíû ïðåïîäàâàòåëåé. Ан ета для родителей Àíêåòû äëÿ ðîäèòåëåé ìîãóò çàïðàøèâàòü ñëåäóþùèå äàííûå: íàöèîíàëüíîñòü, ïîë è îñíîâíîé ÿçûê; õàðàêòåðèñòèêè äîìàøíåé ñðåäû: äîñòóïíîñòü êíèã, íàëè- ÷èå ïèñüìåííûõ ñòîëîâ è îñâåùåíèÿ; îñíîâíûå õàðàêòåðèñòèêè ÷ëåíîâ ñåìüè: îáðàçîâàíèå ðî- äèòåëåé è ÿçûê äîìàøíåãî îáùåíèÿ; õàðàêòåðèñòèêè îòíîøåíèÿ ðîäèòåëåé ê îáðàçîâàíèþ: ñ÷è- òàþò ëè îíè îáÿçàòåëüíûì ïîñåùåíèå øêîëû äåòüìè, ïî- íèìàþò ëè öåííîñòü îáðàçîâàíèÿ è êàê âîñïðèíèìàþò êà- ÷åñòâî îáðàçîâàíèÿ; õàðàêòåðèñòèêè îòíîøåíèÿ ê äîìàøíåé ðàáîòå ó÷àùèõñÿ è óñëîâèÿ äëÿ âûïîëíåíèÿ ðàáîòû äîìà; äîïóñòèìîñòü è äîñòóïíîñòü îáðàçîâàíèÿ äëÿ äåòåé; îæèäàíèÿ îòíîñèòåëüíî îáðàçîâàòåëüíûõ äîñòèæåíèé äåòåé; õàðàêòåðèñòèêè ó÷àñòèÿ â æèçíè øêîëû, â ðàáîòå øêîëü- íûõ êîìèòåòîâ; õàðàêòåðèñòèêà òàáåëåé óñïåâàåìîñòè ó÷àùèõñÿ è öåííîñò- íîå îòíîøåíèå ê íèì; ôèíàíñîâàÿ ïîìîùü øêîëå â ôîðìå ïëàòû çà ó÷åáíèêè è îáðàçîâàíèå. Ан ета для преподавателя  àíêåòàõ äëÿ ïðåïîäàâàòåëåé ìîæåò çàïðàøèâàòüñÿ ñëåäóþ- ùàÿ èíôîðìàöèÿ: ПРОЕКТИРОВАНИЕ АНКЕТ 143 ïîë è âîçðàñò; ðîäíîé ÿçûê; óñëîâèÿ ðàáîòû ïðåïîäàâàòåëÿ, òàêèå êàê ðàçìåðû êëàññà, äîñòóï ê ó÷åáíûì ðåñóðñàì, ïðîöåíò ó÷àùèõñÿ, èìåþùèõ ó÷åáíèêè, âîçìîæíîñòü çàìåíû çàáîëåâøåãî ïðåïîäàâàòå- ëÿ, ïîìîùü â ìîòèâàöèè ó÷åíèêîâ; êâàëèôèêàöèÿ ïðåïîäàâàòåëÿ, ñòàæ ðàáîòû ñ óêàçàíèåì êîëè÷åñòâà ëåò, ïðîðàáîòàííûõ â ýòîé øêîëå; ðàçâèòèå â ïðîôåññèîíàëüíîé îáëàñòè: ñòðåìëåíèå ê ïîâû- øåíèþ êâàëèôèêàöèè è ê ïðîôåññèîíàëüíîìó ðîñòó, èíòå- ðåñ ê îáó÷åíèþ è âðåìÿ, çàòðà÷èâàåìîå íà ïîäãîòîâêó ê óðîêàì; íàëè÷èå ïîääåðæêè â ó÷åáíîé ðàáîòå: âèçèòû ðóêîâîäè- òåëåé, øêîëüíûõ èíñïåêòîðîâ èëè ñòîðîííèõ íàáëþäàòå- ëåé; õàðàêòåðèñòèêè âëàäåíèÿ ó÷åáíûìè ìåòîäàìè è ñðåäñòâà- ìè, òàêèìè êàê ÿçûê îáó÷åíèÿ, êîíòðîëüíî-îöåíî÷íàÿ ñèñ- òåìà, ñòèëü îáó÷åíèÿ; óäîâëåòâîðåííîñòü óñëîâèÿìè ðàáîòû, òàêèìè êàê âðåìÿ ïðå- áûâàíèÿ íà ðàáîòå, çàðàáîòíàÿ ïëàòà è óðîâåíü ðóêîâîäñòâà; îòíîøåíèÿ ñî øêîëüíûì ñîîáùåñòâîì – ñ ðîäèòåëÿìè äðó- ãèõ ó÷àùèõñÿ, ó÷àñòèå â ðàáîòå øêîëüíûõ êîìèòåòîâ è ñî- áûòèÿõ øêîëüíîé æèçíè; ðàññòîÿíèå îò ìåñòà ïðîæèâàíèÿ ïðåïîäàâàòåëÿ äî øêîëû. Ан ета для дире тора ш олы  àíêåòàõ äëÿ äèðåêòîðîâ ìîãóò çàïðàøèâàòüñÿ ñëåäóþùèå ñâå- äåíèÿ: ïîë è âîçðàñò; îïûò â îáðàçîâàòåëüíîé è óïðàâëåí÷åñêîé äåÿòåëüíîñòè, êâàëèôèêàöèÿ; õàðàêòåðèñòèêè ñðåäû â øêîëå ñ òî÷êè çðåíèÿ ìàòåðèàëü- íî-òåõíè÷åñêîãî îñíàùåíèÿ: êà÷åñòâî çäàíèé è âñïîìîãà- òåëüíûõ ñðåäñòâ ó÷åáíîãî ïðîöåññà, ïðèãîäíîñòü ðåñóðñíî- ãî îáåñïå÷åíèÿ; 144 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ äàííûå øêîëüíûõ îò÷åòîâ îá èçìåíåíèè ÷èñëà ó÷àùèõñÿ, ïðîïóñêàõ ó÷àùèìèñÿ èëè ïðåïîäàâàòåëÿìè çàíÿòèé, ÷àñ- òîòå ñìåíû øêîë ó÷àùèìèñÿ; ïðîôåññèîíàëüíûå îáÿçàòåëüñòâà ïî ðàçâèòèþ ðóêîâî- äÿùèõ íàâûêîâ: äîñòóïíîñòü ïðîôåññèîíàëüíîãî ðîñòà è èíòåðåñ ê íåìó, èíòåðåñ ê äîïîëíèòåëüíîìó îáðàçîâà- íèþ; ñòèëü ëèäåðñòâà è èñïîëüçîâàíèå ðàáî÷åãî âðåìåíè; óäîâëåòâîðåííîñòü óñëîâèÿìè ðàáîòû: âðåìåíåì ïðåáûâà- íèÿ íà ðàáîòå, çàðàáîòíîé ïëàòîé, ÷àñòîòîé ïðîâåðîê ñî ñòîðîíû ðóêîâîäñòâà; îòíîøåíèÿ ñî øêîëüíûì ñîîáùåñòâîì: âçàèìîäåéñòâèå ñ ðî- äèòåëüñêèì êîìèòåòîì, ó÷àñòèå â êóëüòóðíûõ ìåðîïðèÿòèÿõ. ПРОЕКТ АНКЕТЫ Ïðîåêò ïîìîãàåò îñóùåñòâëÿòü ðóêîâîäñòâî ïðîöåññîì ðàçðà- áîòêè àíêåòû.  íåì äîëæíû áûòü óêàçàíû êëþ÷åâûå ïðîáëå- ìû îáðàçîâàòåëüíîé ïîëèòèêè, êîòîðûå îïðåäåëÿþò îñíîâíîå ñîäåðæàíèå àíêåòû, ðåñïîíäåíòîâ, ïåðå÷åíü êëþ÷åâûõ ïåðå- ìåííûõ, êîòîðûå àíêåòà äîëæíà áóäåò îõâàòèòü, ôîðìó çàäà- íèé, âèäû êàòåãîðèé îòâåòà è ïðîòîêîëîâ ïðåäúÿâëåíèÿ àíêåò.  äîïîëíèòåëüíîì ìàòåðèàëå 8.1 ïðåäñòàâëåí ïðèìåð ïðî- åêòà àíêåòû, èñïîëüçóåìîé äëÿ ñáîðà èíôîðìàöèè î ñèñòåìå öåííîñòåé ó÷àùèõñÿ è èõ îòíîøåíèè ê øêîëå è øêîëüíîìó êîë- ëåêòèâó â ãîñóäàðñòâå Ïàïóà – Íîâàÿ Ãâèíåÿ. Òàì áûë ïðîâåäåí ðÿä ðåôîðì â îáðàçîâàíèè è îáíîâëåíû ó÷åáíûå ïëàíû, êîòî- ðûå ïîä÷åðêèâàëè íåîáõîäèìîñòü àêöåíòà íà ôîðìèðîâàíèè öåííîñòíîãî îòíîøåíèÿ ó÷àùèõñÿ ê êîëëåêòèâó è ïðèîáðåòå- íèþ òåõ íàâûêîâ, êîòîðûå ïîìîãóò èì ïî îêîí÷àíèè øêîëû îêàçûâàòü êîíñòðóêòèâíóþ ïîìîùü îêðóæàþùèì â íàëàæèâà- íèè ñåëüñêîé æèçíè. Öåëü àíêåòèðîâàíèÿ – ñîáðàòü èíôîðìà- öèþ îá îæèäàíèÿõ ó÷àùèõñÿ, èõ íûíåøíåì âîñïðèÿòèè øêî- ëû è øêîëüíîãî ñîîáùåñòâà. Àíêåòà áûëà âûäàíà âñåì ó÷àùèìñÿ, êîòîðûå âûïîëíÿëè òåñòû â ïðîöåññå íàöèîíàëü- íîé îöåíêè. ПРОЕКТИРОВАНИЕ АНКЕТ 145 Дополнительный материал 8.1 Прое т ан еты по отношениям и ценностям Часть I Представления Восприятие Целевая Отношение о жизни в Папуа – школьного область к школе Новой Гвинее коллектива Число 10 15 15 вопросов Респонденты 3-й класс 5-й класс 5-й класс 5-й класс 8-й класс 8-й класс 8-й класс Категории Да или нет Да или нет Да или нет ответов Часть II Представления Восприятие Отношение о жизни в Папуа – школьного к школе Новой Гвинее коллектива Представления о личных Отношения Уровень успехах, предполагаемая к образованию: взаимодействия длительность обучения обучение на родном в коллективе: в школе и планы на будущее языке, обязательное поддержка школы, образование, роль участие школы, женское в коллективных образование и роль мероприятиях и женщин в обществе разделение средств Помощь и восприятие со Отношение к месту Усвоенное стороны преподавателей, проживания: есть ли отношение дружелюбие намерение остаться школьного одноклассников, элементы в нем, если нет, коллектива запугивания, если они есть, аргументы для к женщинам готовность приобрести переезда школьных друзей из другой деревни Часть III Представления Восприятие Ценности о жизни в Папуа – школьного коллектива Новой Гвинее Ценностное Отношение Уровень конструктивного восприятие к конфликтным участия в жизни коллектива конфликтных решений решениям и и использование борьбе компромиссов для решения проблем Ценностное восприя- Отношение Восприятие коллективом тие личной гигиены и к алкоголю проблем, вызванных полезных привычек и наркотикам наркотиками и алкоголем Источни : Департамент образования Пап а – Новой Гвинеи, 2004. 146 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ ЗАДАНИЯ АНКЕТЫ Êîãäà ïðèíèìàþòñÿ ðåøåíèÿ îòíîñèòåëüíî çàäàíèé àíêåò – èõ ÷èñëå, âðåìåíè, îòâîäèìîì íà îòâåòû, î ñðåäñòâàõ, íåîáõîäè- ìûõ äëÿ àíàëèçà ðåçóëüòàòîâ, è óðîâíå ñëîæíîñòè àíàëèçà – íåîáõîäèìî ïðèíÿòü âî âíèìàíèå íåñêîëüêî ñîîáðàæåíèé. Êðàòêàÿ àíêåòà, ñîäåðæàùàÿ íåáîëüøîå ÷èñëî êîíêðåòíûõ çàäàíèé, äîëæíûì îáðàçîì ïðîàíàëèçèðîâàííàÿ, ïîìîæåò âû- ÿâèòü íåîáõîäèìóþ èíôîðìàöèþ áûñòðåå, ÷åì äëèííàÿ, ïîä- ðîáíàÿ àíêåòà, äàííûå êîòîðîé ïîëíîñòüþ íèêîãäà íå îáðàáà- òûâàþòñÿ. ×èñëî çàäàíèé, íåîáõîäèìûõ äëÿ èçìåðåíèÿ îïðåäåëåííîé ïåðåìåííîé, çàâèñèò îò åå õàðàêòåðà. Íåêîòîðûå ïåðåìåííûå, òàêèå êàê ïîë èëè âîçðàñò, ìîãóò áûòü èçìåðåíû íåïîñðåäñòâåí- íî ñ ïîìîùüþ îäíîãî âîïðîñà. À äëÿ ïîëó÷åíèÿ ïîëíîé èíôîð- ìàöèè î ñîöèàëüíî-ýêîíîìè÷åñêîì ñòàòóñå, êàê ïðàâèëî, íåîá- õîäèìî çàäàòü íåñêîëüêî âîïðîñîâ – îá óðîâíå îáðàçîâàíèÿ ðîäèòåëåé, èõ ðàáî÷åì ñòàòóñå, ìåñòå ïðîæèâàíèÿ è íàëè÷èè ñîáñòâåííîñòè. Ñûðàÿ ïåðåìåííàÿ ÿâëÿåòñÿ ðåçóëüòàòîì, ïîëó- ÷åííûì íà îñíîâå ïðÿìîé ìåðû. Àãðåãèðîâàííàÿ ïåðåìåííàÿ îáú- åäèíÿåò äàííûå, ïîëó÷åííûå íà îñíîâå äâóõ èëè áîëåå çàäàíèé äëÿ ïðåäñòàâëåíèÿ êîíñòðóêòà. Òàêòèêè â îáðàçîâàíèè âîîá- ùå ñ÷èòàþò, ÷òî ðåçóëüòàòû àíàëèçà, îñíîâàííîãî íà ñûðûõ ïåðåìåííûõ, ëåã÷å èíòåðïðåòèðîâàòü, ÷åì ðåçóëüòàòû, îñíî- âàííûå íà àãðåãèðîâàííûõ ïåðåìåííûõ. Âûáîð âèäà ïåðåìåííîé äëÿ îáîñíîâàíèÿ êîíñòðóêòà äîë- æåí áûòü îñíîâàí íà îáøèðíîé èññëåäîâàòåëüñêîé ïðàêòèêå è ñóùåñòâóþùèõ â ñòðàíå óñëîâèÿõ. È â íàöèîíàëüíûõ, è ìåæ- äóíàðîäíûõ îáçîðàõ èñïîëüçóþòñÿ àãðåãèðîâàííûå ïåðåìåí- íûå. Îäíî èç ìåæäóíàðîäíûõ èññëåäîâàíèé îöåíèâàíèÿ êîí- ñòðóêòîâ «÷òåíèå äëÿ óòèëèòàðíûõ öåëåé» è «÷òåíèå äëÿ óäîâîëüñòâèÿ» áûëî îñíîâàíî íà àãðåãèðîâàííûõ ïåðåìåííûõ (ñì. òàáë. 8.2). Ïðèíèìàÿ ðåøåíèå îòíîñèòåëüíî ÷èñëà çàäàíèé äëÿ èçìå- ðåíèÿ òîé èëè èíîé ïåðåìåííîé, íåîáõîäèìî ó÷èòûâàòü ñèòó- àöèþ â äàííîé ñòðàíå. Òàì, ãäå óñëîâèÿ ïîëó÷åíèÿ ïåäàãîãè- ПРОЕКТИРОВАНИЕ АНКЕТ 147 ТАБЛИЦА 8.2 Ф н ции чтения в межд народном исследовании (весовые оэффициенты использованы для создания дв х новых переменных: «чтение для тилитарных целей» и «чтение для довольствия») Весовые коэффициенты Задание (сокращенно) Утилитарная Удовольствие цель Помогает мне в школе 0,75 Помогает сдавать экзамены 0,74 Помогает изучать другие школьные предметы 0,73 Помогает мне лучше работать 0,65 Я могу поступить в колледж 0,65 Помогает получить хорошую работу 0,63 Мои родители думают, что чтение важно 0,58 Я получаю удовольствие 0,76 Оно является захватывающим 0,72 Оно интересно 0,71 Чтение – вход в другой мир 0,68 Приятно вспоминать о прочитанном 0,54 Приятно воображать себя историческим 0,53 персонажем в данной истории Приятно заниматься этим одному 0,.53 Помогает расслабиться 0,50 Источни : данные пол чены из: Грини (Greaney) и Ньюман (Neuman), 1990 (табл. 8, оэффициенты менее 0,20 ис лючены. ÷åñêîãî îáðàçîâàíèÿ íà âñåé òåððèòîðèè ïðèìåðíî îäèíàêî- âû è ïðåïîäàâàòåëè ïðîõîäÿò ïî êðàéíåé ìåðå äâóõ- èëè òðåõ- ëåòíþþ ïîäãîòîâêó â ïðîôèëüíûõ ó÷åáíûõ çàâåäåíèÿõ, äëÿ èç- ìåðåíèÿ ïåäàãîãè÷åñêîãî îáðàçîâàíèÿ ìîæåò áûòü âïîëíå äîñòàòî÷íî îäíîé ñûðîé ïåðåìåííîé. Òàì æå, ãäå ïåäàãîãè÷åñ- êîå îáðàçîâàíèå íåîäíîðîäíî, ó÷åáíûå çàâåäåíèÿ ðàçëè÷àþò- ñÿ ïî êà÷åñòâåííîìó óðîâíþ è ïðåïîäàâàòåëè çà÷àñòóþ âûíóæ- äåíû ïðîõîäèòü îáó÷åíèå ïî ìåñòó ðàáîòû, äëÿ àäåêâàòíîãî îòðàæåíèÿ ñèòóàöèè â ïåäàãîãè÷åñêîì îáðàçîâàíèè íåîáõîäè- ìî àãðåãèðîâàíèå ìíîæåñòâà ñûðûõ ïåðåìåííûõ äëÿ ïðåäñòàâ- ëåíèÿ êîíñòðóêòà. Òî÷íî òàê æå â áîãàòîé ñòðàíå óñëîâèÿ äëÿ 148 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ äîìàøíåãî îáó÷åíèÿ ìîãóò áûòü èçìåðåíû ñ ïîìîùüþ åäèí- ñòâåííîé ñûðîé ïåðåìåííîé – äîñòóïíîñòè Èíòåðíåòà, à â áåä- íîé ñòðàíå äëÿ èõ õàðàêòåðèñòèêè ïîòðåáóåòñÿ ñîâîêóïíîñòü ïîêàçàòåëåé, òàêèõ êàê äîñòóïíîñòü ñòîëà, ñòóëà, ëàìïû, êàðàí- äàøåé, áóìàãè è ó÷åáíèêîâ. Ðåøåíèå î òîì, êàêóþ ïåðåìåííóþ èñïîëüçîâàòü (ñûðóþ èëè àãðåãèðîâàííóþ), ÷òîáû ïîëó÷èòü àäåêâàòíóþ ìåðó, òàêæå çàâèñèò îò çíà÷èìîñòè âîçìîæíûõ ñûðûõ ïåðåìåííûõ. Íàïðè- ìåð, åñëè ñïåöèàëèñòû, ïðîâîäÿùèå àíêåòèðîâàíèå, òâåðäî óâåðåíû â òîì, ÷òî íà êà÷åñòâî ïðåïîäàâàíèÿ â áîëüøîé ñòåïå- íè âëèÿåò ìåñòî ïðåäûäóùåé ðàáîòû, íåîáõîäèìî âêëþ÷èòü â àíêåòû âîïðîñû î òîì, ãäå èìåííî ðàáîòàë ïðåïîäàâàòåëü è â òå÷åíèå êàêîãî âðåìåíè îí ïðîõîäèë îáó÷åíèå. Åñëè îíè óáåæäåíû, ÷òî íà ðåçóëüòàòû âûïîëíåíèÿ òåñòà ó÷àùèìèñÿ ìîæåò ïîâëèÿòü ñòàæ ïðåïîäàâàòåëÿ, íåçàâèñèìî îò òîãî, ãäå èìåííî îí åãî ïîëó÷àë, òîãäà áóäåò âïîëíå äîñòàòî÷íî åäèí- ñòâåííîé ñûðîé ïåðåìåííîé. ФОРМА ЗАДАНИЙ Çàäàíèÿ ñ ðåãëàìåíòèðîâàííûì âûáîðîì îòâåòîâ íàìíîãî ëåã- ÷å, áûñòðåå è äåøåâëå îáðàáîòàòü, ÷åì îòêðûòûå çàäàíèÿ. Ïî- ñêîëüêó ÷èñëî ãîòîâûõ îòâåòîâ îãðàíè÷åíî, îáðàáîòêà äàííûõ îñóùåñòâëÿåòñÿ ïîñëå ïðîñòîãî ââîäà â êîìïüþòåð îòâåòà ðåñ- ïîíäåíòà. Îòâåòû íà îòêðûòûå çàäàíèÿ, íàïðîòèâ, íåîáõîäè- ìî ñíà÷àëà îáðàáîòàòü âðó÷íóþ ïðåæäå ÷åì îíè áóäóò ââåäåíû â êîìïüþòåð. Äàííûå àíêåò îáû÷íî ñóììèðóþòñÿ äëÿ îò÷åòà. Íàïðèìåð, îòâåòû íà âîïðîñ î âðåìåíè, åæåäíåâíî çàòðà÷èâàåìîì ó÷àùè- ìèñÿ íà äîðîãó äî øêîëû, ìîæíî ðàçáèòü íà íåñêîëüêî óêðóï- íåííûõ êàòåãîðèé: «ìåíüøå ÷àñà», «îò îäíîãî äî äâóõ ÷àñîâ» è «áîëüøå äâóõ ÷àñîâ».  îòêðûòîé âåðñèè ýòîãî çàäàíèÿ íåêî- òîðûå ó÷àùèåñÿ óêàæóò âðåìÿ â ìèíóòàõ, äðóãèå – â ÷àñàõ, íåêîòîðûå ìîãóò íàïèñàòü «äëèòåëüíîå âðåìÿ», êòî-òî è âîâñå äàñò íåðàçáîð÷èâûé îòâåò. Äèàïàçîí îòâåòîâ áóäåò áîëüøèì, à êàòåãîðèçàöèÿ îòâåòîâ îáÿçàòåëüíî âíåñåò ýëåìåíò ñóáúåêòèâèçìà, âêëþ÷àÿ ïðèíÿòèå ýêñïåðòíûõ ðåøåíèé î òîì, ПРОЕКТИРОВАНИЕ АНКЕТ 149 êàê êëàññèôèöèðîâàòü íåêîòîðûå îòâåòû, íàïðèìåð «äëèòåëü- íîå âðåìÿ». Çàäàíèÿ ñ ìíîæåñòâåííûì âûáîðîì ïðåäïî÷òèòåëüíû â òîì ñëó÷àå, åñëè ìîãóò áûòü ñäåëàíû ïðàâäîïîäîáíûå ïðåä- ïîëîæåíèÿ î âåðîÿòíîì äèàïàçîíå îòâåòîâ è ïðåäëàãàåìûõ ðàçëè÷èÿõ â êàòåãîðèÿõ îòâåòîâ äëÿ áîëüøèíñòâà ðåñïîíäåí- òîâ. Îäíàêî åñëè åñòü íåêîòîðàÿ íåîïðåäåëåííîñòü, òî ìîãóò áûòü èñïîëüçîâàíû áîëåå äèôôåðåíöèðîâàííûå êàòåãîðèè îòâåòîâ. Ïîñëå òîãî êàê äàííûå ââåäåíû, íåîáõîäèìî ïðèíÿòü ðåøåíèÿ î òîì, êàêèå êàòåãîðèè îòâåòîâ íåñóò íåçíà÷èòåëü- íóþ èíôîðìàöèîííóþ íàãðóçêó, êàêèå ìîãóò áûòü îáúåäèíå- íû, à êàêèå èñêëþ÷åíû èç çàäàíèÿ (íàïðèìåð, åñëè èõ íèêòî íå âûáðàë). Èñïîëüçîâàíèå îòêðûòûõ çàäàíèé ìîæåò áûòü âïîëíå óìå- ñòíî, åñëè àíêåòû ïðåäúÿâëÿþò ìàëåíüêîé âûáîðêå è ñðåäñòâà äëÿ êëàññèôèêàöèè îòâåòîâ âðó÷íóþ ÿâëÿþòñÿ äîñòóïíûìè. Èíîãäà ïîëåçíà ïðåäâàðèòåëüíàÿ ïðîâåðêà, èëè àïðîáàöèÿ, çàäàíèé â îòêðûòîé ôîðìå, êîòîðàÿ ïðåäîñòàâëÿåò èíôîðìà- öèþ ïî ðàçðàáîòêå êàòåãîðèé îòâåòîâ â çàäàíèÿõ ñ ìíîæåñòâåí- íûì âûáîðîì. ЯЗЫК АНКЕТЫ Àíêåòà äîëæíà áûòü íàïèñàíà íà ÿçûêå, íà êîòîðîì â ñîñòîÿ- íèè ÷èòàòü è ñâÿçíî ïèñàòü ðåñïîíäåíòû. Îäíàêî âûáîð ÿçû- êà äîëæåí áûòü ñîãëàñîâàí ñ âîçìîæíîñòÿìè îöåíî÷íîé øêà- ëû. À âîîáùå, êàê ïðàâèëî, â àíêåòàõ èñïîëüçóåòñÿ òîò æå ñàìûé ÿçûê, ÷òî è â òåñòàõ. РЕСПОНДЕНТЫ Ñ ó÷åòîì òîãî, ÷òî ó÷àùèåñÿ âñåãäà îñòàâëÿþò íåêîòîðûå îá- ùèå ñâåäåíèÿ î ñåáå íà ïåðâîé ñòðàíèöå òåñòîâûõ áóêëåòîâ, âûáîð ðåñïîíäåíòîâ äëÿ àíêåòèðîâàíèÿ çàâèñèò îò òîãî, ÷òî èìåííî õîòÿò çíàòü òàêòèêè è îò âîçìîæíîñòè ïîëó÷åíèÿ ýòîé èíôîðìàöèè ñ âûñîêîé íàäåæíîñòüþ è ýôôåêòèâíîñòüþ. 150 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ Ñ ðåñïîíäåíòàìè ìîãóò áûòü ñâÿçàíû ñëåäóþùèå ïðîáëåìû. Ó÷àùèåñÿ ìîãóò áûòü ñëèøêîì ìàëåíüêèìè ïî âîçðàñòó, ÷òîáû çàïîëíèòü àíêåòû íàäåæíî è òî÷íî. Íåäîñòàòîê ñðåäñòâ ìîæåò îãðàíè÷èòü ïðåäúÿâëåíèå àíêåò íåáîëüøèì ïî ÷èñëåííîñòè ãðóïïàì ðåñïîíäåíòîâ – ïðå- ïîäàâàòåëÿì èëè äèðåêòîðàì øêîë ñêîðåå, íåæåëè òûñÿ÷àì ó÷àùèõñÿ. Íåêîòîðûå ðîäèòåëè ìîãóò áûòü íåãðàìîòíûìè èëè íå âñå- ãäà ñäàâàòü àíêåòû. Ïðåïîäàâàòåëè è äèðåêòîðà øêîë íå çàõîòÿò îòâå÷àòü íà âîïðîñû, åñëè àíêåòû ïîêàæóòñÿ èì ÷åðåñ÷óð äëèííûìè èëè åñëè îíè ïî÷óâñòâóþò, ÷òî ÷åñòíûå îòâåòû ìîãóò óãðî- æàòü èõ äàëüíåéøåé ðàáîòå. Íåçàâèñèìî îò ðåøåíèÿ, ïðèíÿòîãî îòíîñèòåëüíî ðåñïîíäåí- òîâ, îáðàçöû çàäàíèé, îòîáðàííûõ äëÿ àíêåò, äîëæíû áûòü ïðåä- ñòàâëåíû ðåñïîíäåíòàì. Åñëè ó÷àùèìñÿ ïðåäúÿâëÿþò àíêåòó, òî â àíêåòèðîâàíèè äîëæíà ïðèíèìàòü ó÷àñòèå òà æå âûáîðêà, ÷òî è â âûïîëíåíèè òåñòà. Îòíîñèòåëüíî ðàçìåðîâ âûáîðêè äëÿ ïðåäúÿâëåíèÿ àíêåò ïðåïîäàâàòåëÿì, ðóêîâîäñòâó øêîë è ðîäè- òåëÿì íåîáõîäèìî ïðîêîíñóëüòèðîâàòüñÿ ñ ýêñïåðòàìè. ПРЕДЪЯВЛЕНИЕ АНКЕТ Íà âîïðîñû àíêåòû îáû÷íî îòâå÷àþò â ïèñüìåííîé èëè óñò- íîé ôîðìå (èíòåðâüþ). Âî âòîðîì ñëó÷àå òðåáóåòñÿ, ÷òîáû çà- äàâàë âîïðîñû è çàïèñûâàë îòâåòû ñïåöèàëüíî îáó÷åííûé èíòåðâüþåð (âîçìîæíî èñïîëüçîâàíèå êîäîâ îòâåòîâ, ïðåä- ñòàâëåííûõ â ñàìîé àíêåòå). Ïðè êðóïíîìàñøòàáíîé îöåíêå áîëüøàÿ ÷àñòü àíêåò ðàçðà- áàòûâàåòñÿ è ïðåäúÿâëÿåòñÿ â ãðóïïàõ ðåñïîíäåíòîâ, ÷òîáû ñíè- çèòü îáùóþ ñòîèìîñòü ïðîöåäóðû. Àíêåòû äîëæíû ñîäåðæàòü èíñòðóêöèè î òîì, êàê íóæíî îòâå÷àòü íà âîïðîñû. Èíñòðóêöèè ìîãóò âêëþ÷àòü îáúÿñíåíèÿ ïðè÷èí ñáîðà èíôîðìàöèè. Ñáîð äàííûõ àíêåòèðîâàíèÿ ìîæåò ïðîâîäèòüñÿ ïîä íàáëþ- äåíèåì ñïåöèàëèñòà ïî àïðîáàöèè, êîòîðûé ñîáèðàåò àíêåòû ïîñëå òîãî, êàê ðåñïîíäåíòû çàêîí÷èëè èõ çàïîëíåíèå. ПРОЕКТИРОВАНИЕ АНКЕТ 151 ПЛАН АНАЛИЗА ДАННЫХ Ïëàí àíàëèçà äàííûõ àíêåòèðîâàíèÿ îïðåäåëÿåò, íà ïîëó÷å- íèå êàêèõ ñâåäåíèé íàïðàâëåíî êàæäîå çàäàíèå â àíêåòå è êàê îíè áóäóò èñïîëüçîâàòüñÿ â äàëüíåéøåì. Ïðèâëå÷åíèå ïîìî- ùè ñî ñòîðîíû îïûòíûõ ñïåöèàëèñòîâ íà ýòàïå ïëàíèðîâà- íèÿ ïîçâîëÿåò ãàðàíòèðîâàòü, ÷òî äàííûå àíêåòèðîâàíèÿ áóäóò òùàòåëüíî ïðîâåðåíû è ÷òî ïîëó÷åííûå ðåçóëüòàòû áó- äóò êîððåêòíû è ñîñòîÿòåëüíû (ñì. ÷åòâåðòóþ êíèãó íàñòîÿ- ùåé ñåðèè). Ïëàí äîëæåí ñîäåðæàòü ñëåäóþùåå. Õàðàêòåðèñòèêè ïåðåìåííûõ èçìåðåíèÿ. Ñïîñîá àíàëèçà äàííûõ àíêåòèðîâàíèÿ çàâèñèò îò õàðàêòåðèñòèê èçìåðÿå- ìûõ ïåðåìåííûõ. ×èñëà, âûáðàííûå äëÿ íîìèíàëüíûõ, èëè êàòåãîðèàëüíûõ, ïåðåìåííûõ (íàïðèìåð, ïîë), â äåéñòâè- òåëüíîñòè ÿâëÿþòñÿ âñåãî ëèøü ìåòêàìè, êîòîðûå ìîãóò èñïîëüçîâàòüñÿ òîëüêî äëÿ ðàçëè÷åíèÿ ãðóïï ðåñïîíäåíòîâ. ×èñëà, âûðàæåííûå â ïîðÿäêîâûõ øêàëàõ (íàïðèìåð, äëÿ îòâåòîâ, óêàçûâàþùèõ íà ñòåïåíü ñîãëàñèÿ ñ ïðåäëîæåííûì óòâåðæäåíèåì), ñîäåðæàò èíôîðìàöèþ îòíîñèòåëüíî ðàñ- ïîëîæåíèÿ âåëè÷èí íà øêàëå. Îäíàêî ÷àñòî èõ ðàññìàòðè- âàþò â ñòàòèñòè÷åñêîì àíàëèçå òàê, áóäòî îíè îáëàäàþò ñâîéñòâàìè èíòåðâàëüíîé øêàëû (íàïðèìåð, øêàëû òåìïå- ðàòóðû) èëè øêàëû îòíîøåíèé (íàïðèìåð, ñòàæ ïðåïîäà- âàíèÿ). Êàêèì îáðàçîì äàííûå ïî ñîâîêóïíîñòè ïåðåìåííûõ áóäóò èíòåãðèðîâàíû äëÿ îáðàçîâàíèÿ íîâîé ïåðåìåííîé è êàê îíà áóäåò èñïîëüçîâàòüñÿ. Íàïðèìåð, ïåðåìåííàÿ «ìàòåðè- àëüíîå ïîëîæåíèå ñåìüè ó÷àùåãîñÿ» ìîæåò áûòü ïîëó÷åíà èç òàêèõ ïåðåìåííûõ, êàê «äîìàøíèé äîõîä», «ìåñòîæè- òåëüñòâî», «÷èñëî êîìíàò â äîìå», «äîìàøíåå èìóùåñòâî», «÷èñëî äåòåé â ñåìüå» è «óðîâåíü îáðàçîâàíèÿ ðîäèòåëåé». Òî, êàêèì îáðàçîì ýòè ïåðåìåííûå áóäóò àãðåãèðîâàíû äëÿ ïðåäñòàâëåíèÿ ïîêàçàòåëÿ «ìàòåðèàëüíîå ïîëîæåíèå ñåìüè ó÷àùåãîñÿ», íóæíî ðàññìàòðèâàòü íà ýòàïå ïëàíèðîâàíèÿ àíêåòû. 9 ÃËÀÂÀ ÍÀÏÈÑÀÍÈÅ ÇÀÄÀÍÈÉ ÄËß ÀÍÊÅÒ Âûáîð ñïîñîáà ôîðìóëèðîâàíèÿ çàäàíèÿ äîë- æåí èñõîäèòü èç òîãî, íà ïîëó÷åíèå êàêèõ ñâåäåíèé îíî íàïðàâ- ëåíî. Êðîìå òîãî, ðåñïîíäåíòû äîëæíû áûòü â ñîñòîÿíèè äàòü îòâåò íà äàííîå çàäàíèå. Íàïðèìåð, íå ñòîèò ïðîñèòü ó÷àùèõ- ñÿ ìëàäøèõ êëàññîâ âñïîìíèòü, ñêîëüêî äíåé îíè îòñóòñòâîâà- ëè â øêîëå â òå÷åíèå ó÷åáíîãî ãîäà, ïîòîìó ÷òî âðÿä ëè îíè ñìîãóò òî÷íî îòâåòèòü.  ëó÷øåì ñëó÷àå îíè âñïîìíÿò, ñêîëü- êî äíåé ïðîïóñòèëè íà ïðåäûäóùåé íåäåëå. Ôîðìóëèðîâêè çàäàíèé äîëæíû áûòü íàñòîëüêî ïðîñòûìè è ÿñíûìè, íàñêîëüêî ýòî âîçìîæíî. Íåîáõîäèìî èñïîëüçîâàòü çíàêîìóþ ó÷àùèìñÿ ëåêñèêó è êîðîòêèå ïðåäëîæåíèÿ. Åñëè àíêåòû íå ïðåäúÿâëÿþò óñòíî, òî âñå ðåñïîíäåíòû äîëæíû óìåòü ïðî÷èòàòü èõ. Òàêæå âàæíî, ÷òîáû âñå ðåñïîíäåíòû ïî- íèìàëè çàäàíèÿ àíêåòû îäèíàêîâî.  ïðîòèâíîì ñëó÷àå äîñòî- âåðíàÿ èíòåðïðåòàöèÿ ðåçóëüòàòîâ áóäåò çàòðóäíèòåëüíîé.  ïåðâîé ÷àñòè àíêåòû çàäàíèå ìîæåò áûòü ïðåäñòàâëåíî â âèäå âîïðîñà, íåïîëíîãî ïðåäëîæåíèÿ èëè óòâåðæäåíèÿ, êî- òîðîå ðåñïîíäåíòû äîëæíû îöåíèòü. Ñòèëü, â êîòîðîì îáðàùàþòñÿ ê ðåñïîíäåíòàì, äîëæåí áûòü ïîñëåäîâàòåëüíûì. Ìîæíî èñïîëüçîâàòü îäèí èç ñëåäóþùèõ âàðèàíòîâ: âî âòîðîì ëèöå: íàïðèìåð: «Ñêîëüêî âàì ëåò?»; â ïåðâîì ëèöå: íàïðèìåð: «ß åäó â øêîëó íà …». 154 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ ВОПРОСЫ Âîïðîñû äîëæíû áûòü ÿñíûìè è îäíîçíà÷íûìè. Ïðèâåäåííûé íèæå âîïðîñ òàêîâûì íå ÿâëÿåòñÿ. Êàê äîëãî Âû áûëè ïðåïîäàâàòåëåì?  äàííîé ôîðìóëèðîâêå íåïîíÿòíî, ÷òî èìååòñÿ â âèäó: âðåìÿ, êîòîðîå ïðîøëî ñ ìîìåíòà îêîí÷àíèÿ ó÷åáíîãî çàâåäå- íèÿ, èëè ôàêòè÷åñêèé ñòàæ ðàáîòû ïî ñïåöèàëüíîñòè. Ëþáîé ïðåïîäàâàòåëü, íà âðåìÿ ïðåðûâàâøèé ïðåïîäàâàòåëüñêóþ äåÿòåëüíîñòü, à çàòåì âåðíóâøèéñÿ ê íåé, íàïðèìåð æåíùèíà, ïîòðàòèâøàÿ ÷àñòü âðåìåíè íà âîñïèòàíèå äåòåé â ñåìüå, áó- äåò èñïûòûâàòü çàòðóäíåíèÿ ïðè îòâåòå íà ýòîò âîïðîñ. Åãî òî÷íûé ñìûñë îñòàåòñÿ íåÿñíûì. Äëÿ ïîëíîöåííîé çàìåíû íóæíû ïî êðàéíåé ìåðå äâà âîïðîñà: Êîãäà Âû çàêîí÷èëè îáó÷åíèå ïî ñïåöèàëüíîñòè? Êàêîé ñòàæ ðàáîòû â êà÷åñòâå ïðåïîäàâàòåëÿ Âû èìååòå? Îäíàêî ïðè îòâåòå íà âòîðîé âîïðîñ òàêæå âîçíèêàþò ïðî- áëåìû, ïîòîìó ÷òî íåÿñíî, êàê èçìåðÿòü ñòàæ. Íàïðèìåð, åñëè ðåñïîíäåíò ðàáîòàë ïî ñïåöèàëüíîñòè íà ïðîòÿæåíèè ïÿòè ëåò ñ ãðàôèêîì ðàáîòû îäèí ðàç â íåäåëþ, òî ìîæåò ëè ñòàæ ñ÷è- òàòüñÿ çà ïÿòü ëåò èëè îí ýêâèâàëåíòåí îäíîìó ãîäó? Åñëè ïî÷- òè âñå äîëæíîñòè ïðåïîäàâàòåëåé â äàííîé ñòðàíå ïðåäïîëà- ãàþò ïîëíûé ðàáî÷èé äåíü, òî äâóñìûñëåííîñòü ìàëîâåðîÿòíà, îäíàêî â ñèòóàöèÿõ, êîãäà âîçìîæíà ðàáîòà íà ïîëñòàâêè, íå- îäíîçíà÷íîñòü íåèçáåæíà. Âîïðîñ ìîæíî áûëî áû çàäàòü òàê: Êàêîé ñòàæ ïðåïîäàâàíèÿ ïðè ïîëíîé çàãðóæåííîñòè ðàáî÷åãî äíÿ (èëè ýêâèâàëåíòíîé ïîëíîìó ðàáî÷åìó äíþ) Âû èìååòå? Ñòîèò îïðåäåëèòü, ÷òî èìååòñÿ â âèäó ïîä ñëîâîì «ýêâèâà- ëåíòíûé». УТВЕРЖДЕНИЯ Çàäàíèå, íà÷èíàþùååñÿ ñ óòâåðæäåíèÿ, ïðåäïîëàãàåò, ÷òî ðåñ- ïîíäåíòû äîëæíû âûðàçèòü ñâîå îòíîøåíèå ê íåìó. Îíî ìî- æåò áûòü âûðàæåíî ñëîâàìè: «ïîëíîñòüþ ñîãëàñåí», «ñîãëà- ñåí», «íå ñîãëàñåí» èëè «ïîëíîñòüþ íå ñîãëàñåí». НАПИСАНИЕ ЗАДАНИЙ ДЛЯ АНКЕТ 155 Ñòàðàéòåñü èçáåãàòü îòðèöàòåëüíûõ óòâåðæäåíèé, òàêèõ êàê, íàïðèìåð, «ß íå ëþáëþ øêîëó», ïîòîìó ÷òî ýòî ìîæåò ïðèâåñòè ê ïóòàíèöå. Ó÷àùèåñÿ, êîòîðûå äåéñòâèòåëüíî ëþ- áÿò øêîëó, îòâå÷àÿ íà äàííûé âîïðîñ, äîëæíû âûáðàòü êàòåãî- ðèþ «íå ñîãëàñåí». Äâîéíûå îòðèöàíèÿ ÷àñòî îêàçûâàþòñÿ òðóäíûìè, îñîáåííî äëÿ ó÷àùèõñÿ ìëàäøåãî âîçðàñòà. Ïî âîçìîæíîñòè èñïîëüçóéòå íåéòðàëüíûå ôîðìóëèðîâêè. Íàïðèìåð, óòâåðæäåíèå «ìíå íðàâèòñÿ øêîëà», ëó÷øå ÷åì «ÿ ëþáëþ øêîëó». Áîëåå òåïëîå îòíîøåíèå ê øêîëå ó÷àùèåñÿ ìîãóò âûðàçèòü ñ ïîìîùüþ îòâåòà «ïîëíîñòüþ ñîãëàñåí». Óòâåðæäåíèå äîëæíî áûòü ñîñðåäîòî÷åíî òîëüêî íà îäíîé ïðîáëåìå. Òàêèå óòâåðæäåíèÿ, êàê «ß óïîðíî òðóæóñü è õîðî- øî ó÷óñü», óïîòðåáëÿòü íå ñëåäóåò. Ó÷àùèìñÿ, êîòîðûå ïîëó÷à- þò õîðîøèå è îòëè÷íûå îöåíêè, íå ïðèêëàäûâàÿ ê ýòîìó áîëü- øèõ óñèëèé, áóäåò òðóäíî îïðåäåëèòüñÿ ñ îòâåòîì. Òå æå ó÷àùèåñÿ, êîòîðûå ñåðüåçíî è îòâåòñòâåííî îòíîñÿòñÿ ê ó÷å- áå è òðàòÿò ìíîãî âðåìåíè è ñèë íà ïîäãîòîâêó ê çàíÿòèÿì, ìîãóò ñîãëàñèòüñÿ ñ äàííûì óòâåðæäåíèåì, õîòÿ, âîçìîæíî, îíè íå ïðåóñïåâàþò â îöåíêàõ. Ïîýòîìó ïðèâåäåííîå âûñêàçûâà- íèå ëó÷øå ðàçáèòü íà äâà: «ß âêëàäûâàþ â ó÷åáó ìíîãî âðåìå- íè è ñèë» è «ß õîðîøî ó÷óñü». ВАРИАНТЫ ОТВЕТОВ Õîðîøèå âàðèàíòû îòâåòîâ íå äîïóñêàþò ìíîãîçíà÷íîãî òîë- êîâàíèÿ. Ñëåäóþùèå îòâåòû ó÷àùèåñÿ ñ áîëüøîé äîëåé âåðî- ÿòíîñòè ïîéìóò ïî-ðàçíîìó. Ñêîëüêî êíèã íàõîäèòñÿ â êëàññíîé áèáëèîòåêå? A. íè îäíîé B. íåìíîãî C. íåêîòîðîå ÷èñëî D. ìíîãî Îòâåòû äîëæíû áûòü òî÷íî îïðåäåëåíû êîëè÷åñòâåííî, òàê, ÷òîáû çíà÷åíèå êàæäîãî áûëî îäíîçíà÷íî ÿñíî: Ñêîëüêî êíèã íàõîäèòñÿ â êëàññíîé áèáëèîòåêå? A. áèáëèîòåêè â êëàññå íåò 156 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ B. îò 1 äî 10 C. îò 11 äî 20 D.áîëåå 20 Èíîãäà îòâåòû ìîãóò äîïóñêàòü ðàçëè÷íûå òîëêîâàíèÿ äëÿ ðàçíûõ ðåñïîíäåíòîâ, íî ýòè ðàçëè÷èÿ ÿâëÿåòñÿ ÷àñòüþ èñêî- ìîé èíôîðìàöèè, êàê â ñëåäóþùåì çàäàíèè. Îöåíèòå âàøó øêîëüíóþ áèáëèîòåêó: A. áèáëèîòåêè â øêîëå íåò B. áåäíàÿ C. àäåêâàòíàÿ ïîòðåáíîñòÿì ó÷àùèõñÿ D. õîðîøàÿ E. ïðåâîñõîäíàÿ Åñëè çàäàíèå íàïðàâëåíî íà âûÿâëåíèå óðîâíÿ óäîâëåòâî- ðåííîñòè ðåñïîíäåíòà øêîëüíîé áèáëèîòåêîé, íåçàâèñèìî îò îáúåêòèâíîé ìåðû åå êà÷åñòâà, òî åãî ìîæíî ñ÷èòàòü õîðîøèì. Åñëè ýòî çàäàíèå îáúåäèíèòü ñ äðóãèìè çàäàíèÿìè î êîëè÷å- ñòâå êíèã, òàêèìè êàê, íàïðèìåð, ñêîëüêî ïðèáëèçèòåëüíî êíèæíûõ ïîëîê èëè êîìïüþòåðíûõ ñðåäñòâ îáñëóæèâàíèÿ èìååòñÿ â áèáëèîòåêå, òî ýòî ïîçâîëèò ñðàâíèòü ñóáúåêòèâíîå âîñïðèÿòèå ðåñïîíäåíòà ñ áîëåå îáúåêòèâíûìè õàðàêòåðèñòè- êàìè êà÷åñòâà áèáëèîòåêè. Ïðåäëàãàåìûå âàðèàíòû äîëæíû ó÷èòûâàòü ñòåïåíü òî÷- íîñòè, ñ êîòîðîé ðåñïîíäåíòû ñìîãóò îòâåòèòü íà ïîñòàâ- ëåííûé âîïðîñ. Âðÿä ëè ó÷àùèåñÿ çíàþò òî÷íîå êîëè÷åñòâî êíèã â áèáëèîòåêå, åñëè òîëüêî îíà íå ÿâëÿåòñÿ î÷åíü ìà- ëåíüêîé. Íåîáõîäèìî ïðèâåñòè âñå âîçìîæíûå îòâåòû íà âîïðîñ. Åñëè ñóùåñòâóåò ðÿä âòîðîñòåïåííûõ âàðèàíòîâ, òî ïîñëå ïå- ðå÷èñëåíèÿ îñíîâíûõ îòâåòîâ, íåîáõîäèìî âêëþ÷èòü âàðèàíò «è äðóãèå». Âûÿâèòü îñíîâíûå âàðèàíòû ïîìîæåò ïðåäâàðè- òåëüíàÿ ïðîâåðêà çàäàíèé. Êàòåãîðèè îòâåòîâ, ìåæäó êîòîðûìè íåîáõîäèìî ñäåëàòü âûáîð, íå äîëæíû «íàêëàäûâàòüñÿ» äðóã íà äðóãà èëè, íàïðî- òèâ, îñòàâëÿòü «ïðîïóñêè».  ñëåäóþùåì âîïðîñå äîïóùåíû îáå îøèáêè. НАПИСАНИЕ ЗАДАНИЙ ДЛЯ АНКЕТ 157 Êàê äîëãî Âû ïðåïîäàâàëè â ýòîé øêîëå? A. ìåíåå 5 ëåò B. ìåíåå 10 ëåò C. áîëåå 10 ëåò Ïðåïîäàâàòåëè ñ îïûòîì ðàáîòû ìåíüøå 5 ëåò áóäóò ñîì- íåâàòüñÿ ïðè âûáîðå ìåæäó ïåðâûì è âòîðûì âàðèàíòàìè. À ó ïðåïîäàâàòåëåé ñ îïûòîì ðàáîòû ðîâíî 10 ëåò è âîâñå íå áóäåò âîçìîæíîñòè äàòü âåðíûé îòâåò. Çàäàíèÿ, êîòîðûå íà÷èíàþòñÿ ñ óòâåðæäåíèÿ, ïðåäíàçíà- ÷åííîãî äëÿ îöåíèâàíèÿ, ìîãóò èìåòü ìíîãî ðàçëè÷íûõ âàðè- àíòîâ îòâåòà. Âàæíî, ÷òîáû îíè íå ïåðåñåêàëèñü. Íèæå ïðèâå- äåíû íåêîòîðûå âàðèàíòû îòâåòîâ, êîòîðûå èñïîëüçîâàëèñü â àíêåòàõ äëÿ ïðåïîäàâàòåëåé â èññëåäîâàíèè TIMSS. Äà, íåò. Ïîëíîñòüþ ñîãëàñåí, ñîãëàñåí, íå ñîãëàñåí, ïîëíîñòüþ íå ñîãëàñåí. Ïî÷òè êàæäûé äåíü, ðàç èëè äâà ðàçà â íåäåëþ, íåñêîëüêî ðàç ìåñÿö, íèêîãäà èëè ïî÷òè íèêîãäà. Ñîâñåì íè÷åãî, íåìíîãî, äîâîëüíî ìíîãî, ìíîãî. Íå âàæíî, äîâîëüíî âàæíî, î÷åíü âàæíî. УПРАВЛЕНИЕ ПРОБЛЕМАМИ ЧУВСТВИТЕЛЬНОСТИ Íåêîòîðûå âîïðîñû àíêåò ìîãóò áûòü äîâîëüíî äåëèêàòíû- ìè, íàïðèìåð âîïðîñ î òîì, áåðóò ëè ïðåïîäàâàòåëè äîïîë- íèòåëüíóþ ðàáîòó, ÷òîáû ïîâûñèòü ñâîè äîõîäû. Åñëè ñóùå- ñòâóåò âåðîÿòíîñòü, ÷òî íà êàêîé-ëèáî âîïðîñ áîëüøèíñòâî ðåñïîíäåíòîâ âðÿä ëè îòâåòÿò ÷åñòíî, òî åãî ñëåäóåò èñêëþ- ÷èòü. Òàêòèêè ìîãóò áûòü êðàéíå çàèíòåðåñîâàíû â ïîäîáíûõ ñâåäåíèÿõ, íî îò ñáîðà íåíàäåæíûõ äàííûõ áóäåò ìàëî òîëêó. Èíîãäà âçàìåí ìîæåò çàïðàøèâàòüñÿ ñìåæíàÿ, íå ñòîëü äåëè- êàòíàÿ, èíôîðìàöèÿ, êîòîðàÿ íå áóäåò ñòîëü ÷óâñòâèòåëüíà ê êîíòåêñòó âîïðîñîâ. Ðåñïîíäåíòû, ñòîëêíóâøèñü ñ ïîäîáíûìè äåëèêàòíûìè âîï- ðîñàìè, ìîãóò áûòü äî òàêîé ñòåïåíè îñêîðáëåíû, ÷òî âîâñå 158 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ íå ñòàíóò îòâå÷àòü íà îñòàâøèåñÿ âîïðîñû èëè îòêàæóòñÿ ñäàòü àíêåòó. Ïîýòîìó, åñëè ñóùåñòâóþò õîòÿ áû ìàëåéøèå îïà- ñåíèÿ â ýòîì, âîïðîñû, âûçûâàþùèå ñîìíåíèÿ, ïðåäïî÷òè- òåëüíåå óäàëèòü. МАКЕТ АНКЕТЫ Ïðè ðàçðàáîòêå ìàêåòà è äèçàéíà àíêåòû íåîáõîäèìî èñõîäèòü èç äâóõ ñîîáðàæåíèé: ëåãêîñòü èñïîëüçîâàíèÿ äëÿ ðåñïîíäåí- òà è ëåãêîñòü îáðàáîòêè äàííûõ. Óäîáíûå äëÿ èñïîëüçîâàíèÿ àíêåòû èìåþò ñëåäóþùèå õàðàêòåðèñòèêè: ïðîñòîé, ïîñëåäîâàòåëüíûé ñïîñîá îòâåòîâ íà âîïðîñû; ëàêîíè÷íîñòü; ëåãêî îïîçíàâàåìûå îòäåëüíûå âîïðîñû; âàðèàíòû îòâåòîâ, êîòîðûå ÷åòêî ñâÿçàíû ñ êàæäûì âîï- ðîñîì; ñîãëàñîâàííîñòü çàãîëîâêîâ, øðèôòîâ è èíûõ ýëåìåíòîâ îôîðìëåíèÿ; âàðèàíòû îòâåòîâ, çàêîäèðîâàííûå äëÿ ââîäà äàííûõ. Âàðèàíòû îòâåòîâ ìîãóò áûòü ïðåäñòàâëåíû ðàçíûìè ñïî- ñîáàìè – âåðòèêàëüíî â âèäå ñòîëáöà èëè ãîðèçîíòàëüíî â ñòðî÷- êó. Ðåñïîíäåíòàì ïðåäëàãàåòñÿ îáâåñòè êðóæêîì áóêâó àëôàâè- òà èëè íîìåð âàðèàíòà îòâåòà èëè ñäåëàòü ñïåöèàëüíóþ îòìåòêó â êâàäðàòèêå.  ñòèëå îòâåòîâ âàæíà ïîñëåäîâàòåëüíîñòü.  äîïîëíèòåëüíîì ìàòåðèàëå 9.1 ïðåäñòàâëåí ïðèìåð çàäà- íèÿ, â êîòîðîì êâàäðàòèêè äëÿ îòâåòîâ íå÷åòêî ñîîòíåñåíû ñ ïðåäëàãàåìûìè îòâåòàìè.  äîïîëíèòåëüíîì ìàòåðèàëå 9.2 ïðåäñòàâëåí ëó÷øèé âàðèàíò. ЭКСПЕРТИЗА АНКЕТ Ñîñòàâèòü àíêåòó ãîðàçäî òðóäíåå, ÷åì ýòî ìîæåò ïîêàçàòüñÿ íà ïåðâûé âçãëÿä. Âñå çàäàíèÿ äîëæíû áûòü òùàòåëüíî îòîáðà- íû è ðàññìîòðåíû, ÷òîáû ãàðàíòèðîâàòü ÷åòêîñòü è îäíîçíà÷- íîñòü ôîðìóëèðîâîê. Äëÿ ýêñïåðòèçû àíêåò ìû íàñòîÿòåëüíî ðåêîìåíäóåì ïðèâëå÷ü ýêñïåðòíóþ ãðóïïó.  íåå äîëæíû âîé- НАПИСАНИЕ ЗАДАНИЙ ДЛЯ АНКЕТ 159 Дополнительный материал 9.1 Пример не рамотно о расположения вадрати ов для ответов Ниже приведен пример не рамотно о расположения вадрати ов и вари- антов ответов. С оль о времени Вас, а правило, занимает доро а до ш олы? менее 15 мин т 15 мин т 30 мин т 45 мин т 1 час более 1 часа Квадрати и помещены межд вариантами, вместо то о чтобы чет о распо- ла аться толь о о оло одно о из них. Источни : разработ и авторов. Дополнительный материал 9.2 Пример рамотно о расположения вадрати ов для ответов Ниже приведен пример рамотно о расположения вадрати ов и вариан- тов ответов. Ка часто члены Вашей семьи помо ают Вам делать домашнюю работ ? Никогда или Несколько Несколько Несколько Раз Член семьи почти раз раз раз в год в месяц никогда в месяц в неделю Мать Отец Братья и сестры Бабушка или дедушка Источни : разработ и авторов. òè àâòîðû çàäàíèé, à òàêæå ñïåöèàëèñòû, õîðîøî çíàþùèå ãåíåðàëüíóþ ñîâîêóïíîñòü ðåñïîíäåíòîâ è ñïîñîáíûå ïîäòâåð- äèòü ñîîòâåòñòâèå çàäàíèé êóëüòóðíîìó ôîíó ñòðàíû. Èíîãäà â ïðîöåññå íàöèîíàëüíîé è ìåæäóíàðîäíîé îöåíêè íåïîñðåä- ñòâåííî ïåðåä àíêåòèðîâàíèåì ïðîâåðÿþò, êàê èíòåðïðåòèðó- þò çàäàíèÿ ñàìè ðåñïîíäåíòû. 160 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ Áóäåò ïîëåçíî, åñëè ÷ëåíû ýêñïåðòíîé ãðóïïû ñàìè ïîïû- òàþòñÿ çàïîëíèòü àíêåòó òàê, êàê åñëè áû îíè áûëè ðåñïîíäåí- òàìè. Ýòîò ïðîöåññ ïîìîæåò âûÿâèòü òå âàðèàíòû îòâåòîâ, êîòîðûå ìîãóò ïîêàçàòüñÿ ðåñïîíäåíòàì íåÿñíûìè, ÷àñòè÷íî ïîäìåíÿòü äðóã äðóãà ëèáî âîâñå íå äîëæíû áûòü ïðåäñòàâëå- íû â êà÷åñòâå âàðèàíòîâ îòâåòîâ. ×ëåíû ýêñïåðòíîé ãðóïïû äîëæíû êðèòè÷åñêè ïåðåñìîò- ðåòü çàäàíèÿ, ÷òîáû äîáèòüñÿ ÿñíîñòè ôîðìóëèðîâîê è ïðè- ãîäíîñòè âàðèàíòîâ îòâåòîâ. Îíè äîëæíû ãàðàíòèðîâàòü, ÷òî èñïîëüçîâàííûå ôîðìóëèðîâêè íàñòîëüêî ïðîñòû, íàñêîëü- êî ýòî âîçìîæíî, ÷òî çàäàíèÿ íàïèñàíû â îäíîì ñòèëå è ïðåä- ñòàâëåíû â ëîãè÷åñêîì ïîðÿäêå ñ ñîîòâåòñòâóþùèìè èíñòðóê- öèÿìè. ×ëåíàì ýêñïåðòíîé ãðóïïû òàêæå ñëåäóåò ïðîâåðèòü, ÷òî çàäàíèÿ ñîîòâåòñòâóþò ïðîåêòó àíêåòû è ãàðàíòèðîâàòü, ÷òî êàæäîå èç íèõ îáåñïå÷èâàåò âûÿâëåíèå íåîáõîäèìîé èíôîð- ìàöèè. Îíè òàêæå äîëæíû óäîñòîâåðèòüñÿ, ÷òî ÷èñëî èñïîëü- çóåìûõ çàäàíèé ÿâëÿåòñÿ äîñòàòî÷íûì äëÿ èçìåðåíèÿ êàæäîé ïåðåìåííîé ñ ïðèåìëåìîé òî÷íîñòüþ. Ïîñëå òîãî êàê àíêåòû ïðîøëè ïðîöåññ ÷èñòêè, íóæíî, ÷òî- áû èõ ïðîñìîòðåëè è îäîáðèëè òàêòèêè.  îñîáîé ñòåïåíè ýòî êàñàåòñÿ çàäàíèé, ñâÿçàííûõ ñ ïîëèòè÷åñêèìè ïðîáëåìàìè. Òàêæå òàêòèêè äîëæíû ïîäòâåðäèòü, ÷òî çàäàíèÿ îáåñïå÷èâà- þò ïîëåçíóþ èíôîðìàöèþ. Ïîñëå òîãî êàê àíêåòû áûëè ñêîððåêòèðîâàíû, íàðÿäó ñ òåñòîâûìè ìàòåðèàëàìè îíè äîëæíû áûòü àïðîáèðîâàíû â «ïîëåâûõ óñëîâèÿõ». Ïðåäâàðèòåëüíàÿ ïðîâåðêà ïîçâîëÿåò ïîâûñèòü êà÷åñòâî çàäàíèé, à òàêæå ñîêðàòèòü âðåìÿ è ñòî- èìîñòü îáðàáîòêè äàííûõ îêîí÷àòåëüíûõ àíêåò. Âîïðîñû, êî- òîðûå íå «ðàáîòàþò» (â ÷àñòíîñòè òå, ÷òî ââîäÿò ðåñïîíäåí- òîâ â çàáëóæäåíèå) ìîãóò áûòü óäàëåíû, à âàðèàíòû îòâåòîâ – ðàñøèðåíû èëè îñòàâëåíû â ïðåæíåì âèäå. Ïîñëå ïðåäúÿâëåíèÿ àíêåòû àäìèíèñòðàòîð äîëæåí ïîëó- ÷èòü íåîáõîäèìóþ èíôîðìàöèþ îò ðåñïîíäåíòîâ (ó÷àùèõñÿ èëè ïðåïîäàâàòåëåé) î çàäàíèÿõ, êîòîðûå ÿâëÿþòñÿ íåÿñíû- ìè èëè íå ñîäåðæàò íóæíûå ñâåäåíèÿ (ìåõàíèçì îáðàòíîé ñâÿ- НАПИСАНИЕ ЗАДАНИЙ ДЛЯ АНКЕТ 161 çè). Àäìèíèñòðàòîðû äîëæíû óáåäèòüñÿ, ÷òî íè îäíî èç çàäà- íèé íå âîñïðèíèìàåòñÿ ðåñïîíäåíòàìè êàê ðàçäðàæàþùåå, ïîòîìó ÷òî îíî çàòðàãèâàåò äåëèêàòíûå âîïðîñû. Áîëåå ôîðìàëüíûé ñòàòèñòè÷åñêèé àíàëèç îòâåòîâ ìîæåò óêàçàòü íà òå âàðèàíòû, êîòîðûå íóæäàþòñÿ â áîëåå ÷åòêîé äèô- ôåðåíöèàöèè. Íàïðèìåð, â òîì ñëó÷àå, åñëè áîëüøèíñòâî ó÷à- ùèõñÿ âûáèðàåò êàêîé-ëèáî îäèí âàðèàíò, äëÿ ïîëó÷åíèÿ áîëåå òî÷íîé èíôîðìàöèè åãî ñëåäóåò ðàçáèòü íà íåñêîëüêî. Åñëè äèàïàçîí âîçìîæíûõ îòâåòîâ íà çàäàíèå ÿâëÿåòñÿ î÷åíü áîëüøèì è òðóäíûì, òî â õîäå ïðåäâàðèòåëüíîé ïðîâåð- êè àíêåòû çàäàíèå íóæíî ïðåäúÿâèòü â îòêðûòîé ôîðìå. Ïîñ- ëå ýòîãî îòâåòû ðåñïîíäåíòîâ ìîãóò áûòü êëàññèôèöèðîâàíû è èñïîëüçîâàíû äëÿ ðàçðàáîòêè âàðèàíòîâ äëÿ çàäàíèé ñ ìíî- æåñòâåííûì âûáîðîì â îêîí÷àòåëüíîé àíêåòå. 10 ÃËÀÂÀ ÊÎÄÈÐÎÂÀÍÈÅ ÎÒÂÅÒΠÍÀ ÀÍÊÅÒÛ Äëÿ ïîñëåäóþùåãî ââîäà äàííûõ âàðèàíòû îòâåòîâ äîëæíû áûòü çàêîäèðîâàíû. Êîäèðîâàíèå áûâàåò áóê- âåííûì èëè öèôðîâûì. Áóêâåííûå êîäû ïîäðàçóìåâàþò, ÷òî ðåñïîíäåíòû äîëæíû îáâåñòè áóêâó, êîòîðîé îáîçíà÷åí âûáðàííûé èìè âàðèàíò. Äëÿ ó÷àùèõñÿ ìëàäøèõ êëàññîâ ýòîò ìåòîä ÿâëÿåòñÿ íå ñîâñåì ïîä- õîäÿùèì. Ëþäè ñ îãðàíè÷åííîé ãðàìîòíîñòüþ ìîãóò îòâå÷àòü, çàøòðèõîâûâàÿ ñîîòâåòñòâóþùèé êðóæîê èëè ïîìå÷àÿ íóæíûé êâàäðàòèê «ãàëêîé».  ïîñëåäíåì ñëó÷àå ïðåäïî÷òèòåëüíåå öèôðîâîå êîäèðîâàíèå. Åñëè èñïîëüçóåòñÿ öèôðîâîå êîäèðîâàíèå, òî ïåðâîìó âà- ðèàíòó îòâåòà îáû÷íî ïðèñâàèâàåòñÿ öèôðà 1, âòîðîìó – 2 è ò.ä. Ââîä äàííûõ áîëåå ýôôåêòèâåí, åñëè êîäû íàïå÷àòàíû íà àíêåòå. Ìîæåò èñïîëüçîâàòüñÿ øðèôò áåç êàêèõ-ëèáî âûäå- ëåíèé, êàê ïîêàçàíî â äîïîëíèòåëüíîì ìàòåðèàëå 10.1.  ïðè- âåäåííîì ïðèìåðå íîìåðà âàðèàíòîâ îòâåòîâ îáîçíà÷åíû ïîä êâàäðàòèêàìè: ïåøêîì – îòâåò 1, íà îáùåñòâåííîì òðàíñïîð- òå – 2 è ò.ä. Ó÷àùèéñÿ ñòàâèò ìåòêó â âûáðàííîì èìè êâàäðàòè- êå. Ñïåöèàëèñò ïî ââîäó äàííûõ ââîäèò íîìåð êâàäðàòèêà, âûá- ðàííîãî ó÷àùèìñÿ. 164 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ Дополнительный материал 10.1 Пример одирования ответов без выделения Се одня я добирался до ш олы пеш ом на общественном транспорте на личном транспорте 1 2 3 на а ом-либо животном 4 Источни : разработ и авторов. Дополнительный материал 10.2 Пример рассмотрения аждо о варианта ответа в отдельности при вводе данных Если Вы отс тствовали на прошлой неделе, ажите одн или нес оль о причин. Я болел. 1 Я должен был помочь родителям. 1 Была плохая по ода. 1 У меня не было еды. 1 У меня были проблемы в семье. 1 У меня не было чистой или подходящей по по оде одежды. 1 Др ое___________________________________. 1 Источни : разработ и авторов. Åñëè íà êàêîå-ëèáî çàäàíèå ìîæíî äàòü íåñêîëüêî îòâåòîâ, òî ïðè ââîäå äàííûõ è èõ îáðàáîòêå êàæäûé èç íèõ íóæíî ðàñ- ñìàòðèâàòü â îòäåëüíîñòè. Ýòî ïîçâîëÿåò ïðîñëåäèòü, èç êàêèõ âàðèàíòîâ êàæäûé ðåñïîíäåíò âûáèðàë ïîäõîäÿùèå äëÿ ñåáÿ.  äîïîëíèòåëüíîì ìàòåðèàëå 10.2 ïðèâåäåí âîïðîñ è ðÿä âîç- КОДИРОВАНИЕ ОТВЕТОВ НА АНКЕТЫ 165 ìîæíûõ îòâåòîâ. Ïðè ââîäå äàííûõ îí ðàññìàòðèâàåòñÿ êàê âîñåìü îòäåëüíûõ âîïðîñîâ. Ïåðâûé âàðèàíò («ß áîëåë») êî- äèðóåòñÿ èëè öèôðîé 1, èëè êàê ïðîïóùåííûé (åñëè îí íå âûá- ðàí), ïîäîáíûì îáðàçîì êîäèðóþòñÿ âòîðîé («ß äîëæåí áûë ïîìî÷ü ðîäèòåëÿì»), òðåòèé («Áûëà ïëîõàÿ ïîãîäà») è òàê äà- ëåå äëÿ êàæäîãî èç âîñüìè âàðèàíòîâ. ПОДГОТОВКА АНКЕТ ДЛЯ ВВОДА ДАННЫХ Äàííûå àíêåò ìîãóò áûòü îáðàáîòàíû ñ ïîìîùüþ ñïåöèàëüíî- ãî îáîðóäîâàíèÿ èëè ââåäåíû âðó÷íóþ. Åñëè áóäåò èñïîëüçî- âàòüñÿ ñêàíåð, ìàêåò àíêåòû íåîáõîäèìî ðàçðàáàòûâàòü èñõî- äÿ èç çàäà÷è ñêàíèðîâàíèÿ. Åñëè ââîä äàííûõ îñóùåñòâëÿåòñÿ âðó÷íóþ, â òîì ñëó÷àå, êîãäà âàðèàíòû îòâåòîâ áûëè çàêîäèðîâàíû ïðÿìî â àíêåòå, èíôîðìàöèÿ ìîæåò áûòü ââåäåíà íåïîñðåäñòâåííî èç íåå. Ñïåöèàëèñòû ïî ââîäó äàííûõ ìîãóò ñòîëêíóòüñÿ ñ îïðåäåëåí- íûìè òðóäíîñòÿìè, ïîñêîëüêó èì íåîáõîäèìî ïîñòîÿííî ïîä- äåðæèâàòü âûñîêèé óðîâåíü òî÷íîñòè ââîäà, îñîáåííî åñëè îíè íåçíàêîìû ñ ýòèì âèäîì ðàáîòû. Íà òî÷íîñòü ââîäà òàê- æå ìîæåò íåãàòèâíî ïîâëèÿòü ÷àñòîå èçìåíåíèå ðàñïîëîæå- íèÿ çàäàíèé èëè áîëüøîå êîëè÷åñòâî âîçìîæíûõ âàðèàíòîâ îòâåòîâ. Ââîä äàííûõ ìîæíî îáëåã÷èòü, åñëè ýêñïåðòû îáîçíà÷àò êîä äëÿ âûáðàííîãî âàðèàíòà ñëåâà îò íîìåðà çàäàíèÿ. Òîãäà ââîä äàííûõ ïðîñòî ñâåäåòñÿ ê çàíåñåíèþ â êîìïüþòåð ñîîò- âåòñòâóþùèõ êîäîâ. Åñëè äëÿ êîäîâ äîáàâèòü ñïåöèàëüíûå ÷óòü çàøòðèõîâàííûå êâàäðàòèêè, òî ïðîöåññ ââîäà äàííûõ ñòàíåò åùå áîëåå ýôôåêòèâíûì. КОДИРОВАНИЕ ПРОПУЩЕННЫХ ИЛИ НЕОДНОЗНАЧНЫХ ОТВЕТОВ Èíîãäà ðåñïîíäåíòû íå îòâå÷àþò íà çàäàíèÿ èëè îòâå÷àþò íà íèõ äâóñìûñëåííî, íàïðèìåð âûáèðàþò áîëüøå îäíîãî âàðè- àíòà îòâåòà â òåõ ñëó÷àÿõ, êîãäà ïðåäëîæåííûå îòâåòû âçàèì- íî èñêëþ÷àþò äðóã äðóãà. 166 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ Èíôîðìàöèÿ î ïðîïóùåííûõ îòâåòàõ ïîçâîëÿåò îïðåäå- ëèòü, áûëè ëè ðåñïîíäåíòû åäèíîäóøíû â ïðîïóñêå îïðåäåëåí- íûõ çàäàíèé, ïîñêîëüêó íå ìîãëè îòâåòèòü íà íèõ, è âûÿâèòü îïðåäåëåííûå òåíäåíöèè, åñëè îíè èìåþòñÿ. Íàïðèìåð, åñëè íèêòî íå îòâåòèë íà çàäàíèÿ â êîíöå àíêåòû, òî ýòî óêàçûâàåò íà åå ÷ðåçìåðíóþ äëèíó. Èëè åñëè â íåñêîëüêèõ àíêåòàõ ïðîïó- ùåí îòâåò íà îïðåäåëåííûé âîïðîñ, òî ýòî ìîæåò îçíà÷àòü, ÷òî îí ðàñïîëîæåí ñëèøêîì áëèçêî ê äðóãèì çàäàíèÿì è ïî- ýòîìó åãî ëåãêî ïðîïóñòèòü. Ñâåäåíèÿ î íåîäíîçíà÷íûõ îòâå- òàõ ïîçâîëÿþò ñóäèòü î ÿñíîñòè è òî÷íîñòè ôîðìóëèðîâêè. Ñïåöèàëèñò ïî ââîäó äàííûõ äîëæåí çíàòü, êàê çàêîäèðî- âàòü ïðîïóùåííûå èëè íåîäíîçíà÷íûå îòâåòû. Êîäû, èñïîëü- çóåìûå äëÿ ïðîïóùåííûõ èëè íåîäíîçíà÷íûõ îòâåòîâ, äîëæ- íû îòëè÷àòüñÿ îò êîäîâ, èñïîëüçóåìûõ äëÿ êàòåãîðèé îòâåòîâ, ÷òîáû íå âîçíèêëî ïóòàíèöû. Äëÿ îáîçíà÷åíèÿ ïðîïóùåííûõ çàäàíèé èëè çàäàíèé, êî- òîðûå íèêòî íå ïûòàëñÿ âûïîëíèòü, ìîæíî èñïîëüçîâàòü áóê- âó àëôàâèòà, íàïðèìåð X. Íåîäíîçíà÷íûå îòâåòû ìîæíî îáî- çíà÷èòü äðóãîé áóêâîé, íàïðèìåð Y. Äëÿ ïðîïóùåííûõ çàäàíèé ñ ìíîæåñòâåííûì âûáîðîì â òåñòàõ èñïîëüçóþò êîä 9 è êîä 8 – äëÿ çàäàíèé, â êîòîðûõ ó÷àùèåñÿ âûáðàëè äâà èëè áîëüøå âà- ðèàíòîâ îòâåòà. Ýòè êîäû îáû÷íî íå èñïîëüçóþòñÿ äëÿ àíêåò, ïîòîìó ÷òî íåêîòîðûå âîïðîñû â íèõ âïîëíå âåðîÿòíî áóäóò èìåòü 8 èëè 9 âàðèàíòîâ îòâåòîâ. 11 ÃËÀÂÀ ÑÎÎÒÂÅÒÑÒÂÈÅ ÄÀÍÍÛÕ ÀÍÊÅÒ È ÒÅÑÒΠÏðè óñòàíîâëåíèè ñîîòâåòñòâèÿ ìåæäó ðå- çóëüòàòàìè òåñòîâ è äàííûìè àíêåò íåîáõîäèìî ðóêîâîäñòâî- âàòüñÿ ïîòðåáíîñòÿìè àíàëèçà è ñîîáùåíèÿ èñïûòóåìûì ðå- çóëüòàòîâ. Âñå ñâÿçóþùèå ýëåìåíòû ïåðåä ñáîðîì äàííûõ äîëæíû áûòü ÿñíî è îäíîçíà÷íî óñòàíîâëåíû. Ëþáóþ îøèáêó â ñîîòâåòñòâèè, îáíàðóæåííóþ ïîñëå ñáîðà äàííûõ, âûÿâèòü, ñêîðåå âñåãî, áóäåò íåâîçìîæíî èëè î÷åíü òðóäíî. Òàêèå îøèá- êè ìîãóò ïðèâåñòè ê îòêàçó îò íåêîòîðûõ çàïëàíèðîâàííûõ èññëåäîâàíèé. АНКЕТЫ ДЛЯ УЧАЩИХСЯ Ñàìûé ëåãêèé ñïîñîá óñòàíîâëåíèÿ ñîîòâåòñòâèÿ ìåæäó äàí- íûìè àíêåòèðîâàíèÿ è òåñòèðîâàíèÿ – íàïå÷àòàòü òåñòû è àí- êåòû â îäíîì áóêëåòå. Ó÷àùèéñÿ çàïèñûâàåò â íåì ñâîå èìÿ, à àäìèíèñòðàòîð ïî òåñòèðîâàíèþ ãàðàíòèðóåò, ÷òî èñïûòóå- ìûé ðàáîòàåò â åãî èëè åå ñîáñòâåííîì áóêëåòå íà êàæäîé ñåñ- ñèè òåñòèðîâàíèÿ. Åñëè òåñòû è àíêåòû ÿâëÿþòñÿ îòäåëüíûìè äîêóìåíòàìè, òî îäèí èç ìåòîäîâ óñòàíîâëåíèÿ ñîîòâåòñòâèÿ äàííûõ – íàïå- ÷àòàòü èëè ìàðêèðîâàòü è òåñòû è àíêåòû èìåíàìè ó÷àùèõñÿ. 168 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ Èìåíà áåðóòñÿ èç øêîëüíîé âåäîìîñòè è äîëæíû áûòü èäåí- òè÷íûìè. ßñíîñòü è ÷åòêîñòü íàïèñàíèÿ èìåí äîëæåí îáåñïå- ÷èòü òîò æå àäìèíèñòðàòîð ïî òåñòèðîâàíèþ. Åñëè îòäåëüíûå áóêëåòû è àíêåòû íå ìîãóò áûòü ïðåäâàðè- òåëüíî ïîìå÷åíû èìåíàìè, òî àíêåòû ó÷àùèõñÿ äîëæíû âêëþ- ÷àòü äîñòàòî÷íî èíôîðìàöèè äëÿ èäåíòèôèêàöèè ñîîòâåòñòâèÿ, ÷òîáû îáåñïå÷èòü ñîãëàñîâàííîñòü äàííûõ òåñòèðîâàíèÿ è àí- êåòèðîâàíèÿ. Æåëàòåëüíî ïîìåñòèòü íà îáëîæêå èäåíòèôèêà- öèîííûé íîìåð (ID), óäîñòîâåðÿþùèé ëè÷íîñòü ó÷àùåãîñÿ, è ãàðàíòèðîâàòü, ÷òî ó÷àùèåñÿ èñïîëüçóþò îäèí è òîò æå íîìåð íà òåñòîâîì áóêëåòå è àíêåòå. Çà ýòèì äîëæåí ñëåäèòü àäìèíèñò- ðàòîð ïî òåñòèðîâàíèþ. Äëÿ ñïåöèàëèñòà ïî àíàëèçó äàííûõ òàêæå íåîáõîäèì ñïèñîê èìåí ó÷àùèõñÿ è èõ èäåíòèôèêàöèîí- íûõ íîìåðîâ, ïîòîìó ÷òî èìåíà ìîãóò áûòü «çàïàñíûì âàðèàí- òîì» äëÿ óñòàíîâëåíèÿ ñîîòâåòñòâèÿ â òåõ ñëó÷àÿõ, êîãäà âñòðå- ÷àþòñÿ îøèáêè â íîìåðàõ ID. Èñïîëüçîâàíèå òîëüêî îäíèõ èìåí ó÷àùèõñÿ äëÿ óñòàíîâ- ëåíèÿ ñîîòâåòñòâèÿ ôîðì íå æåëàòåëüíî. Åñëè íà êàæäîé ïàðå òåñòà è àíêåòû èìåíà àáñîëþòíî èäåíòè÷íû è ââîäÿòñÿ òîæäå- ñòâåííî ñïåöèàëèñòîì ïî îáðàáîòêå äàííûõ áåç ïðîâåðêè îøè- áîê, òî êîìïüþòåð íå ñìîæåò óñòàíîâèòü ñîîòâåòñòâèå. Ñîîò- âåòñòâèå ïðèäåòñÿ óñòàíàâëèâàòü âðó÷íóþ, ÷òî îòíèìåò ìíîãî âðåìåíè è áóäåò äîðîãî ïî îñóùåñòâëåíèþ. Íåêîòîðûå ó÷àùè- åñÿ äîïîëíèòåëüíî óñëîæíÿò óñòàíîâëåíèå ñîîòâåòñòâèÿ èìåí çà ñ÷åò èñïîëüçîâàíèÿ ðàçëè÷íûõ èõ âàðèàíòîâ (íàïðèìåð, ñîêðàùåííûå ôîðìû èìåíè èëè ôàìèëèè, ðåëèãèîçíûå èìå- íà) â òåñòå è â àíêåòå, ëèáî íàïèøóò íåðàçáîð÷èâî íà îäíîé èëè áîëåå ôîðìàõ, èëè ïðîïóñòÿò ñâîå èìÿ íà îäíîé èëè áîëåå ôîðìàõ. АНКЕТЫ ДЛЯ РОДИТЕЛЕЙ Äàííûå àíêåò äëÿ ðîäèòåëåé îáû÷íî ñîîòíîñÿò ñ äàííûìè ó÷à- ùèõñÿ. Ñîîòâåòñòâèå áóäåò, ñêîðåå âñåãî, óñòàíàâëèâàòüñÿ ñ ïîìîùüþ èìåí ó÷àùèõñÿ. Çäåñü áóäóò âîçíèêàòü òå æå ñàìûå ïðîáëåìû, êîòîðûå áûëè îòìå÷åíû äëÿ àíêåò ó÷àùèõñÿ. Ïðî- СООТВЕТСТВИЕ ДАННЫХ АНКЕТ И ТЕСТОВ 169 öåäóðû àíàëèçà äàííûõ äîëæíû ïðîâîäèòüñÿ òàêèì îáðàçîì, ÷òîáû ãàðàíòèðîâàòü èõ ñîãëàñîâàííîñòü. АНКЕТЫ ДЛЯ ОПРОСА ПРЕПОДАВАТЕЛЕЙ И ДИРЕКТОРОВ ШКОЛ Äàííûå àíêåò äëÿ ïðåïîäàâàòåëåé è äèðåêòîðîâ øêîë îáû÷íî ñîîòíîñÿò òîëüêî ñ äàííûìè ïî êëàññó è øêîëå. Åñëè êëàññ ó÷à- ùåãîñÿ èçâåñòåí, òî èíôîðìàöèÿ î ïðåïîäàâàòåëå ìîæåò èñ- ïîëüçîâàòüñÿ äëÿ àíàëèçà äàííûõ èñïûòóåìîãî. Àäìèíèñòðà- òîð ïî òåñòèðîâàíèþ äîëæåí ïðîâåðèòü, ÷òîáû ïðåïîäàâàòåëè è äèðåêòîðà øêîë îáåñïå÷èëè ýòó èíôîðìàöèþ ïî àíêåòå. Êîãäà àíêåòû âîçâðàùàþò èç øêîë, äàííûå ïî àíêåòàì ïî êàæäîé øêîëå äîëæíû áûòü ñîõðàíåíû â îòäåëüíîé ìàòðèöå. Òàêèì îáðàçîì, äàæå åñëè èíôîðìàöèÿ ïî øêîëå íå áûëà ñî- áðàíà ïî íåêîòîðûì àíêåòàì, ìîæíî ïîëó÷èòü ðåëåâàíòíóþ èíôîðìàöèþ èç äàííûõ ïî äðóãèì àíêåòàì â òîé æå ñàìîé ìàò- ðèöå. ×ÀÑÒÜ 3 ÄÈÇÀÉÍ ÐÓÊÎÂÎÄÑÒÂÀ ÏÎ ÏÐÅÄÚßÂËÅÍÈÞ ÒÅÑÒÀ 12 ÃËÀÂÀ ÐÓÊÎÂÎÄÑÒÂÎ ÏÎ ÏÐÅÄÚßÂËÅÍÈÞ ÒÅÑÒÀ Ðóêîâîäñòâà ïî ïðåäúÿâëåíèþ òåñòîâ ââîäÿò â ïðîöåññ íàöèîíàëüíîé îöåíêè ýëåìåíò ñòàíäàðòèçàöèè, êî- òîðûé îáåñïå÷èâàåò ðàâíûå óñëîâèÿ äëÿ âñåõ èñïûòóåìûõ. Ãëàâ- íàÿ öåëü ðóêîâîäñòâà – îïðåäåëèòü îñíîâíûå óñëîâèÿ òåñòèðî- âàíèÿ, âêëþ÷àÿ òðåáîâàíèÿ ê ïîäãîòîâêå è ïðîöåäóðå, êîòîðûå ïîìîãóò ïðåäîòâðàòèòü ðàññåêðå÷èâàíèå äàííûõ è áóäóò ñïî- ñîáñòâîâàòü ñîõðàíåíèþ èíôîðìàöèîííîé áåçîïàñíîñòè. Ó÷à- ùèåñÿ äîëæíû âûïîëíèòü îäíè è òå æå òðåíèðîâî÷íûå çàäà- íèÿ è èìåòü îäèíàêîâûå èíñòðóêöèè ïî âíåñåíèþ îòâåòîâ. Âñåì ó÷àùèìñÿ íåîáõîäèìî ïðåäîñòàâèòü îäíî è òî æå âðåìÿ äëÿ âûïîëíåíèÿ òåñòà è â ðàâíîé ñòåïåíè ñëåäèòü çà òåì, êàê îíè ñîáëþäàþò äèñöèïëèíó. Ðåçóëüòàòû òåñòà â íàöèîíàëüíîé îöåíêå äîëæíû îòðàæàòü ìåðó ñïîñîáíîñòü ó÷àùèõñÿ âûïîëíÿòü ïðåäëîæåííûå èì çà- äàíèÿ áåç ïîñòîðîííåé ïîìîùè. Èñïûòóåìûå äîëæíû ÿñíî ïî- íèìàòü, ÷òî íóæíî ñäåëàòü è êàê ïðåäñòàâèòü îòâåòû, ïðè ýòîì íèêàêàÿ èíàÿ ïîìîùü èì ïðåäîñòàâëÿòüñÿ íå ìîæåò. Òàêæå ñëå- äóåò çàêðûòü äîñòóï ê ëþáûì âñïîìîãàòåëüíûì ñðåäñòâàì, êî- òîðûå íå ÿâëÿþòñÿ ÷àñòüþ òåñòà. Ïîñëå îçíàêîìëåíèÿ ñ ïðî- öåäóðàìè, óñòàíîâëåííûìè â ðóêîâîäñòâå ïî ïðåäúÿâëåíèþ òåñòà, íåîáõîäèìî ãàðàíòèðîâàòü èõ âûïîëíåíèå. 174 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ СОДЕРЖАНИЕ РУКОВОДСТВА  ðóêîâîäñòâå ïî ïðåäúÿâëåíèþ òåñòîâ äîëæíà áûòü ïðåäñòàâ- ëåíà ñëåäóþùàÿ èíôîðìàöèÿ. Äëÿ ÷åãî ñîçäàí òåñò? Êðàòêîå îáîñíîâàíèå öåëè òåñòèðîâàíèÿ, îïèñàíèå âîç- ìîæíûõ ïóòåé èñïîëüçîâàíèÿ ðåçóëüòàòîâ. Êàêèå òåñòû âûäàþòñÿ ó÷àùèìñÿ, êàêèå ó÷àùèåñÿ òåñòèðóþò- ñÿ è êîãäà? Êàêèå òåñòû ïðåäúÿâëÿþòñÿ â øêîëå? Êàêèå ó÷àùèåñÿ äîëæíû âûïîëíèòü îïðåäåëåííûé òåñò? Äàòû è âðåìÿ ïðåäúÿâëåíèÿ òåñòîâ. Ïîðÿäîê ïðåäúÿâëåíèÿ òåñòîâ. Äëèòåëüíîñòü ïðåäúÿâëåíèÿ êàæäîãî òåñòà. Äëèòåëüíîñòü ïåðåðûâîâ ìåæäó ïðåäúÿâëåíèÿìè òåñòîâ. Âàðèàíòû äëÿ îáåñïå÷åíèÿ ãèáêîñòè ãðàôèêà ïðåäúÿâëå- íèÿ òåñòîâ. Êàêèå ìàòåðèàëû íåîáõîäèìû äëÿ òåñòèðîâàíèÿ? Ñïèñîê âñåõ ìàòåðèàëîâ äëÿ òåñòèðîâàíèÿ. Íåîáõîäèìîå êîëè÷åñòâî ìàòåðèàëîâ íà îäíîãî ó÷àùåãî- ñÿ èëè ïðåïîäàâàòåëÿ. Ñïèñîê ìàòåðèàëîâ, êîòîðûå äîëæíà îáåñïå÷èòü øêîëà, íàïðèìåð êàðàíäàøè è ëàñòèêè. Êàêîå ïîìåùåíèå äîëæíî áûòü ïðåäîñòàâëåíî äëÿ òåñòèðîâàíèÿ? Ìàòåðèàëüíî-òåõíè÷åñêèå ðåñóðñû øêîëû, íàïðèìåð ïàðòû è ñòóëüÿ. Ñðåäñòâà, êîòîðûå ìîãóò êîñâåííî ïîìî÷ü ó÷àùèìñÿ ïðè âûïîëíåíèè òåñòà è êîòîðûå äîëæíû áûòü óäàëåíû èç ïî- ìåùåíèÿ èëè ñïðÿòàíû, íàïðèìåð ñõåìû, òàáëèöà óìíî- æåíèÿ èëè ïëàêàòû ñ ãðàììàòè÷åñêèìè ïðàâèëàìè. Êàêàÿ ïðåäâàðèòåëüíàÿ ïîäãîòîâêà äîëæíà áûòü ïðîâåäåíà? Êàê êëàññíûé ðóêîâîäèòåëü èëè äèðåêòîð øêîëû ìîãóò ïðèâëå÷ü âíèìàíèå ïðåïîäàâàòåëåé è ó÷àùèõñÿ, ÷òîáû òå ïîääåðæàëè òåñòèðîâàíèå äî åãî ôàêòè÷åñêîãî íà- ÷àëà? РУКОВОДСТВО ПО ПРЕДЪЯВЛЕНИЮ ТЕСТА 175 Êàêàÿ èíôîðìàöèÿ ìîæåò ïîòðåáîâàòüñÿ àäìèíèñòðàòî- ðó ïî ïðåäúÿâëåíèþ òåñòà, íàïðèìåð ñïèñêè ó÷àùèõñÿ êëàññîâ ñî ñâåäåíèÿìè î íèõ? Êàê íóæíî ðàññîðòèðîâàòü òåñòîâûå áóêëåòû – ïî íîìå- ðàì èëè ïî èìåíàì ó÷àùèõñÿ? Ïî êàêèì ïðèçíàêàì äîëæíû áûòü ñôîðìèðîâàíû ãðóïïû ó÷àùèõñÿ äëÿ òåñòèðîâàíèÿ? Êàê ñëåäóåò ïðîâîäèòü òåñòèðîâàíèå? Êàêèì îáðàçîì ó÷àùèåñÿ äîëæíû ïðèâîäèòü ñâîè èìåíà íà áóêëåòàõ è îñíîâíûå ñâåäåíèÿ íà îáëîæêå? Êîãäà è êàê àäìèíèñòðàòîð äîëæåí ïðîâåðèòü, ïðàâèëüíî ëè ó÷àùèåñÿ âíåñëè èíôîðìàöèþ î ñåáå íà îáëîæêå è â òåñòîâîì áóêëåòå? Êàê ñëåäóåò ïðåäúÿâëÿòü è îáúÿñíÿòü òðåíèðîâî÷íûå âîï- ðîñû? Êàêèå èíñòðóêöèè äîëæíû ïîëó÷èòü ó÷àùèåñÿ î òåñòå? Êàêóþ ïîìîùü àäìèíèñòðàòîð ìîæåò îêàçàòü èñïûòóåìûì â ïðîöåññå òåñòèðîâàíèÿ? Çà êàêîå âðåìÿ ó÷àùèåñÿ äîëæíû âûïîëíèòü òåñò? Êàêèå óñëîâèÿ äîëæåí ïîääåðæèâàòü àäìèíèñòðàòîð âî âðåìÿ òåñòèðîâàíèÿ? Êîìó ðàçðåøåíî çàõîäèòü â ïîìåùåíèå âî âðåìÿ òåñòèðî- âàíèÿ? Êàê äîëæíû õðàíèòüñÿ òåñòîâûå ìàòåðèàëû? Ïðîöåäóðû äëÿ ãàðàíòèè èíôîðìàöèîííîé áåçîïàñíîñòè òåñòîâûõ ìàòåðèàëîâ äî, âî âðåìÿ è ïîñëå òåñòèðîâàíèÿ. Ê êîìó ìîæíî îáðàòèòüñÿ çà ïîìîùüþ? Êîíòàêòû ëþäåé, êîòîðûå ïîìîãóò ðåøèòü âîçíèêàþ- ùèå ïðîáëåìû èëè ïðåäîñòàâèòü äîïîëíèòåëüíóþ èí- ôîðìàöèþ. Äîïîëíèòåëüíàÿ èíôîðìàöèÿ ìîæåò áûòü âêëþ÷åíà â ðó- êîâîäñòâî, ÷òîáû óïðîñòèòü ðàñïðîñòðàíåíèå òåñòîâûõ áóêëå- òîâ ïî øêîëàì è ïåðåäà÷ó èõ èç øêîë ïîñëå òåñòèðîâàíèÿ. Ýòè ñâåäåíèÿ, âåðîÿòíî, áóäóò èçìåíÿòüñÿ â çàâèñèìîñòè îò òîãî, êòî ïðîâîäèò òåñòèðîâàíèå – øêîëüíûå ïðåïîäàâàòåëè èëè íåçàâèñèìîå àãåíòñòâî. 176 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ ИСПОЛЬЗОВАНИЕ РУКОВОДСТВА Ðóêîâîäñòâîì äîëæíû ïîëüçîâàòüñÿ äèðåêòîð øêîëû (èëè çà- âó÷) è àäìèíèñòðàòîð ïî ïðåäúÿâëåíèþ òåñòà. Èíîãäà ñïåöè- àëüíûå ðóêîâîäñòâà ñîñòàâëÿþò äëÿ ðóêîâîäèòåëåé èëè òåõ, êòî íåñåò ïîëíóþ îòâåòñòâåííîñòü çà íàöèîíàëüíóþ îöåíêó âíóò- ðè îòäåëüíûõ øêîë. Äèðåêòîðó èëè çàâó÷ó ðóêîâîäñòâî ïîìîæåò äîëæíûì îá- ðàçîì ïîäãîòîâèòü øêîëó ê ïðîâåäåíèþ òåñòèðîâàíèÿ. Îí äîë- æåí êàê ìîæíî áîëüøå çíàòü î ïðåäñòîÿùåì òåñòå, ÷òîáû íà- ïðàâëÿòü ðàáîòó ïðåïîäàâàòåëåé è ó÷àùèõñÿ è ìîòèâèðîâàòü ïîñëåäíèõ âûïîëíèòü òåñò íàèëó÷øèì îáðàçîì. Äèðåêòîð øêî- ëû èëè øêîëüíûé êîîðäèíàòîð ïî íàöèîíàëüíîé îöåíêå (åñëè òàêîâîé íàçíà÷åí) äîëæåí îáëàäàòü èíôîðìàöèåé, äîñòàòî÷- íîé äëÿ òîãî, ÷òîáû îðãàíèçîâàòü ðàáîòó êîëëåêòèâà. Îí äîë- æåí áûòü óâåðåííûì, ÷òî â òåñòèðîâàíèè ïðèìóò ó÷àñòèå îòîá- ðàííûå ó÷àùèåñÿ, ÷òî îíî ïðîéäåò â íóæíîå âðåìÿ, ÷òî èñïûòóåìûå áóäóò îáåñïå÷åíû âñåìè íåîáõîäèìûìè ìàòå- ðèàëàìè è ïðàâèëüíî ðàññàæåíû, à ñàìè òåñòû áóäóò õðàíèòü- ñÿ â àòìîñôåðå ïîëíîé ñåêðåòíîñòè. Àäìèíèñòðàòîðàì ðóêîâîäñòâî ïîìîæåò óçíàòü, ÷òî ñëåäó- åò äåëàòü ïðè ïðåäúÿâëåíèè òåñòà, êîãäà è ïî êàêèì ïðàâèëàì. Îíè äîëæíû óáåäèòüñÿ, ÷òî äîñòóïíî äîñòàòî÷íîå êîëè÷åñòâî òåñòîâûõ ìàòåðèàëîâ è ÷òî áûëè îòîáðàíû ïîäõîäÿùèå (ñ òî÷- êè çðåíèÿ ïðåäñòàâèòåëüíîñòè âûáîðêè. – Ïðèìå÷. ðåä.) ó÷àùè- åñÿ. Òàêæå èì ñëåäóåò çíàòü, êàêàÿ èíôîðìàöèÿ î òåñòå ìîæåò áûòü ïðåäîñòàâëåíà ó÷àùèìñÿ, êàê îòâåòèòü íà ïðàêòè÷åñêèå âîïðîñû è çà êàêîå âðåìÿ èñïûòóåìûå äîëæíû âûïîëíèòü òåñò. Ïîìèìî ýòîãî, àäìèíèñòðàòîðàì íåîáõîäèìà èíôîðìàöèÿ î ïðîöåäóðàõ äëÿ îáåñïå÷åíèÿ ñåêðåòíîñòè ïðè õðàíåíèè òåñ- òîâûõ ìàòåðèàëîâ. ОСОБЕННОСТИ РУКОВОДСТВА Õîðîøåå ðóêîâîäñòâî ÿâëÿåòñÿ ìàêñèìàëüíî ïîëíûì è óäîá- íûì â èñïîëüçîâàíèè. Èíôîðìàöèÿ â íåì ëîãè÷åñêè óïîðÿäî- ÷åíà, èíñòðóêöèè ÿñíû è îäíîçíà÷íû, à ÿçûê – ïðîñòîé è ïðà- РУКОВОДСТВО ПО ПРЕДЪЯВЛЕНИЮ ТЕСТА 177 âèëüíûé. Âûäåëåíèå êëþ÷åâûõ ïîçèöèé, èñïîëüçîâàíèå ðàìîê è òàáëèö îáëåã÷àþò ðàáîòó ñ íèì.  õîðîøåì ðóêîâîäñòâå äîëæ- íî áûòü îãëàâëåíèå ñ ÿñíûìè îáîçíà÷åííûìè çàãîëîâêàìè (ñì. äîïîëíèòåëüíûé ìàòåðèàë 12.1). Дополнительный материал 12.1 Инстр ции р оводства по применению теста В национальной оцен е след ющая информация печатается р пным шриф- том (Arial, е ль 14) и занимает всю вводн ю страниц р оводства по предъявлению тестов. Пожал йста, перед тем а ваши чащиеся б д т выполнять тест, прочтите эти ре омендации. Учащиеся должны выполнять этот тест не менее ДВУХ ДНЕЙ. Тест разделен на четыре раздела. Учащиеся должны выполнять аж- дый день по два раздела. Перед выполнением очередно о раздела чащимся след ет предос- тавить перерыв. Не позволяйте чащимся проходить весь тест сраз . Правила предъявления Преподаватели должны онтролировать все сессии тестирования на всем их протяжении. Учащиеся НЕ должны выносить тестовые б леты из ласса или рабо- тать с ними после о ончания тестирования. Учащиеся должны пользоваться арандашами с ласти ами, оторые были им предоставлены. Учащиеся не должны пользоваться ни а ими дополнительными мате- риалами, оторые есть в лассе, та ими а чебные пособия, слова- ри или аль ляторы. Учащимся ни в оем сл чае нельзя помо ать. Если испыт емый не понимает, что делать, объясните ем на примере тренировочных заданий еще раз и посовет йте ем / ей стараться изо всех сил, но не подс азывайте. Информационная безопасность теста Тестовые материалы должны ОБЯЗАТЕЛЬНО ХРАНИТЬСЯ В УСЛО- ВИЯХ СЕКРЕТНОСТИ. Тестовые б леты чащихся НЕ должны опироваться ни для а их целей. Учащиеся НЕ должны брать тестовые б леты домой. Источни : Департамент образования Пап а – Новой Гвинеи, 2004. 178 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ СКОЛЬКО ДЕТАЛЕЙ НЕОБХОДИМО? Èíôîðìàöèÿ îá óñëîâèÿõ ïðåäúÿâëåíèÿ òåñòà è ïîäãîòîâêå òåñòîâûõ ìàòåðèàëîâ äîëæíà áûòü èñ÷åðïûâàþùåé, íî â òî æå âðåìÿ êðàòêîé (ñì. äîïîëíèòåëüíûé ìàòåðèàë 12.2). Дополнительный материал 12.2 Информация для преподавателей и р оводителей Информация о тестовых материалах должна быть предельно рат ой. Ее след ет приводить в виде спис а, оторый ле о проверить. Приведенный ниже фра мент про раммы р пномасштабно о оценивания содержит ин- формацию для дире тора или зав ча о том, а ие материалы были отправ- лены в ш ол и а знать, а ие лассы б д т частвовать в тестировании. Тестовые материалы Старший инспе тор сообщит Вам, а ие лассы отобраны для частия в тестировании. Вы должны были пол чить след ющие материалы: письмо с азаниями для зав ча; тестовый б лет для аждо о чаще ося, принимающе о частие в те- стировании; р оводство по предъявлению теста для аждо о преподавателя, ча- ств юще о в тестировании; ан еты для сбора базовой информации о аждом преподавателе, ча- ств ющем в тестировании; арандаш с ласти ом на онце для аждо о чаще ося, частв юще о в тестировании. Если а ие-ниб дь материалы отс тств ют или Вы не имеете их в дос- таточном оличестве, пожал йста, свяжитесь со старшим инспе тором по начальной ш оле. Источни : Департамент образования Пап а – Новой Гвинеи, 2004. Èíñòðóêöèè ïî âûïîëíåíèþ òåñòà äîëæíû áûòü ïîëíîñòüþ èçëîæåíû è çàêëþ÷åíû â ðàìêè. Âñå, ÷òî àäìèíèñòðàòîð äîë- æåí ñêàçàòü ó÷àùèìñÿ î ñàìîì òåñòå, òðåíèðîâî÷íûõ çàäàíè- ÿõ èëè óñëîâèÿõ ïðåäúÿâëåíèÿ òåñòà, îáÿçàòåëüíî íåîáõîäèìî íàïå÷àòàòü. Àäìèíèñòðàòîð ïî òåñòèðîâàíèþ äîëæåí çà÷èòàòü âûäåðæêè èç ðóêîâîäñòâà, íå äåëàÿ íèêàêèõ èçìåíåíèé â ôîð- РУКОВОДСТВО ПО ПРЕДЪЯВЛЕНИЮ ТЕСТА 179 ìóëèðîâêàõ. Ýòî ãàðàíòèðóåò, ÷òî ó÷àùèåñÿ, âûïîëíÿþùèå òåñò, òî÷íî ïîëó÷àò îäíè è òå æå èíñòðóêöèè. ТРЕНИРОВОЧНЫЕ ВОПРОСЫ Â äîïîëíèòåëüíîì ìàòåðèàëå 12.3 ïðåäñòàâëåíû îñíîâíûå ìåòîäè÷åñêèå ðåêîìåíäàöèè è îïèñàíà öåëü âêëþ÷åíèÿ â òåñò òðåíèðîâî÷íûõ âîïðîñîâ. Èíñòðóêöèè, êîòîðûå àäìèíèñòðà- òîð äàåò ó÷àùèìñÿ, ïðèâåäåíû â âûäåëåííîé îáëàñòè â ïîëíîì îáúåìå. Àäìèíèñòðàòîð äîëæåí çà÷èòàòü èõ âñëóõ. Èçîáðàæå- íèÿ ìîíåò, êîòîðûå ÿâëÿþòñÿ ÷àñòüþ òðåíèðîâî÷íûõ âîïðî- ñîâ, òàêæå ïðèâåäåíû â ðóêîâîäñòâå äëÿ àäìèíèñòðàòîðà. Áëà- ãîäàðÿ ýòîìó åìó íå íóæíî îäíîâðåìåííî ÷èòàòü ðóêîâîäñòâî è ïðîñìàòðèâàòü òåñòîâûé áóêëåò, ÷òîáû óçíàòü, íà ÷åì ñîñðå- äîòî÷åíî âíèìàíèå ó÷àùèõñÿ. АПРОБАЦИЯ Ðóêîâîäñòâî äîëæíî áûòü ïîëíîñòüþ ãîòîâî ê àïðîáàöèè â õîäå ïðåäâàðèòåëüíîãî òåñòèðîâàíèÿ, èëè èñïûòàíèÿ â ïî- ëåâûõ óñëîâèÿõ. Ïðåäâàðèòåëüíàÿ ïðîâåðêà ïîìîãàåò âûÿ- âèòü âîçìîæíûå íåäîðàçóìåíèÿ èëè äâóñìûñëåííûå ìîìåí- òû, êîòîðûå íåîáõîäèìî óñòðàíèòü â çàêëþ÷èòåëüíîé âåðñèè. Ïîñêîëüêó óñëîâèÿ ïðåäâàðèòåëüíîãî òåñòèðîâàíèÿ ìàêñè- ìàëüíî ïðèáëèæåíû ê îêîí÷àòåëüíûì, êî âðåìåíè àïðîáàöèè ðóêîâîäñòâî äîëæíî áûòü ãîòîâî â òîé ìåðå, íàñêîëüêî ýòî âîçìîæíî. Êàê ïðàâèëî, èíñòðóêöèè ïî ïðåäúÿâëåíèþ òåñòîâ ìîãóò áûòü íàïèñàíû â ëþáîå âðåìÿ ïîñëå òîãî, êàê ðàçðàáîòàí èõ ïðîåêò.  ïðîåêòå äîëæíû áûòü îïðåäåëåíû òðåáîâàíèÿ îòíî- ñèòåëüíî ÷èñëà òåñòîâ, èõ äëèíû è î òîì, êàêèå ó÷àùèåñÿ äîë- æíû âûïîëíÿòü òåñò.  òå÷åíèå ïðåäâàðèòåëüíîãî òåñòèðîâàíèÿ àäìèíèñòðàòîð äîëæåí ñîáðàòü òàêóþ èíôîðìàöèþ, êàê ïðèâåäåííàÿ íèæå, ÷òîáû ïîìî÷ü ìåíåäæåðó ïî ðàçðàáîòêå òåñòà ïîäãîòîâèòü îêîí÷àòåëüíûé âàðèàíò. 180 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ Дополнительный материал 12.3 Предъявление тренировочных заданий В след ющем фра менте приведены нес оль о инстр ций для предъяв- ления не оторых тренировочных вопросов. Первый день: сессия 1 ТРЕНИРОВОЧНЫЕ ВОПРОСЫ ПО МАТЕМАТИКЕ ДЛЯ 3-ГО КЛАССА (при- близительно 10 мин т) Удостоверьтесь, что аждо о чаще ося есть тестовый б лет, на об- лож е оторо о он азал свое имя. Тренировочные вопросы позволя- ют видеть разные варианты представления ответов в тесте. Попросите, чтобы чащиеся от рыли свои б леты на странице с тре- нировочными вопросами по математи е (первая страница). СКАЖИТЕ Се одня мы выполним часть теста по математи е и бла одаря этом знаем о ваших достижениях. Сначала мы ответим на не оторые тре- нировочные вопросы, чтобы Вы знали, а ие задания Вам предсто- ит выполнить и а им образом н жно по азать свои ответы. От ройте тестовый б лет и по ажите чащимся тренировочные воп- росы. Проверьте, что аждый из них правильно нашел вопросы. СКАЖИТЕ Давайте рассмотрим одно тренировочное задание. Я зачитаю е о всл х. На рис н е изображены монеты. РУКОВОДСТВО ПО ПРЕДЪЯВЛЕНИЮ ТЕСТА 181 С оль о все о дене изображено на рис н е? 2 тойя, 7 тойя, 25 тойя или 205 тойя? Пожал йста, за расьте малень ий р жо о оло правильно о, по Ва- шем мнению, ответа. За расить можно толь о один р жо . Подождите, по а все чащиеся выполнят задания, и затем проверь- те ответы. СКАЖИТЕ Правильный ответ – 25 тойя. Вы должны были за расить р жо о оло 25 тойя. Если Вы ошиблись, сотрите ласти ом неправильный вари- ант и за расьте р жо для верно о ответа. Дождитесь, по а все чащиеся исправят свои ответы, если это необхо- димо. Источни : Департамент образования Пап а – Новой Гвинеи, 2004. Âñå ëè òðåíèðîâî÷íûå çàäàíèÿ íåîáõîäèìû, äîñòàòî÷íî ëè èõ è ÿñíû ëè ïðèâåäåííûå îáúÿñíåíèÿ? Ìîæíî ëè ñ÷èòàòü äëèíó òåñòà îïòèìàëüíîé èëè â íåì ñëèø- êîì ìíîãî çàäàíèé? Ñêîëüêî ó÷àùèõñÿ çàêîí÷èëè åãî âû- ïîëíåíèå ðàíüøå, ÷åì çà 10 ìèíóò äî êîíöà îòâåäåííîãî âðåìåíè? (Åñëè â îäíîì è òîì æå êëàññå èñïîëüçóþòñÿ ðàç- íûå ôîðìû òåñòà, òî àäìèíèñòðàòîð ìîæåò ñðàâíèòü ïðî- ìåæóòêè âðåìåíè, òðåáóþùèåñÿ ó÷àùèìñÿ äëÿ âûïîëíåíèÿ êàæäîé èç íèõ.) Êàçàëèñü ëè èñïûòóåìûå ïîãëîùåííûìè ðàáîòîé íàä òåñ- òîì? Áûëè ëè ó ó÷àùèõñÿ íåîáõîäèìûå ñðåäñòâà è â äîñòàòî÷- íîì ëè êîëè÷åñòâå, íàïðèìåð êàðàíäàøè èëè ëàñòèêè? 182 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ Áûëè ëè óñëîâèÿ â øêîëå ïîäõîäÿùèìè äëÿ ïðîâåäåíèÿ òå- ñòèðîâàíèÿ? ОБЗОР Ìåíåäæåð ïî ðàçðàáîòêå òåñòà è àâòîðû çàäàíèé íåñóò îòâåò- ñòâåííîñòü çà ñîñòàâëåíèå îáçîðà è òðåíèðîâî÷íûõ âîïðîñîâ äëÿ èíñòðóêöèé. Òðåíèðîâî÷íûå âîïðîñû è èíñòðóêöèè ïî ïðåäúÿâëåíèþ òåñòîâ äîëæíû áûòü ïðåäúÿâëåíû òîé æå ñàìîé ãðóïïå ýêñïåðòîâ, êîòîðàÿ áóäåò àíàëèçèðîâàòü çàäàíèÿ. Ìåíåäæåð ïî ðàçðàáîòêå è ñïåöèàëèñò, îòâåòñòâåííûé çà ëîãèñòèêó è ðàñïðîñòðàíåíèå òåñòîâ, äîëæíû ðàññìîòðåòü è óñîâåðøåíñòâîâàòü ïðîöåäóðû ïåðåäà÷è òåñòîâûõ áóêëåòîâ â øêîëû è îáðàòíî. Íåñêîëüêî ÷åëîâåê ñ ïîäãîòîâêîé, ïîäîáíîé òîé, êîòîðóþ èìååò àäìèíèñòðàòîð ïî òåñòèðîâàíèþ, òàêæå äîëæíû ïðî- ñìîòðåòü âñå ðóêîâîäñòâî ïîëíîñòüþ, ÷òîáû ïðîâåðèòü èíñò- ðóêöèè è óäîñòîâåðèòüñÿ, ÷òî îíè äîñòàòî÷íî ÿñíû, è ðàçúÿñ- íèòü âîçìîæíûå íåòî÷íîñòè. Êàê è âñå òåñòîâûå ìàòåðèàëû, ðóêîâîäñòâî ïî òåñòèðîâà- íèþ äîëæíî áûòü âû÷èòàíî îïûòíûìè ñïåöèàëèñòàìè-êîððåê- òîðàìè. Èíñòðóêöèè äëÿ òðåíèðîâî÷íûõ âîïðîñîâ ìîãóò êîððåêòèðîâàòüñÿ, òîëüêî åñëè ó êîððåêòîðà åñòü êîïèè ñîîò- âåòñòâóþùèõ òåñòîâûõ áóêëåòîâ äëÿ ó÷àùèõñÿ. 13 ÃËÀÂÀ ÀÄÌÈÍÈÑÒÐÀÒÎÐ ÏÎ ÒÅÑÒÈÐÎÂÀÍÈÞ ВЫБОР АДМИНИСТРАТОРА Ó÷àñòâóþùèå â ïðîöåññå íàöèîíàëüíîé îöåíêè ëèöà äîëæíû áûòü òâåðäî óâåðåíû â òîì, ÷òî óñëîâèÿ ïðåäúÿâëåíèÿ òåñòà ñòàíäàðòèçèðîâàíû è ðàâíû äëÿ âñåõ. Ïîýòîìó àäìèíèñòðàòî- ðû äîëæíû ïîëüçîâàòüñÿ áîëüøèì äîâåðèåì è çàñëóæåííûì àâòîðèòåòîì. Âûáîð àäìèíèñòðàòîðà ïî òåñòèðîâàíèþ îïðåäåëÿåòñÿ óñ- ëîâèÿìè äàííîé ñòðàíû.  îäíèõ ñòðàíàõ èäåàëüíûìè àäìè- íèñòðàòîðàìè ñòàíîâÿòñÿ øêîëüíûå èíñïåêòîðû, à â äðóãèõ ýòî áóäåò ïðîáëåìàòè÷íî. Åñëè èíñïåêòîðû ðàññìàòðèâàþò âûïîë- íåíèå âîçëîæåííûõ íà íèõ ôóíêöèé àäìèíèñòðàòîðà ïî òåñ- òèðîâàíèþ êàê äîïîëíèòåëüíóþ ðàáîòó, êîòîðàÿ íå âõîäèò â èõ îáÿçàííîñòè è íåäîñòàòî÷íî îïëà÷èâàåòñÿ, òî ýòà ðàáîòà íå ïðåäñòàâëÿåò äëÿ íèõ êàêîãî-ëèáî èíòåðåñà, è ó íèõ íåò ìî- òèâàöèè âûïîëíèòü åå äîëæíûì îáðàçîì. Èíîãäà â ïðîöåññå íàöèîíàëüíîé îöåíêè ïðèõîäèòñÿ ïðè- âëåêàòü âíåøíèõ àäìèíèñòðàòîðîâ. Èäåàëüíî, åñëè ýòî ñïåöè- àëèñòû, êîòîðûå óìåþò òî÷íî ñëåäîâàòü èíñòðóêöèÿì, ó êîòî- ðûõ åñòü âðåìÿ è ñðåäñòâà äëÿ ðåøåíèÿ çàäà÷ è ó êîòîðûõ íåò íèêàêîé ñïåöèàëüíîé çàèíòåðåñîâàííîñòè â ðåçóëüòàòàõ 184 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ òåñòèðîâàíèÿ, êðîìå æåëàíèÿ ïðîâåñòè ïðåäúÿâëåíèå òåñòà ïðàâèëüíî. Íàïðèìåð, â Âîñòî÷íîì Òèìîðå äëÿ ðàáîòû â êà- ÷åñòâå àäìèíèñòðàòîðà áûëè ñïåöèàëüíî îáó÷åíû ñïåöèàëèñ- òû ïî ñáîðó èíôîðìàöèè. Îíè çàíèìàëèñü ïðåäúÿâëåíèåì òå- ñòîâ â øêîëàõ, è ýòà ðàáîòà îïëà÷èâàëàñü. Îíè ïîíèìàëè âàæíîñòü ñáîðà äàííûõ ñèñòåìàòè÷åñêèì ñïîñîáîì è íå îêà- çûâàëè ó÷àùèìñÿ íèêàêîé ïîìîùè. Âíåøíèé êîíòðîëü èõ ðà- áîòû ïîçâîëÿë ãàðàíòèðîâàòü, ÷òî îíà îòâå÷àåò ñîîòâåòñòâóþ- ùèì ñòàíäàðòàì. Èíîãäà ðîëü àäìèíèñòðàòîðîâ âûïîëíÿþò ïðåïîäàâàòåëè, ÷òî â íåêîòîðûõ ñòðàíàõ ñåðüåçíî ïîäðûâàåò äîâåðèå ê ïîëó- ÷åííûì ðåçóëüòàòîì, ïîòîìó ÷òî ïðåïîäàâàòåëè ìîãóò íàìåðåí- íî èëè íåóìûøëåííî îêàçàòü ïîìîùü ó÷àùèìñÿ. Íà ýòî åñòü ðÿä ïðè÷èí. Íåêîòîðûå âîëíóþòñÿ èç-çà òîãî, ÷òî ïî ðåçóëüòà- òàì òåñòà áóäåò îöåíèâàòüñÿ èõ ñîáñòâåííàÿ ðàáîòà â êà÷åñòâå ïðåïîäàâàòåëÿ. Îíè íåïðåìåííî çàõîòÿò ïîìî÷ü ó÷àùèìñÿ, ÷òîáû óäåðæàòüñÿ íà ðàáî÷åì ìåñòå èëè ïîääåðæàòü ñâîå ðå- íîìå. Åùå â áîëüøåé ñòåïåíè óãðîçó ïðîôåññèîíàëüíîìó ñòà- òóñó îùóùàþò äèðåêòîðà øêîë. Íåêîòîðûå ïðåïîäàâàòåëè ñ÷èòàþò, ÷òî ïî ðåçóëüòàòàì îäíîãî òåñòà ñóäèòü îá èõ ðàáîòå áóäåò íåñïðàâåäëèâî. Îíè ÷óâñòâóþò, ÷òî ïðîñòî îáÿçàíû ïîìî÷ü ó÷àùèìñÿ, ÷òîáû ñäå- ëàòü òåñòèðîâàíèå ïî-íàñòîÿùåìó «÷åñòíûì». Ïðåïîäàâàòåëè ìîãóò èìåòü èñêðåííåå íàìåðåíèå ó÷àñòâîâàòü â òåñòèðîâàíèè â êà÷åñòâå èíñòðóêòîðà, íî íà äåëå îêàæóòñÿ íåñïîñîáíûìè îòîéòè îò ñâîåé ðîëè ó÷èòåëÿ. Èíîãäà ïðåïîäàâàòåëè ïîìîãà- þò ó÷àùèìñÿ, äàæå íå îñîçíàâàÿ, ÷òî îíè äåëàþò, èëè ïîòîìó ÷òî ïðîñòî íå ìîãóò âèäåòü ó÷àùèõñÿ, ïîïàâøèõ â çàòðóäíèòåëü- íîå ïîëîæåíèå, è íå ïðåäëîæèòü èì ïîìîùü. Ïîäðîáíåå î ïðîöåññå îòáîðà àäìèíèñòðàòîðîâ òåñòèðî- âàíèÿ, èõ äîñòîèíñòâàõ è íåäîñòàòêàõ ñìîòðèòå â òðåòüåé êíè- ãå íàñòîÿùåé ñåðèè. СЛЕДОВАНИЕ ИНСТРУКЦИЯМ Àäìèíèñòðàòîð äîëæåí ïîìíèòü, ÷òî îäíè óêàçàíèÿ, ïðèâîäè- ìûå â ðóêîâîäñòâå, íåîáõîäèìî ïîíèìàòü äîñëîâíî, à äðóãèå АДМИНИСТРАТОР ПО ТЕСТИРОВАНИЮ 185 ÿâëÿþòñÿ áîëåå îáùèìè è äàþò âîçìîæíîñòü äëÿ èíòåðïðåòà- öèè è àäàïòàöèè ê óñëîâèÿì â êëàññå. Àäìèíèñòðàòîð íå ìî- æåò èãíîðèðîâàòü êàêèå-ëèáî èíñòðóêöèè. Âûÿâèòü îøèáêè èëè íåîäíîçíà÷íîñòè â óêàçàíèÿõ, åñëè îíè ñóùåñòâóþò, ïîìî- æåò ïðåäâàðèòåëüíàÿ ïðîâåðêà ðóêîâîäñòâà. Ïîìîùü àäìèíèñòðàòîðà ó÷àùèìñÿ ñâîäèòñÿ ëèøü ê ÿñíî- ìó è ÷åòêîìó îáúÿñíåíèþ òîãî, ÷òî îíè äîëæíû ñäåëàòü è â êàêîé ôîðìå ïðåäñòàâèòü ñâîè îòâåòû. Íåîáõîäèìî, ÷òî- áû âñå ó÷àùèåñÿ, âûïîëíÿþùèå òåñò, ïîíèìàëè, ÷òî íèêàêàÿ èíàÿ ïîìîùü èì íå ìîæåò áûòü îêàçàíà. Àäìèíèñòðàòîð íå äîëæåí ïîÿñíÿòü âîïðîñû, èíòåðïðåòèðîâàòü çíà÷åíèÿ ñëîâ, ïîäñêàçûâàòü âîçìîæíûå ñïîñîáû ðåøåíèÿ. Åñëè ó÷àùèéñÿ ïðÿìî ïðîñèò î ïîìîùè, àäìèíèñòðàòîð ìîæåò òîëüêî ïðåä- ëîæèòü åìó ñäåëàòü âñå âîçìîæíîå, ÷òîáû îòâåòèòü íà âîïðîñ ñàìîñòîÿòåëüíî. Àäìèíèñòðàòîð íå äîëæåí ïåðåâîäèòü çàäàíèÿ íà äðóãîé ÿçûê äëÿ ó÷àùèõñÿ, åñëè òîëüêî ýòîãî íå äîïóñêàþò èíñòðóêöèè.  íåêîòîðûõ òåñòàõ àäìèíèñòðàòîð äîëæåí çà÷èòûâàòü çà- äàíèÿ âñëóõ. ×èòàòü íóæíî ìåäëåííî, îò÷åòëèâî, âåñü òåñò âñëóõ, âîïðîñ çà âîïðîñîì, èëè îòäåëüíûå âîïðîñû ïî ïðîñüáå ó÷àùèõñÿ íà òîì ÿçûêå, íà êîòîðîì íàïèñàí òåñò. Àäìèíèñò- ðàòîð ìîæåò ïîâòîðÿòü îòäåëüíûå âîïðîñû ïî ïðîñüáå ó÷à- ùèõñÿ. Àäìèíèñòðàòîðó íåîáõîäèìû ÷àñû – íàðó÷íûå èëè íà- ñòåííûå – ÷òîáû çàïèñàòü íà äîñêå èëè áóìàãå òî÷íîå âðåìÿ íà÷àëà è êîíöà òåñòèðîâàíèÿ. Àäìèíèñòðàòîð äîëæåí ãàðàí- òèðîâàòü, ÷òî ó÷àùèåñÿ çíàþò î âðåìåíè, çà êîòîðûå îíè äîë- æíû âûïîëíèòü òåñò. Äëÿ ýòîãî îí îáÿçàòåëüíî îáúÿâëÿåò â íà÷àëå òåñòèðîâàíèÿ, ñêîëüêî âðåìåíè åñòü ó èñïûòóåìûõ è íàïîìèíàåò, êîãäà äî êîíöà îñòàåòñÿ 10, 5 èëè 2 ìèíóòû (â çàâèñèìîñòè îò äëèíû òåñòà). Åñëè àäìèíèñòðàòîð âèäèò, ÷òî ó÷àùèåñÿ òðàòÿò ÷åðåñ÷óð ìíîãî âðåìåíè íà ðåøåíèå îäíîãî çàäàíèÿ, îí ìîæåò ïîñîâå- òîâàòü ïðîïóñòèòü çàäàíèå è ïîïûòàòüñÿ âûïîëíèòü îñòàëüíûå. Îí ìîæåò ïðåäëîæèòü, ÷òîáû ó÷àùèéñÿ âûáðàë îòâåò, êîòîðûé êàæåòñÿ åìó íàèáîëåå ïîäõîäÿùèì, ïîïðîáîâàë îòâåòèòü íà ñëåäóþùèå âîïðîñû, à çàòåì âåðíóëñÿ áû ê çàäàíèþ, âûçâàâ- øåìó òðóäíîñòè. 186 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ Â ïîìåùåíèè, ãäå ïðîâîäèòñÿ òåñòèðîâàíèå, ðàçðåøåíî èìåòü òîëüêî òå ìàòåðèàëû, êîòîðûå ïðåäóñìîòðåíû â ðóêî- âîäñòâå. Çà÷àñòóþ ó÷àùèåñÿ ïðèíîñÿò ñâîè ñîáñòâåííûå êàðàí- äàøè è ëàñòèêè. Ïåíàëû è ñóìêè ïåðåä íà÷àëîì òåñòèðîâàíèÿ íåîáõîäèìî ñäàòü. Âñå, ÷òî ìîæåò îêàçàòü ó÷àùèìñÿ êîñâåí- íóþ ïîìîùü, äîëæíî áûòü óäàëåíî. Êðîìå òîãî, èñïûòóåìûå íå äîëæíû îáðàùàòüñÿ ê ñëîâàðÿì èëè êàëüêóëÿòîðàì, åñëè óñ- ëîâèÿìè òåñòèðîâàíèÿ íå ïðåäóñìîòðåíî èíîå. Âî âðåìÿ òåñòèðîâàíèÿ â êëàññå ìîãóò íàõîäèòüñÿ òîëüêî àäìèíèñòðàòîð, ó÷àùèåñÿ, âûïîëíÿþùèå òåñò, è, âîçìîæíî, íàáëþäàòåëü. Äèðåêòîðó øêîëû, êëàññíîìó ðóêîâîäèòåëþ èëè äðóãèì ïðåïîäàâàòåëÿì çàõîäèòü íå ðàçðåøàåòñÿ. Î ëþáûõ íàðóøåíèÿõ íåîáõîäèìî ñðàçó óâåäîìèòü îòâåòñòâåííîãî çà ïðîâåäåíèå òåñòèðîâàíèÿ.  ïðîöåññå òåñòèðîâàíèÿ àäìèíèñòðàòîð äîëæåí ôèêñèðî- âàòü ëþáûå èçìåíåíèÿ óñëîâèé, êàñàþùèåñÿ îòäåëüíûõ ó÷à- ùèõñÿ. ×àñòî íà îáëîæêå òåñòîâîãî áóêëåòà åñòü ñïåöèàëüíàÿ îáëàñòü, ãäå àäìèíèñòðàòîð ìîæåò óêàçàòü, ÷òî ó÷àùèéñÿ îò- ñóòñòâîâàë â òå÷åíèå îïðåäåëåííîãî âðåìåíè èëè íà ïðîòÿæå- íèè âñåãî òåñòà. Åñëè ó÷àùèéñÿ íå ñìîã çàêîí÷èòü òåñò èç-çà áîëåçíè è ïîêèíóë êëàññ ðàíüøå, àäìèíèñòðàòîð îáÿçàòåëüíî äîëæåí çàïèñàòü ýòó èíôîðìàöèþ. ПРОВЕРКА КАЧЕСТВА Ïðè îòáîðå àäìèíèñòðàòîðîâ íóæíî ðóêîâîäñòâîâàòüñÿ ñîîá- ðàæåíèÿìè èõ ïðèãîäíîñòè äëÿ ðåøåíèÿ ïîñòàâëåííîé çàäà- ÷è. Îíè äîëæíû õîðîøî âëàäåòü ÿçûêîì, íà êîòîðîì íàïèñà- íî ðóêîâîäñòâî äëÿ òåñòèðîâàíèÿ. Àäìèíèñòðàòîðàì ñëåäóåò öåëèêîì ïîñâÿòèòü ñåáÿ âûïîëíåíèþ âîçëîæåííûõ íà íèõ îáÿ- çàííîñòåé. Àäìèíèñòðàòîðû íóæäàþòñÿ â îáó÷åíèè, íåçàâèñèìî îò âîçðàñòà èëè àêàäåìè÷åñêîé êâàëèôèêàöèè. Èì ñëåäóåò ïî- ñåùàòü çàíÿòèÿ, íà êîòîðûõ èì îáúÿñíÿò öåëü òåñòèðîâàíèÿ è èõ ôóíêöèè ïðè åãî ïðîâåäåíèè. Àäìèíèñòðàòîðû äîëæ- íû ïîíèìàòü, ïî÷åìó òàê âàæíî ñëåäîâàòü óêàçàíèÿì. Æåëà- òåëüíî ïðåäîñòàâèòü èì âîçìîæíîñòü ïðåäâàðèòåëüíî ïî- АДМИНИСТРАТОР ПО ТЕСТИРОВАНИЮ 187 ïðàêòèêîâàòüñÿ âìåñòå ñ êîëëåãàìè, à òàêæå çàäàòü âîïðîñû î ïðîöåäóðàõ, âûäåëåííûõ â ðóêîâîäñòâå ïî ïðîâåäåíèþ òå- ñòèðîâàíèÿ. Åñëè â ðîëè àäìèíèñòðàòîðîâ âûñòóïàþò ïðåïîäàâàòåëè, êîòîðûå ïðåäúÿâëÿþò òåñòû ñâîèì ó÷àùèìñÿ, òî â õîäå îáó÷å- íèÿ íåîáõîäèìî ÷åòêî äàòü èì ïîíÿòü, ÷òî ïî ðåçóëüòàòàì òåñ- òà íå áóäóò ñóäèòü îá èõ ðàáîòå è ïîýòîìó ïîìîãàòü ó÷àùèìñÿ íè â êîåì ñëó÷àå íå ñëåäóåò. Ðàáîòó àäìèíèñòðàòîðîâ íåîáõîäèìî êîíòðîëèðîâàòü, ïî êðàéíåé ìåðå, íà ïðîòÿæåíèè ÷àñòè âðåìåíè îòâåäåííîãî íà ïðåäúÿâëåíèå òåñòà. Ïðîâåðêà ðàáîòû êàæäîãî èç íèõ íåâîç- ìîæíà, íî âûáîðî÷íàÿ ïðîâåðêà ðàáîòû íåêîòîðûõ äîëæíà áûòü âûïîëíåíà îáÿçàòåëüíî. ×òîáû àäìèíèñòðàòîð áûë óâåðåí â òîì, ÷òî ïîëíîñòüþ çàâåðøèë ñâîþ ðàáîòó, ìîæíî ïîïðîñèòü åãî çàïîëíèòü è ïîä- ïèñàòü êîíòðîëüíûé ñïèñîê îáÿçàííîñòåé. КОНТРОЛЬНЫЙ СПИСОК ОБЯЗАННОСТЕЙ АДМИНИСТРАТОРА Êîíòðîëüíûé ñïèñîê îáÿçàííîñòåé àäìèíèñòðàòîðà ìîæåò èç- ìåíÿòüñÿ â çàâèñèìîñòè îò òîãî, êòî ïðîâîäèò òåñòèðîâàíèå, è îò òîãî, êàêèå ïðîöåäóðû äëÿ îòñëåæèâàíèÿ áóêëåòîâ è ãàðàí- òèé èíôîðìàöèîííîé áåçîïàñíîñòè áûëè ðàçðàáîòàíû.  äîïîë- íèòåëüíîì ìàòåðèàëå 13.1 ïðèâåäåí ïðèìåð êîíòðîëüíîãî ñïèñ- êà îáÿçàííîñòåé àäìèíèñòðàòîðà, èñïîëüçóåìûé íà Ôèëèïïèíàõ. (Åùå îäèí ïðèìåð âû íàéäåòå â òðåòüåé êíèãå ñå- ðèè.) 188 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ Дополнительный материал 13.1 Списо обязанностей администратора: пример из Филиппин Администратор должен проверить аждый п н т спис а, чтобы по азать, что он или она полностью выполнили все п н ты, и в онце это о перечня поставить свою подпись. Имя Д ата Зад а ч а И сточ ни к В р ем я В ы полнено 1. За конч и ть р аспр ед елени е Ф ор м а 10 м и н тес тов ы х б уклетов (по ф ор м е S TB A STB A ), в пи сы в ая ном ер а тес тов в пор я д ке и х с лед ов ани я и в нос я и м ена уч ащ и хся в алфавитном поряд е в Р а зав 2.алф и тном д ать порд анкету яля д ке А нкета д ля 15 м и н пр епод ав ателей пр епод а- в ателей 3. За полни ть ф ор м у д ля об р атной Ф ор м а д ля 10 м и н св я з и об р атной с в яз и пр епод а- в ателей 4. Р а з д ать тес ты ка ж д ом у Ф ор м а 10 м и н уч а щ ем ус я S TB A и отм ети ть отсутс тв ую щ и х, пос тав и в напр оти в и м ени уч а щ егося соотв етств ую щ ую отм етку 5. П р оч и тать в в ед ени е и з Р уков од - 5 мин р уков од ств а с тв о д ля а д м и ни - с тр а тор а , с. 7 6. П опр ос и ть уч ащ и хся з аконч и ть Р уков од - 5 мин з аполнени е д а нны х о себ е на с тв о д ля об лож ке тестов ог о б уклета а д м и ни - с тр а тор а , с. 9 7. П р ов ер и ть , ч то каж д ы й 10 м и н уч а щ и й ся з а конч и л з а полнени е необ ход и м ы х д анны х о себ е на об лож ке тестов ог о б уклета 8. С лед ов ать и нстр укц и ям Р уков од - 60 м и н д ля сесси и 1 с тв о д ля а д м и ни - с тр а тор а , с . 15– 17 9. П ер ед пер ер ы в ом попр оси ть 15 м и н уч а щ и хся в ы й ти и з пом ещ ени я по оч ер ед и и остав и ть св ои тес ты на столах АДМИНИСТРАТОР ПО ТЕСТИРОВАНИЮ 189 10. С ледовать и нстр укц и ям Руковод- 60 ми н для сесси и 2 ство для ад ми ни - стр атор а, с. 15–17 11. П ер ед пер ер ывом попр оси ть 15 ми н уч ащи хся вый ти и з помещени я по оч ер ед и и остави ть свои тесты на столах 12. С ледовать и нстр укц и ям Руковод- 70 ми н для сесси и 3 ство для ад ми ни - стр атор а, с. 19–21 13. С об р ать все тестовые б уклеты Ф ор ма 10 ми н и отмети ть и х сд ач у, и спользуя STB A ф ор му STB A. 14. П осчи тать все тесты Ф ор ма 5 ми н и удостовер и ться в том, ч то STB A кажд ый тест б ыл сдан 15. С дать класс 2 ми н 16. П од пи сать ф ор му STB A Ф ор ма 2 ми н STB A 17. С об р ать и упаковать все 10 ми н тестовые матер и алы в кор об ку, вклю чая: I. Ф ор му STB A. II. Анкеты для пр епод авателей . III. Ф ор мы об р атной связи с пр еподавателями . IV . В се выполненные тесты. V . В се неи спользованные тесты. 18. Н ад ежно спр ятать матер и алы 10 ми н на складе 19. В озвр ати ть матер и алы вашему Ф ор мы В р емя стар шему и нспектор у по р ай ону р аспр е- на (SDS) д ля р еги онального делени я поездку оц ени вани я по математи ке, SDS естественным наукам RAM SE и англи й скому язы ку (RAM SE) 20. В озвр ати ть этот завер шенны й Ад ми ни ст- 2 ми н спи сок вашему и нспектор у по р ати вный р ай ону спи сок для RAM SE Подпи сь ад ми ни стр атор а _____________________________ Источни : Департамент образования Филиппин, 2004. 14 ÃËÀÂÀ ÈÍÔÎÐÌÈÐÎÂÀÍÈÅ ØÊÎË Î ÍÀÖÈÎÍÀËÜÍÎÉ ÎÖÅÍÊÅ ×òîáû ó÷àùèåñÿ â ïðîöåññå íàöèîíàëüíîé îöåíêè âûïîëíèëè òåñò íàèëó÷øèì îáðàçîì, ó íèõ äîëæåí áûòü ñòèìóë. Îáû÷íî ìîòèâàöèè ó÷àùèõñÿ ñïîñîáñòâóþò ñëîâà ïðå- ïîäàâàòåëåé î òîì, ÷òî ðåçóëüòàòû òåñòèðîâàíèÿ áóäóò èñïîëü- çîâàòüñÿ èñêëþ÷èòåëüíî äëÿ ñîâåðøåíñòâîâàíèÿ ïðîöåññà îáó- ÷åíèÿ, à íå äëÿ îöåíèâàíèÿ óðîâíÿ ïîäãîòîâêè ñàìèõ èñïûòóåìûõ. Ó÷àùèåñÿ äîëæíû ÷óâñòâîâàòü çíà÷èìîñòü ñâîåãî ó÷àñòèÿ â òåñòèðîâàíèè, îñîáåííî òå èç íèõ, ÷üè óñïåõè â ó÷åáå îñòàâ- ëÿþò æåëàòü ëó÷øåãî. Âûáîð íàèáîëåå ïîäõîäÿùåãî âðåìåíè äëÿ ñîîáùåíèÿ ó÷àùèìñÿ äàòû òåñòèðîâàíèÿ çàâèñèò îò ðÿäà îáñòîÿòåëüñòâ. Åñëè ó÷àùèåñÿ áîÿòñÿ òåñòèðîâàíèÿ è åñòü âå- ðîÿòíîñòü, ÷òî îíè ïðîïóñòÿò øêîëó â íàçíà÷åííûé äåíü, òî äàòó ëó÷øå âîâñå íå îáúÿâëÿòü. Åñëè èñïûòóåìûå, õîòÿ è âîë- íóþòñÿ, íî, ñêîðåå âñåãî, ïðèäóò â øêîëó, òî ïðåäïî÷òèòåëü- íåå ïðåäóïðåäèòü èõ çàðàíåå, ÷òîáû îíè óñïåëè íàñòðîèòüñÿ. Àãåíòñòâî ïî ïðîâåäåíèþ òåñòîâ äîëæíî ãàðàíòèðîâàòü, ÷òî öåëü òåñòèðîâàíèÿ áûëà ïîñòàâëåíà ïåðåä øêîëàìè çàðà- íåå, äî åãî ïðîâåäåíèÿ. Èíôîðìàöèþ ìîæíî îáåñïå÷èòü ñ ïî- ìîùüþ ñåìèíàðîâ, èíôîðìàöèîííûõ ïèñåì èëè òåëåôîííûõ êîíòàêòîâ. Æåëàòåëüíî ÷åñòíî è ÿñíî ñîîáùèòü î òîì, êàêèå 192 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ äàííûå ñîáèðàþòñÿ ïî ðåçóëüòàòàì òåñòèðîâàíèÿ, â êàêîì âèäå î íèõ áóäóò ñîîáùàòü, êàê îíè áóäóò èñïîëüçîâàòüñÿ è êàêîâà áóäåò îáðàòíàÿ ñâÿçü. Ðóêîâîäèòåëåé è ïðåïîäàâàòåëåé øêîë, ïðèíèìàþùèõ ó÷à- ñòèå â òåñòèðîâàíèè, íåîáõîäèìî ïðåäóïðåäèòü, êàêèå êëàññû áûëè îòîáðàíû, ÷òîáû ïîìî÷ü ïîëó÷èòü èíôîðìàöèþ î òîì, ÷òî ó÷àùèåñÿ îñâîèëè è ÷åãî îíè íå çíàþò. Öåëü íàöèîíàëü- íîé îöåíêè – ïîìî÷ü óëó÷øèòü ñèñòåìó îáðàçîâàíèÿ, à íå îöå- íèòü îòäåëüíûå øêîëû èëè êëàññû. Ñëåäóåò òàêæå îáúÿâèòü, ÷òî ðåçóëüòàòû òåñòèðîâàíèÿ è îòâåòû íà àíêåòû áóäóò êîíôè- äåíöèàëüíû. Íåîáõîäèìî ãàðàíòèðîâàòü, ÷òî øêîëû ñîãëàñèëèñü ó÷à- ñòâîâàòü â òåñòèðîâàíèè äî íàçíà÷åíèÿ âíåøíèõ àäìèíèñòðà- òîðîâ. Âíåøíèå àäìèíèñòðàòîðû äîëæíû èìåòü âñå íåîáõîäè- ìûå äîêóìåíòû, íàïðèìåð ïèñüìåííîå ñîãëàøåíèå. Ýòî äàñò èì óâåðåííîñòü â òîì, ÷òî ðóêîâîäñòâî øêîëû îêàæåò èì ïîä- äåðæêó.  òðåòüåé êíèãå ñåðèè âû íàéäåòå äàëüíåéøèå ïðåäëî- æåíèÿ ïî èíôîðìèðîâàíèþ øêîë, âêëþ÷àÿ ïðîåêò òàêîãî ñî- ãëàøåíèÿ. ËÈÒÅÐÀÒÓÐÀ ÄËß ÄÀËÜÍÅÉØÅÃÎ ×ÒÅÍÈß Allen, N. L., J. R. Donoghue, and T. L. Schoeps. 2001. The NAEP 1998 Technical Report. Washington, DC: National Center for Education Statistics. Australian Council for Educational Research. No date. Literacy and Numeracy National Assessment (LANNA), Sample Questions, Numeracy Year5. http:// www.acer.edu.au/documents/LANNA_Y5Numeracy Questions.pdf. Baker, F. 2001. The Basics of Item Response Theory. College Park, MD: ERIC Clearinghouse on Assessment and Evaluation, University of Maryland. Beaton, A. E., and E. G. Johnson. 1989. “Overview of the Scaling Methodology used in the National Assessment.” Journal of Educational Measurement 29: 163–75. Bloom, B. S., M. D. Engelhart, E. J. Furst, W. H. Hill, and D. R. Krathwohl. 1956. Taxonomy of Educational Objectives: Handbook 1—Cognitive Domain. London: Longmans, Green. Campbell, J. R., D. L. Kelly, I. V. S. Mullis, M. O. Martin, and M. Sainsbury. 2001. Framework and Specifications for PIRLS Assessment 2001. Chestnut Hill, MA: International Study Center, Boston College. Chatterji, M. 2003. Designing and Using Tools for Educational Assessment. Boston: Allyn and Bacon. Educational Research Centre. 1978. Drumcondra Attainment Tests, Manual, Level II, Form A. Dublin: Educational Research Centre. 194 РАЗРАБОТКА ТЕСТОВ И АНКЕТ ДЛЯ НАЦИОНАЛЬНОЙ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ Eivers, E., G. Shiel, R. Perkins, and J. Cosgrove. 2005. The 2004 National Assessment of English Reading. Dublin: Educational Research Centre. Forster, M. 2000. A Policy Maker’s Guide to International Achievement Studies. Camberwell, Australia: Australian Council for Educational Research. ———. 2000. A Policy Maker’s Guide to Systemwide Assessment Programs. Camberwell, Australia: Australian Council for Educational Research. Greaney, V., and S. B. Neuman. 1990. “The Functions of Reading: A Cross- Cultural Perspective.” Reading Research Quarterly 25 (3):172–95. Haladyna, T. M. 1999. Developing and Validating Multiple-Choice Test Items. 2nd ed. Hillsdale, NJ: Lawrence Erlbaum. Harlen, W., ed. 2008. Student Assessment and Testing. Vols. 1–4. London: Sage IEA (International Association for the Evaluation of Educational Achievement). 1998. Third International Mathematics and Science Study—TIMSS Sample Items. Chestnut Hill, MA: International Study Center, Boston College. http:// www.edinformatics.com/timss/pop1/mpop1.htm, http:// timss.bc.edu/timss1995i/TIMSSPDF/BSItems.pdf/, and http:// www.ed. gov/inits/Math/timss4_8.html. ———. 2007. TIMSS 2003, Science Items, Released Set. Fourth Grade. S011026. Chestnut Hill, Mass.: TIMSS & PIRLS International Study Center, Boston College. timss.bc.edu/PDF/T03_RELEASED_S4.pdf. Kirsch, I. 2001. The International Adult Literacy Survey (IALS): Understanding What Was Measured . Research Report RR-01-25. Princeton, NJ: Educational Testing Service. Kubiszyn, T., and G. Borich. 2000. Educational Testing and Measurement.New York: Wiley. Linn, R. L., and S. B. Dunbar. 1992. “Issues in the Design and Reporting of the National Assessment of Educational Progress.” Journal of Educational Measurement 29 (2): 177–94. Linn, R. L., and M. D. Miller. 2004. Measurement and Assessment in Teaching: Student Exercise Manual. Upper Saddle River, NJ: Prentice Hall. Messick, S. 1987. “Large-Scale Educational Assessment as Policy Research: Aspirations and Limitations.” European Journal of Psychology and Education 2 (2): 157–65. ———. 1989. “Validity.” In Educational Measurement, 3rd ed., ed. R. L. Linn, 13–103. New York: American Council on Education/Macmillan. Mullis, I. V. S, A. M. Kennedy, M. O. Martin, and M. Sainsbury. 2006. ЛИТЕРАТУРА ДЛЯ ДАЛЬНЕЙШЕГО ЧТЕНИЯ 195 Assessment Framework and Specifications: Progress in International ReadingLiteracy Study. 2nd ed. Chestnut Hill, MA: TIMSS and PIRLS International Study Center, Boston College.Mullis, I. V. S., M. O. Martin, E. J. Gonzalez, and S. J. Chrostowski. 2004. TIMSS 2003 International Mathematics Report: Findings from IEA’s Trends inInternational Mathematics and Science Study at the Fourth and Eighth Grades . Chestnut Hill, MA: TIMSS and PIRLS International Study Center,Boston College. Mullis, I. V. S., M. O. Martin, E. J. Gonzalez, K. D. Gregory, R. A. Garden,K. M. O’Connor, S. J. Chrostowski, and T. A. Smith. 2000. TIMSS 1999 International Mathematics Report. Findings from IEA’s Repeat of the ThirdInternational Mathematics and Science Study at the Eighth Grade. Chestnut Hill, Mass.: The International Study Center, Boston College. timssandpirls.bc.edu/timss1999i/pdf/T99i_Math_2.pdf. National Assessment Governing Board. No date. Writing Framework andSpecifications for the 1998 National Assessment of Educational Progress.Washington, DC: U.S. Department of Education. New Zealand Ministry of Education. 2002. English in the New Zealandurriculum. Wellington: Learning Media for the New Zealand Ministry of Education. Nitko, A. J. 2004. Educational Assessment of Students. 4th ed. Upper SaddleRiver, NJ: Pearson, Merrill, Prentice Hall. Papua New Guinea Department of Education. 2003. Cultural Mathematics Elementary Syllabus. Port Moresby: Papua New Guinea Department of Education.———. 2004. National Curriculum Standards Monitoring Test. Port Moresby: Papua New Guinea Department of Education. Philippine Department of Education. 2004. Region-wide Assessment forMathematics, Science, and English (RAMSE): Basic Education Assistance forMindanao (BEAM). Manila: Philippine Department of Education. PISA (Programme for International Student Assessment). 2004. Learning forTomorrow’s World: First Results from PISA 200. Paris: Organisation for Economic Co-operation and Development. Íàó÷íîå èçäàíèå Íàöèîíàëüíàÿ îöåíêà ó÷åáíûõ äîñòèæåíèé Àíäåðñåí Ïðó Ìîðãàí Äæîðäæ ÐÀÇÐÀÁÎÒÊÀ ÒÅÑÒÎÂ È ÀÍÊÅÒ ÄËß ÍÀÖÈÎÍÀËÜÍÎÉ ÎÖÅÍÊÈ Ó×ÅÁÍÛÕ ÄÎÑÒÈÆÅÍÈÉ Îòâåòñòâåííàÿ çà âûïóñê, ëèòåðàòóðíûé ðàäàêòîð Ñ.À. Åñèíà Êîððåêòîð Þ.Ã. Ñëèçóí Êîìïüþòåðíàÿ âåðñòêà È.Â. Êðàâ÷åíêî Îôîðìëåíèå È.Â. Êðàâ÷åíêî Ïîäïèñàíî â ïå÷àòü 04.03.2011. Ôîðìàò 70õ100/16 Ïå÷àòü îôñåòíàÿ. Áóìàãà îôñåòíàÿ. 12,25 ïå÷. ë. Òèðàæ 3000 ýêç. Çàêàç Èçäàòåëüñêàÿ ãðóïïà «Ëîãîñ» 111024, Ìîñêâà, óë. Àâèàìîòîðíàÿ, ä. 55, êîðï. 31, îôèñ 305 Òåë.: (495) 644-38-04, 642-59-89 Ýëåêòðîííàÿ ïî÷òà: universitas@mail.ru Äîïîëíèòåëüíàÿ èíôîðìàöèÿ íà ñàéòå: http://logosbook.ru