Электронная библиотека Веда
Цели библиотеки
Скачать бесплатно
Доставка литературы
Доставка диссертаций
Размещение литературы
Контактные данные
Я ищу:
Библиотечный каталог российских и украинских диссертаций

Вы находитесь:
Диссертационные работы России
Технические науки
Управление в социальных и экономических системах

Диссертационная работа:

Захаров Александр Александрович. Управление качеством учебного процесса профессионального образования на основе комплексных тестовых измерительных систем с использованием экспертных композиций : Дис. ... д-ра техн. наук : 05.13.10 Саратов, 2004 368 с. РГБ ОД, 71:05-5/460

смотреть содержание
смотреть введение
Содержание к работе:

2
Введение 5

Глава 1.Основные подходы в определении качества образования и

возможности его измерения 16

  1. Категория качества 16

  2. Мера и оценка качества 41

  3. Результаты образования и проблемы их измерения 49

  4. Выводы 58

Глава 2. Повышение эффективности управления учебным
процессом на основе оптимального взаимодействия в системе
преподаватель - студент.". 61

  1. Основные понятия теории измерений в учебном процессе 61

  2. Традиционные и инновационные формы

тестовых заданий 69

2.3. Сравнение характеристик традиционного опроса и тестовых
процедур
83

2.4. Фразы, пропозиции, формулировки и высказывания

в образовательном процессе 89

2.5. Объяснение - понимание - ключевая проблема педагогического
учебного процесса
96

2.6. Выводы 104

Глава 3. Разработка принципов формирования оптимальных
композиций тестовых заданий 107

  1. Формирование тестовых заданий различных форм на базе сложных композиций матричного типа 107

  2. Моделирование тестовых заданий удвоенной

и более высоких уровней альтернативы 110

3.3 «Семиотический» квадрат как основа тестовых заданий 127

  1. Интегрирование тестовых заданий в соответствии с формализмом нормальных алгоритмов Маркова 132

  2. Особенности тестовых заданий других форм 135

  3. Выводы 136

Глава 4. Разработка композиций тестовых заданий матричного
типа с произвольным числом множеств и элементами экспертных
систем 138

  1. Поиск оптимальных форм тестовых заданий 138

  2. Тестовые задания с элементами экспертных систем 142

  1. Анализ тестовых заданий матричного типа с большим числом множеств..... 152

  2. Формирование тестовых заданий с достаточным числом

множеств для распознания образа (объекта) 164

4.5. Разработка композиций тестовых заданий, обладающих свойствами
тестов в конкретной предметной области
171

4.6. Выводы 181

Глава 5. Применение различных измерительных шкал

в управлении учебным процессом, их преобразование и

погрешности 184

5.1. Аналогии в физических и семантических измерениях 184

5.2.Многократные наблюдения в системе измерений

и схемы взаимного преобразования шкал 190

5.3. Алгоритм соотнесения аттестационных результатов,
полученных на базе тестирования и традиционного

экзамена 210

5.4. Оптимальные модели формы функции распределения

при использовании тестовых технологий 215

  1. Особенности применения нелинейных шкал 231

  2. Выводы 240

Глава 6. Алгоритмы формирования различных форм тестовых
заданий, параллельных и локальных тестов 244

6.1. Тестовые задания матричного типа на базе двух множеств (a,6j)

при i=j=n. Случай п=2 244

6.2. Расширение возможности генерации тестовых заданий.

Случай п—3 247

6.3. Генерация различных форм тестовых заданий из задания

на соответствие порядка п=4 ип-5 250

6.4. Выводы 269

Глава 7.Основные принципы создания тестовых заданий,
адекватно отражающих семантические составляющие
информационных полей 272

  1. Структура информационного поля 272

  2. Построение тестовых заданий на основе

табличных материалов 287

7.3. Формирование тестовых заданий на базе

повествовательных текстов 300

  1. Тестовые задания на конструирование 317

  2. Выводы 319

Заключение 325

Библиографический список 342

Введение к работе:

Проблема качества и управления качеством образования остается одной из ведущих для теоретиков и практиков системы образования различных уровней, отечественных и зарубежных.

В последние годы делаются попытки использовать в качестве методологической основы создания соответствующих систем управления качеством подготовки специалистов в вузе известные международные стандарты серии ИСО 9000, в частности, ИСО 9001 и 9004, рассматривая образовательную деятельность как процесс оказания услуг, несмотря на всю ее специфику.

Однако наиболее трудным и существенным является «постулат об «измеримости» составляющих образовательного процесса, его характеристик и параметров (семантических величин), то есть возможности формализации измерительных процедур, как это успешно сделано при измерении физических величин.

В первом приближении под качеством образования можно понимать степень достижения заданного уровня обученности (подготовленности), связанного с формированием определенных знаний, умений и навыков.

Современные зарубежные процедуры оценки качества высшего образования включают систему тестовой оценки знаний и способностей учащихся.

Значительное количество ученых и институтов, занимающихся вопросами оценки качества образования, не адекватно реальному продвижению в этой области и наличию значимых результатов. К настоящему времени не создана научно обоснованная система измерений показателей качества подготовки обучаемых.

Создание системы оценки качества подготовки лежит через разработку теории научной организации тестового контроля и использования возможности тестов.

На современном этапе приобретает особое значение работа по определению системы показателей качества, методов измерений и измерительных устройств, к которым наиболее часто относят тесты.

Разработка аттестационных тестов имеет дополнительные трудности, связанные с тем, что невозможно проверить учащихся по всему набору требований ГОС в рамках конкретной дисциплины, предмета, а тем более по всей совокупности изучаемых и изученных дисциплин.

Совершенствование требований ГОС, включая содержание и форму этих требований, должно обеспечить возможность создания стандартизированных средств в виде совокупности предметных и межпредметных тестов, форма и содержание тестовых заданий которых ориентированно и достаточно полно отражают содержание конкретных информационных источников.

Проблема исследования измерительных возможностей в образовании приковывает пристальное внимание теоретиков и практиков на протяжении длительного периода. Ее актуальность в последние годы стала проявляться и в направлениях образовательной деятельности высшего уровня, таких, как теория качества, квалиметрия, теория управления качеством, и в более «приземленных» областях, таких, как создание соответствующего измерительного инструмента, измерительных технологий, на всех этапах образования от грамотности к менталитету через образованность, профессиональную компетентность, культуру в интегрированной структуре образования как ценности, системы, процесса и результата.

Существенный вклад в достижение значительных успехов в названных направлениях внесли известные исследователи в области:

- философии образования - Х.-Г. Гадамер, Б.С. Гершунский, А.А. Вербицкий, Г.Л. Ильин, И.А. Зимняя, А.И. Субетто, Ю.Я. Клехо, Н.А. Бердяев, Н.С. Ладыжец, Е.В. Олесеюк, Ю.Г. Татур [12, 15, 18, 23, 24, 45, 49,50,51,63,72, 123-142, 145];

- квалитологии и управления качеством образования: А.И. Субетто,

М.М. Поташкин, В.В. Окрепилов, В.Ю. Огвоздин, Н.А. Селезнева, Литвак Б.Г., И.Б. Русман, В.И. Байденко, Р.Я. Касимов, Э.М. Сороко, Б.К. Коломиец, В.В. Щипанов, В.А. Качалов, А.Д. Гладун, Дзегеленюк И.И., Б.В. Гладков, А.А. Аветисов, А.Г. Дубницкий, И.Г. Галямина, И.В. Челпанов, В.М. Соколов, Б.А. Прудковский, Ю.К. Чернова, P.M. Хвастунов, А.В. Титов, Л.В. Макарова, А.А. Макаров, Д.М. Панин, Г. Саранцев, И. Сулима [19, 20, 25, 28, 31,33-36, 48, 56, 57, 59, 65, 66, 74, 79, 80, 95, 98, 99-101, НО, 114, 121, 122, 123-142, 143, 163, 164, 167, 175];

теории и практики измерений в образовании: В.В. Налимов, А.И. Субетто, Л.В. Макарова, А.А. Макаров, Г.Г. Татурова, Ю.Н. Толстова, Г.У. Матушанский, И.А. Зимняя, И.Э. Том, В.И. Красько [45, 46, 79, 84, 85, 89, 90-92, 123-142, 144, 151, 152];

теории текстов и знаковых систем: Ю. Кристева, К. Барт, К. Леви-Строс, Г.Г. Почепцов, М.М. Бахтин, В.П. Беспалько, Б.У. Родионов, А.О. Татур [13,73, 104, 108, 145];

теории и практики создания педагогических тестов и тестовых технологий: B.C. Аванесов, М.Б. Челышкова, Б.У. Родионов, А.О. Татур, В.А. Хлебников, А.Г. Шмелев, В.П. Беспалько, Л.М. Поддубная, П.Клайн, Г.У. Матушанский, СВ. Климин, А.С. Казаринов, Ю.Н. Семин, Ю.М. Нейман, А.И. Самыловский, А.В. Михеев, Н.А. Гришанова, Е.Г. Полуаршинова, В.Б. Моисеев, Л.Г. Пятирублевый, К.Р. Таранцева, В.В. Усманов, О.Ф. Шихо-ва., B.C. Черепанов, В.И. Нардюжев, И.В. Нардюжев, Н.В. Березин, Т.Г. Михалева, А.Н. Майоров и другие [2-9, 11, 13, 29, 53, 54, 62, 64, 82, 84, 93, 107, 108, 116-120, 145,168, 169].

Теория и методология измерений в профессиональном образовании на базе тестовых технологий остается актуальной в силу следующих обстоятельств.

Во-первых, попытки реализовать измерительные процедуры в системе образования без опоры на научно обоснованные теоретические подходы, без

8 использования достижений в области измерений в физическом мире привели к

накоплению ошибок, разрыву в известной цепи измерительных процедур, носящих классический характер, чрезмерному увлечению заключительной стадией названных измерительных этапов - статистической обработкой результатов оценок, измерений с поверхностным анализом погрешностей.

Возникло противоречие между достаточно высоким уровнем использования математико-статистических методов для анализа результатов измерений и заметной неопределенностью в области разработки измерительных преобразователей.

Во-вторых, одним из важнейших показателей полноты решения проблем измерений в образовании являются нечеткость и недостаточность понятийного аппарата в измерительных системах семантических величин.

Создание теории измерений настоятельно требует совершенствования понятийного аппарата, прогнозируемой интерпретации, что не достигнуто к настоящему времени и сдерживает методологические направления исследований.

В-третьих, теоретические и методологические подходы к измерениям в настоящее время являются прерогативой элитной части вузов и преподавателей. Несмотря на активную работу исследовательского центра проблем качества подготовки специалистов, центра тестирования, конференций и научных семинаров по квалиметрическим проблемам и системам тестирования, рядовой преподаватель не осознал личностно и остается не подготовленным к тому, чтобы профессионально поднять себя на новый уровень педагогических технологий, связанных с научными подходами в области измерений.

Образовательная система продолжительное время втягивала преподавателей в модульно-рейтинговую оценку продуктивности учебной деятельности, адаптировала его к ней фактически в принудительном порядке, что сдерживает признание современных измерительных процедур наряду с сохранением традиционных, разрешение противоречий между которыми должно происходить в

9 синергетическом плане от хаотического непризнания до организованного

взаимодействия.

В-четвертых, учебный процесс можно условно разделить на обучающую и контролирующую составляющие, которые протекают достаточно автономно друг от друга. Тотальный контроль учебной деятельности в течение всего учебного времени семестра, как правило, не связан с контролем уровня обученно-сти, знаний, который смещен на другой определенный учебным планом временной промежуток, что приводит к необходимости теоретического обоснования соответствия обучающей и контролирующей составляющих на базе современных измерительно-обучающих процедур.

Разрешение противоречия между обучающей и измерительной составляющими в учебном процессе осуществляется на основе тестовых технологий и их измерительного инструмента.

В-пятых, применение различных шкал в системе образования для определения рейтинга учебных заведений и учащихся, уровня обученности и знаний практически делает невозможным проводить сравнение измерений результатов образования, выполненных в различных временных и пространственных координатах. Декларированная определенность требований образовательных стандартов находится в противоречии с неопределенными возможностями их измерений.

Разрешение этого противоречия должно происходить в направлении формирования параметров и показателей, обладающих свойствами измеримости, и совершенствования измерительных средств, в том числе применения экспертных подходов, разработанных с использованием тестовых технологий.

В-шестых, наличие широкого спектра практических сборников с тестовыми заданиями различных форм не свидетельствует о создании теоретической и методологической основы их композиционного построения.

Возникли противоречия между широкой практикой по построению тестовых заданий и тестов и ограниченностью теоретико-методологических иссле-

дований в области отражений текста в тестовых заданиях, что необходимо решать на основе теории распаковывания смыслов герменевтических подходов и основ структурализма.

Объект исследования в диссертации - измерительные системы на базе тестовых технологий, обеспечивающие управление качеством учебного процесса профессионального образования.

Предмет исследования - структуры тестовых заданий, процессы и принципы их формирования, метрологические характеристики различных форм тестовых заданий, тестов.

Цель диссертационной работы. Повышение качества управления учебным процессом на основе комплексных тестовых измерительных систем

Для достижения цели в данном исследовании были поставлены задачи:

провести анализ понятия качества, выявить составляющие категории качества, основные признаки, способствующие раскрытию семантики данной категории в условиях многозначной интерпретации и конкретных подходов и применений;

определить основные возможности и направления применения тестовых технологий как измерительных процедур в системе высшего профессионального образования и выявить аналогии в измерениях физических и семантических величин;

создать основ герменевтической теории образования, включающей ось - объяснение-понимание-интерпретация через речь и тексты как формы дискурса;

разработать алгоритмы создания на основе тестовых заданий на соответствие (матричного типа) других форм тестовых заданий;

создать обобщённую модель тестовых заданий;

разработать новый понятийный аппарат в теории и практике композиционного построения тестовых заданий и тестов;

определить возможности создания тестовых заданий или их сово-

>

^

купности и тестов, обладающих признаками экспертных систем, сис-систем диагностики и распознавания;

выявить соотношения уровней обучающей и контролирующей составляющих тестовых заданий в зависимости от их форм;

создать модель трансформации шкал, применяемых в образовании;

разработать алгоритмы создания на базе компьютерного генерирования параллельных и локальных тестов гомогенного и гетерогенного характера, определить методологии подбора дистракторов для создания совершенных форм тестовых заданий;

разработать основные принципы создания тестовых заданий;

повести апробацию различных тестовых структур в учебном процессе.

Методы исследования основываются на общей теории измерений, теории управления, теории системного анализа и синтеза, квалитологии, квали-метрии и тестологии, теории множеств, прикладной информатике.

Научная новизна работы заключается в:

  1. Создании комплексного подхода в управлении учебным процессом на основе тестовых технологий.

  2. Раскрытии категории качества через интегральные характеристики базо-

вых направлений.

  1. Использовании аналогий в измерениях семантических и физических величин.

  2. Разработке обобщенной модели тестового задания.

  3. Применении герменевтических подходов в учебном процессе.

  4. Разработке модели соответствия различных шкал, применяемых в образовании.

  5. Разработке системы принципов создания тестовых заданий, параллель-

ных и локальных тестов.

8. Создании модифицированной классификации тестовых заданий.

12 На защиту выносятся следующие положения:

1. Категория качества как измеряемая семантическая величина наиболее
полно раскрывается в образовании в триедином подходе через основные
направления

1.1.соответствия стандарту, применению, стоимости, скрытым потребностям;

1.2.содержательной трактовки образования как ценности, системы, процесса и результата;

1.3.динамического развития в цепи - грамотность-образованность-профессиональная компетентность-культура-менталитет на основе дискри-тивной, конструктивной и семантической квалиметрии.

  1. Система аналогий измерений семантических и физических величин на базе первичных измерительных преобразователей в виде тестовых заданий, обладающих соответствующими метрологическими характеристиками, представляет собой основу развития измерительных процедур в образовании.

  2. Предложенная обобщённая модель тестового задания обладает свойствами и потенциальными возможностями интегрирования и дифференцирования тестовых задании и позволяет рассматривать тестовое задание как модель текста.

  3. Многоуровневая модель распаковывания смыслов на базе герменевтических подходов в условиях редукции текста позволяет провести оптимизацию учебного процесса в рамках знаниевого и информационного подхода.

  4. Методы преобразования структур тестовых заданий и тестов в информационных полях позволяют создавать экспертные системы с построением семантических логистических траекторий для распознавания объекта.

  5. Основными принципами построения тестовых заданий, параллельных и локальных тестов являются: принцип максимальной эквивалентности

13 тестового задания и текста, принцип максимального правдоподобия

элементов тестовых заданий, принцип однозначности, принцип

максимальной информативности, принцип оптимальной

сбалансированности обучающей и контролирующей функции, принцип

устойчивости тестовых заданий, принципы зависимости и независимости

столбцов тестовых заданий матричного типа.

  1. Новая классификация тестовых заданий и тестов на основе предложенного понятийного аппарата.

  2. Алгоритмы генерации гомогенных и гетерогенных тестовых заданий и тестов в предметной области.

Практическая полезность. Теоретическая ценность заключается в создании обобщённой модели форм тестовых заданий с прогнозируемыми метрологическими характеристиками на базе усовершенствованного понятийного аппарата с использованием аналогий измерений в физических полях, развитии теории отражения информационных полей в других знаковых системах, разработке новых принципов в тестовых технологиях, применении герменевтических подходов в образовании.

Практическая полезность работы определяется созданием методологической базы измерений семантических величин в поле знаний, алгоритмов преобразования шкал измерений, в том числе применением нелинейных шкал, генерированием и интегрированием тестовых композиций на различных информационных полях, разработкой предметных тестов гомогенного и гетерогенного характера в приложении к специальным курсам, их использованием в реальных условиях учебного процесса.

Достоверность и обоснованность полученных результатов обеспечивается выбором исходных положений и методов исследования, применением аналитических подходов к решению поставленных задач, комплексностью в разработке проблем исследования, экспериментальной апробацией теоретических результатов по созданию широкого спектра тестовых заданий и тестов в

14 предметных областях.

Апробация работы. Основные результаты работы докладывались на 8, 9 симпозиуме «Квалиметрия человека и образования: методология и практика» (г. Москва, 22 - 23 ноября 2000г., г. Москва, ноябрь 1999г.).

2 Всероссийская научно-практическая конференция «Развитие систем тестирования в России (г. Москва, 22 - 23 ноября 2000г.).

Всероссийская научно-методическая конференция «Дистанционное образование. Проблемы и перспективы развития» (г. Саратов, 6-7 февраля 1997г.).

Международная научно-методологическая конференция «Актуальность проблемы до вузовского образования» (г. Саратов, 10-11 января 2000г.)

Всероссийская научно-методическая конференция «Дистанционное образование. Состояние и перспективы развития» (г. Саратов, 18-19 ноября 1998г.)

Научно-методическая конференция «Современные методы обучения и контроля знаний студентов» (г. Саратов, 22 - 23 ноября 1995г.)

Международные научно-технические конференции «Актуальные проблемы электронного приборостроения» (г. Саратов, 20 - 22 сентября, 2000г., г. Саратов, 2002г.)

IV международная научно-методическая конференция «Педагогический менеджмент и прогрессивные технологии в образовании» (г. Саратов, 29.09 -01.10.97г.)

Межвузовская научно-методическая конференция «Информационные технологии в образовании» (г. Саратов, 25 - 26 октября 2000г.)

Межрегиональная научно-практическая конференция «Качество образования. Проблемы и перспективы развития ВУЗов Санкт - Петербурга с регионами России в контексте модификации образования» (г. Санкт-Петербург, 12 -14 марта 2002г.)

Научно-методическая конференция «Региональные особенности развития машино- и приборостроения, проблемы и опыт подготовки кадров» (г. Саратов, 22 - 25 мая, 2000г.)

^

Научно-методическая конференция «Образование для всех: пути интеграции» / Саратов, 9-10 января, 2003г.

Всероссийская научно-практическая конференция «Технологии интернет - на службу обществу» / Саратов, 14-15 апреля, 2003г.

Всероссийская научно-методическая конференция «Образование в современном мире: глобальное и локальное» / Саратов, 9-10 января 2004г.

Реализация результатов. Научные и практические результаты внедрены в учебный процесс Саратовского государственного технического университета на базе специальности «Электронные приборы и устройства» по курсам «Электронные приборы СВЧ», «Твердотельные приборы СВЧ» и др.

Созданы тесты по названным курсам, которые обеспечили совершенствование учебного процесса на базе учебных и учебно-методических пособий.

Выполнены дипломные проекты по тестовым заданий измерениям, программному обеспечению формированию тестов и тестовых заданий. По теме исследований работают 3 аспиранта.

Публикации. По материалам диссертации опубликована 1 монография, 2 учебных пособия, 59 научных и учебно-методических работ.

Структура и объём диссертации. Диссертация состоит из введения, 7 глав, заключения, библиографического списка и 6 приложений, содержит 368 страниц, 52 рисунков, 48 таблиц и библиографии из 232 наименований.

Подобные работы
Нугаева Камила Радиковна
Информационная система поддержки принятия решений при управлении качеством образовательного процесса университета на основе онтологии
Филосова Елена Ивановна
Управление многоуровневыми адаптивными обучающими системами как элементами формирования качества образовательного процесса
Мочалов Алексей Викторович
Разработка системы управления инновационными проектами в образовании на основе оптимизационных моделей
Петропавловский Михаил Вячеславович
Методологические основы построения информационно-аналитической системы государственной аккредитации учреждений профессионального образования
Воробкалов Павел Николаевич
Управление качеством электронных обучающих систем
Шабанов Андрей Валерьевич
Интеллектуальная система поддержки принятия решений при управлении качеством готовой продукции предприятия
Матухнов Александр Викторович
Управление оценкой качества и технического уровня образцов пожарной техники
Кулешов Павел Валерьевич
Моделирование и управление подготовкой специалистов в вузе на основе интегрального критерия оценки качества обучения
Жижина Светлана Валерьевна
Структурно-лингвистический способ управления процессами подтверждения качества фармацевтической продукции на предприятиях оптовой торговли
Синявская Ирина Анатольевна
Совершенствование процесса управления вузом на основе разработки и адаптации методики оценки качества деятельности

© Научная электронная библиотека «Веда», 2003-2013.
info@lib.ua-ru.net