АННОТАЦИЯ
Надежность измерительной шкалы для оценки удовлетворенности обучающихся дисциплиной определяется внутренней согласованностью составляющих ее элементов. Исследование проведено с целью оценки надежности анкеты для определения удовлетворенности обучающихся дисциплиной. Установлено, что коэффициент Альфа Кронбаха для анкеты составил 0,84. Полученные данные свидетельствуют о надежности анкеты.
Основными измерительными инструментами эмпирических социологических исследований являются анкеты, опросники, состоящие из значительного числа отдельных пунктов, вопросов, утверждений и т.п. Задачей каждого из пунктов является косвенно выяснить какую-либо одну из сторон, отдельную часть общего целого, вследствие чего он является некоторым индикатором измеряемого шкалой фактора (свойства). Для оценки надежности измерительной шкалы определяется согласованность составляющих ее элементов. Предполагается, что обоснованность и надежность выводов более возрастают, когда мы принимаем во внимание всю совокупность индикаторов и определенным образом интегрируем косвенную информацию, которую несет каждый из индикаторов[1,2]. Считается, что согласованный инструмент должен состоять из внутренне непротиворечивых пунктов. Для порядковых шкал с большим количеством позиций (например, шкалы Лайкерта), а также для более мощных интервальных шкал Л. Кронбах предложил в 1951 году формулу для определения согласованности измерений. Показатель согласованности, рассчитанный по этой формуле, называется коэффициент альфа Кронбаха (Cronbach's Coefficient Alpha) [3]. Созданная нами анкета, основана на измерении критериев удовлетворенности резидентов: - содержанием образовательных программ - методами обучения - результатом обучения (знаниями, умениями, навыками) - соответствием реального образовательного процесса ожиданиям
Цель исследования. Оценить надежность анкеты для определения удовлетворенности обучающихся дисциплиной.
Материалы и методы. С сентября 2017 года по январь 2018 года в Центре непрерывного профессионального развития ЗКГМУ им. Марата Оспанова в конце прохождения обучения дисциплины «Менеджмент научных исследований» (МНИ) (90ч/2кредита) проводилось анонимное онлайн-анкетирование «Удовлетворенность обучающихся (резидентов) по программе послевузовского образования дисциплиной «Менеджмент научных исследований»» среди резидентов (n=40) первого года обучения различных специальностей, давших согласие на участие. Анкета создана на сайте Survio.com. Резиденты отвечали на анкету, проходя по ссылке, отправленной им в открытую группу в социальной сети “Вконтакте». Об опыте применения социальной сети “Вконтакте» для самостоятельной работы студентов и формате проведения занятий мы писали ранее [5]. Анкета состояла из 14 закрытых вопросов. Каждое из высказываний предлагалось оценить по 5- балльной шкале Ликерта [6].
5 баллов – да, полностью удовлетворен;
4 балла – да, достаточно;
3 балла – скорее да;
2 балла – скорее нет;
1 балл – совсем не удовлетворен.
Отклик анкету был высокий и составил 88,8% (из 45 резидентов ответили на анкету 40). Согласно модифицированной модели Кирпатрика иерархии уровней оценки доказательств оценивалась реакция или мотивация обучающихся, как участвующие в обучении реагируют, мотивированы непосредственно на обучение — нравится ли оно им, и для чего они будут использовать полученные навыки и знания. Критерии удовлетворенности резидентов: - содержанием образовательной программы - методами обучения - результатом обучения (знаниями, умениями, навыками) - соответствием реального образовательного процесса ожиданиям,- открытостью, доступностью информации.
Статистическая обработка проведена с использованием программы «Statistica 10» (StatSoft, USA). Для валидизации опросника –анкеты проведен анализ внутренней согласованности пунктов с определением Альфа Кронбаха. За уровень статистической значимо-
Таблица 1 – Результаты вычисления Альфа Кронбаха для пунктов опросника
|
переменная |
Итог для шкалы: Среднее=63,625 Стд.от.=5,568 наблюдений n=40 Альфа Кронбаха: ,844 Стандартизов. альфа: ,842 Средняя межпозиционная корреляция: -,2889 |
||||
|
Среднее при удалении |
Дисперсия при удалении |
Станд. отклонение при удалении |
Общ. позиционная корреляция |
Альфа при удалении |
|
|
Отвечали ли лекции и занятия Вашим потребностям в обучении? |
58,95 |
27,30 |
5,22 |
0,44 |
0,84 |
|
Насколько вы удовлетворены форматом проведения занятий? |
59,00 |
26,70 |
5,17 |
0,59 |
0,83 |
|
Устраивает ли вас организация занятий по дисциплине «МНИ»? |
59,00 |
27,30 |
5,23 |
0,48 |
0,83 |
|
Испытываете ли вы удовлетворение от полученных навыков и знаний? |
59,15 |
25,58 |
5,06 |
0,66 |
0,82 |
|
Насколько вас устраивал темп подачи материала? |
58,95 |
27,55 |
5,25 |
0,44 |
0,84 |
|
Насколько полезной для вас была дисциплина? |
59,60 |
23,74 |
4,87 |
0,70 |
0,82 |
|
Насколько интересной для вас была эта дисциплина? |
59,55 |
24,30 |
4,93 |
0,60 |
0,83 |
|
Оценка по 5 балльной шкале: нравится ли Вам защита проекта |
59,00 |
26,40 |
5,14 |
0,39 |
0,84 |
|
Оценка по 5балльной шкале: нравится ли Вам написание литературного обзора |
59,40 |
23,59 |
4,86 |
0,57 |
0,83 |
|
Оценка по 5 балльной шкале: нравится ли Вам составление PICOT |
58,70 |
29,76 |
5,46 |
0,14 |
0,85 |
|
Оценка по 5 балльной шкале: нравится ли Вам поиск (работа в базах данных) |
59,03 |
26,17 |
5,12 |
0,47 |
0,83 |
|
Оценка по 5 балльной шкале: нравится ли Вам работа в малых группах, работа в команде |
58,90 |
26,84 |
5,18 |
0,42 |
0,84 |
|
Оценка по 5 балльной шкале: нравится ли Вам критическая оценка статей |
59,02 |
26,97 |
5,19 |
0,41 |
0,84 |
|
Оценка по 5 балльной шкале: нравится ли Вам формулировка исследовательского вопроса |
58,87 |
27,16 |
5,21 |
0,45 |
0,83 |
Определяя ɑ-Кронбаха, мы основывались на предположении о том, что наличие большей дисперсии у достаточного надежного инструмента оценки удовлетворенности предполагает следующее: чем надежнее тест, тем большая чувствительность (различительная способность) пунктов теста (экспертная оценка). Мерой внутренней согласованности измерительной шкалы является коэффициент α. Его диапазон находится в пределах от 0 до 1. Внутренняя согласованность опросника высокая, если коэффициент α ближе к 1. Коэффициент α мы рассматривали как показатель корреляции между измеренными признаками для оценки критерия удовлетворенности[4]. Знание коэффициента α Кронбаха, позволяет установить лишние, избыточные пункты опросника, которые не относятся к изучаемой теме. Причем, вначале рассчитываются корреляции ответа на каждый вопрос с общим результатом теста, а затем корреляционный анализ повторяется, последовательно исключая каждое тестовое утверждение. В случае, если полученные при этом коэффициенты корреляции ниже исходных, данное утверждение можно удалить из анкеты. Если же полученные при удалении пункта коэффициенты корреляции превышают исходные, это свидетельствует об увеличении надежности теста после исключения данного пункта. Источниками недостаточной надежности шкалы могут быть неадекватные варианты ответов, лежащие за пределами компетенции испытуемых, недостаточно четко сформулированные утверждения, большое их количество, недостаточно ясные инструкции для выполнения теста и многое другое. Как видно из представленных в таблице данных, по всем утверждениям получены высокие показатели надежности. Только переменная «Составление PICOT» вносит некоторый диссонанс (выбивается из общего ряда из-за низкой r.). Ее корреляция с суммарной шкалой равна 0,14, в то время как все другие коррелируют с показателем 0.4 или лучше. Можно предположить, что данный пункт вызывал некоторое неудобство и затруднения интерпретации для респондентов из-за формулировки. Поскольку коэффициент альфа для исходного набора вопросов составил 0,84, а при исключении данного вопроса увеличивается незначительно, исключать его не обязательно, так, как и с данным вопросом надежность-согласованность измерений приемлема. Поэтому, данный вопрос не был исключен из анкеты. Коэффициенты α Кронбаха для первичного исходного набора вопросов и стандартизованных данных опросника составили 0,844 и 0,842 соответственно. Это свидетельствует о хорошей внутренней согласованности шкалы, то есть опрашиваемые легко понимали и воспринимали вопросы.
Заключение. Разработанный опросник имеет достаточную внутреннюю согласованность и может использоваться для определения удовлетворенности обучающихся дисциплиной «Менеджмент научных исследований» в резидентуре.
ЛИТЕРАТУРА
- Дубинина И.Н. Математические основы эмпирических социально-экономических исследований: учебное пособие. – Барнаул: Изд-во Алт. ун-та, 2006. – 263 с. ISBN 5-7904-0553-3. www.psychology-online.net
- Bentler PM. Alpha, Dimension-Free, and Model-Based Internal Consistency Reliability. Psychometrika.2009; 74(1):137-143.doi:10.1007/s11336-008-9100-1.
- Cronbach, L. J. My current thoughts on coefficient alpha and successor procedures / L.J. Cronbach // Educational and Psychological Measurement. - 2004. -V. 64. P. 391-418. doi:10.1177/0013164404266386
- Sijtsma K. On the Use, the Misuse, and the Very Limited Usefulness of Cronbach's Alpha. Psychometrika. 2009; 74(1):107-120. Doi: 10.1007/s11336-008-9101-0.
- Жамалиева Л.М., Кошмаганбетова Г.К., Калбагаева Г.Х. Опыт использования социальной сети «Вконтакте» в преподавании менеджмента научных исследований в резидентуре. Медицинский журнал Западного Казахстана 2 (54) 2017. -с.70-74.
- Gadermann, A. Estimating ordinal reliability for Likert - type and ordinal item response data: A conceptual, empirical, and practical guide / A. Gadermann, M. Guhn, B. Zumbo // Practical Assessment, Research & Evaluation. - 2012. - V. 17, N 3 - http: // pdfs.semanticscholar.org/.../850f5637cb377a1ccdded - P. 1-13