Анализ некоторых Казахстанских публикации с позиции мирового опыта

Оценка использования методов статистического исследования и соответствующего программного обеспечения авторами оригинальных статей в журналах, рекомендованных Казахским Национальным центром научно-технической экспертизы (НЦНТЭ) и включенных в базу данных θlibrarv,kz.

Исследование проводилось в соответствие с протоколом исследования, по которому оценивался дизайн исследования, методы статистического анализа. Протокол исследования включал в себя вопросы касательно использования казахстанскими авторами статистических методов исследования в своих публикациях. Т.е. мы не применяли статистические методы исследования в данной работе, мы анализировали, какие статистические методы чаще всего применяли авторы в своих публикациях. Мы взяли определенный стандарт анализа статистических методов исследования *6+.

При оценке дизайна исследования, авторами статей чаще всего использовались: описание серии случаев – 63,6%, исследования случай – контроль 27,3%, описание отдельных случаев – 9,1%. Расчет размера выборки в разделе методы исследования был произведен только в 22,3% случаях, в 63,8% случаях отсутствовало описание, каким образом проводилась выборка. Аналитическая статистика использовалась в 46,1% случаях. Только в 17,5% работ имелись ссылки на пакет применяемых программ.

Не подвергая сомнению Казахстанские реальные достижения, хотелось бы отметить, что несоответствие международным требованиям, определяет неконкурентоспособность научных исследований в области здравоохранения в целом.

Анализ базы данных National Citation Reports (Kazakhstan), в котором определен вклад Казахстана в развитие мировой науки по сравнению с ведущими научными державами показал, что доля международных публикаций Казахстана в общемировом потоке равна 0,021 % (1044 док.), что соответствует 87-му месту в общем списке стран из 177 наименований. С учетом ранжирования стран на группы по количеству опубликованных работ Казахстан отнесен к группе из 46 стран, имеющих 1000-10000 публикаций за 5 лет, из которых на долю медицины приходиться 8,6% *1+. Учитывая, темп развития мировой науки, показатели, характеризующие исследовательскую активность казахстанских ученых, являются не приемлемыми на сегодняшний день.

Анализ литературных данных показал, что основная проблема авторов научных статей заключается в не соблюдении строгих требований научных журналов, одним из критериев которых является корректное использование статистических методов исследования [2,3,4,5].

Данная проблема определяет необходимость анализа и определение ключевых проблем, которые «тормозят» распространение результатов исследования казахстанских ученых.

В современных условиях стратегические задачи управления наукой и оценка эффективности научной деятельности могут быть решены наукометрическими методами путем количественного анализа библиографической информации, имеющихся в таких базах данных, как Science Citation Index (SCI). Наукометрический анализ применим для оценки уровня развития науки, продуктивности отдельных исследователей и показателя значимости отечественных периодических изданий.

В разные времена придавалась различная значимость отдельным критериям научной деятельности: количеству научных публикаций; количеству выступлений ученого на конференциях, симпозиумах и других научных форумах; авторитету ученого в научном мире и признанию коллегами; участию ученого в работе различных организаций и структур – ученых и диссертационных советов, комиссий; ученым степеням и званиям, как на национальном, так и на международном уровнях. В частности, формализованным критерием оценки труда ученого в вузе и НИИ на протяжении ряда лет является количество научных публикаций.

На современном этапе обилия информации, непрерывно увеличивающегося количества научных статей и других публикаций и еще более динамично растущего количества попутных информационных материалов, публикации зачастую осуществляются без должного отбора, рецензирования и редактирования, что девальвирует их ценность, поэтому критерий их количества уже не представляется столь значимым.

На смену упомянутому критерию на первый план выдвинулись такие критерии, как количество публикаций в рецензируемых журналах и индекс цитирования публикаций ученого. Поскольку индекс цитирования отдельных публикаций ученого определять достаточно затруднительно, остановились на публикациях в периодических научных изданиях, имеющих импакт- фактор (ИФ, или IF).

В соответствии с импакт-фактор оценивают уровень журналов, качество статей, опубликованных в них, дают финансовую поддержу исследователям и принимают сотрудников на работу. Это в первую очередь относится к "западному" научному сообществу. Однако все большую роль импакт-фактор приобретает и в Казахстане. Публикации в таких журналах в последние годы имеют большой вес для преподавателя при решении вопроса о дифференцированной оплате труда, при избрании по конкурсу на вакантную должность и т.д.

Методы исследования. Мы провели анализ некоторых казахстанских журналов, рекомендованных Комитетом по контролю в сфере образования и науки.

Исследование проводилось в соответствие с протоколом исследования, по которому оценивался дизайн исследования, методы статистического анализа.

В паспортной части учитывались такие критерии, как название журнала, специфика журнала (общественное здравоохранение, клиническая медицина, фарм.медицина, другое), номер выпуска, год издания, количество авторов по местам работы.

Вид исследования оценивался по критериям: обзор, мета-анализ, информация о конференциях, некрологи, представление лауреатов, оригинальное исследование, другое.

Дизайн исследования определялся по следующим критериям:

• название исследования (рандомизированное контролируемое исследование, когортное исследование, исследование случай-контроль, перекрестные аналитические случаи, описание серии случаев, описание отдельных случаев).

Методы статистического анализа определялись по следующим критериям:

• методы расчета выборки
• применение методов статистической обработки (ручная обработка, обработка при помощи пакета статистических программ MS Excel, SPSS, Statgraphics, SAS).
• Соответствие названия методологии его содержанию: (Соответствие мнения автора/оценка эксперта)
• какие статистические методы, применялись для обработки данных: Величина Р, Средние арифметические, Стандартная ошибка средней арифметической, Среднеквадратическое отклонение, Средние геометрические, Средние гармонические, Медианы, Квартили (перцентили), Частоты и доли, Доверительные интервалы (либо для долей, либо для средних), Проверялась ли нормальность распределения (по критериям Шапиро-Уилка или Колмогорова- Смирнова), Непарный критерий Стьюдента, Парный критерий Стьюдента, Поправка Бонферрони для множественых сравнений, Критерий Манна-Уитни, Критерий Вилкоксона для парных выборок, Однофакторный дисперсионный анализ, Критерий Краскела-Уоллиса, Дисперсионный анализ для парных наблюдений, Критерий Фридмана, Корреляционный анализ с расчетом коэффициента Пирсона, Корреляционный анализ с расчетом коэффициента Спирмена, Корреляционный анализ с расчетом коэффициента Кендалла, Одномерный (простой, однофакторный) линейный регрессионный анализ, Многомерный (множественный, многофакторный) линейный регрессионный анализ, Критерий хи-квадрат Пирсона, Представлен ли расчет размера выборки в разделе методы. Логистический регрессионный анализ, Таблицы дожития, Анализ выживаемости по методу Каплана-Майера, Лог-ранговый критерий и его аналоги (Вилкоксона-Гехана, Тарона-Варе), Анализ пропорциональных рисков Кокса (регрессия Кокса, Характеристические кривые (ROC-кривые), Анализ временных рядов (любой вид), Математическое моделирование (любое, если не подходит под описание выше).

Выборка журналов для проведения исследования проводилась сплошным методом, за 2011 год (4 издания за 1 год) по следующим критериям включения и исключения:

1. Журналы, включенные в перечень рекомендованных комитетом по контролю в сфере образования и науки, всего журналов 44.
2. Из них журналы, включенные в базу данных еИЬгэгу.к^, находящихся в свободном доступе в онлайн режиме, рекомендованных Национальным центром научнотехнической экспертизы (НЦНТЭ). Всего на сайте еПЬ^гу-к^ в области здравоохранения было 8 журналов: из них в доступном онлайн-режиме два журнала. По этическим соображениям, названия журналов обозначаться не будут.

Генеральная совокупность составила 189 статьи. Анализировались только оригинальные работы, всего 133 статьи (70,4% от объема генеральной совокупности). Обзоры, некрологи, информации о международных конференциях, отчеты о работе диссертационного совета - всего 56 статьи (29,6% от генеральной совокупности), в которых не использовались методы статистического анализа, не учитывались.

Нами был составлен протокол исследования, по которому оценивался дизайн исследования, методы статистического анализа.

Протокол исследования. Всего было проанализировано 133 статьи. Количество авторов в одной статье в среднем составило 2 человека. По местам работы, чаще всего публиковались сотрудники научно-исследовательских институтов 87,6%. Самыми активными оказались сотрудники из г. Алматы – 40,4%, сотрудники из г. Атырау, Караганды, ЮКО по - 9,1%. Из г. Уральск, Павлодар, Талдыкорган, Актобе – по 4,5%. Также встречались работы из стран СНГ, в частности Баку (Азербайжан) – 5,6%. В 8,7% случаях встречались научные работы с отсутствием полной информации об авторе (с отсутствием названия организации, города, контактных данных, и.т.д.). Только в 17,5% работ есть ссылки на пакет применяемых программ. Из упомянутых, наиболее часто исследователи применяли MS Excel (46,2%), SPSS (30,7%), Statgraphics – 15,4%, SAS – 7,7%. Хотя по данным некоторых авторов, применение программы MS Excell является наименее удачным, так как не дает возможности исследователю проверить тип распределения данных и имеет в наличие лишь параметрические методы статистики [6]. При оценке дизайна исследования, авторами статей чаще всего использовались: описание серии случаев – 63,6%, исследования случай – контроль 27,3, описание отдельных случаев – 9,1 %.

Рандомизированные контролируемые исследования, когортные исследования, перекрестные аналитические случаи авторами не использовались. Расчет размера выборки в разделе методы исследования был произведен только в 22,3% случаях, в 63,8% случаях отсутствовало описание, каким образом проводилась выборка, в 13,9% выборка отсутствовала вообще, что является не приемлемым при проведении исследования и может привести к заведомо ложным результатам. Применение методов аналитической статистики составляет 46,1% и выглядит следующим образом: критерий Стьюдента - 39,8%, корреляционный анализ 35,6%, регрессионный анализ - 15,4%, дисперсионный анализ - 9,2%. В 49,2% случаях статистический метод не указан, что уже дает право читателю усомниться в ценности данных исследований. Что касается применения критерия Стьюдента, то ни в одной из работ не проводилась проверка всех трех из необходимых для его применения условий: 2 группы, нормальность распределения, равенство дисперсии. Статистические методы, как: доверительные интервалы для долей, для средних; нормальность распределения (по критериям Шапиро-Уилка или Колмогорова-Смирнова), поправка Бонферрони для множественых сравнений; критерий Манна-Уитни, Вилкоксона, Однофакторный дисперсионный анализ, Критерий Краскела-Уоллиса, Дисперсионный анализ для парных наблюдений, Критерий Фридмана,расчетом коэффициентаанализ с расчетом Корреляционный анализ Кендалла, Одномерный Корреляционный анализ с Пирсона, Корреляционный коэффициента Спирмена, с расчетом коэффициента(простой, однофакторный) линейный регрессионный анализ, Многомерный (множественный, многофакторный) линейный регрессионный анализ, Критерий хи-квадрат Пирсона, Представлен ли расчет размера выборки в разделе методы. Логистический регрессионный анализ, Таблицы дожития, Анализ выживаемости по методу Каплана- Майера, Лог-ранговый критерий и его аналоги (Вилкоксона-Гехана, Тарона-Варе), Анализ пропорциональных рисков Кокса (регрессия Кокса, Характеристические кривые (ROC-кривые), Анализ временных рядов (любой вид), Математическое моделирование для обработки данных ни в одной из статей не использовались, что позволяет предполагать о слабой подготовке отечественных авторов в вопросах применения статистических методов исследования в своих публикациях.

Обсуждение. Критический анализ научных публикации не является научной новизной и проведенные зарубежные и отечественные исследования, где приводиться достаточно доказательств того, что ошибки могут встречаться во время планирования, проектирования, анализа и интерпретации статистических данных, является тому подтверждением [12,13+. Отрицательным моментом является то, что практически нет литературы демонстрирующей неправильный расчет и общие недостатки компьютерных программ *7+. Хотя некоторые данные, такие как, использование исходных данных Бенфорда в биомедицинских исследованиях изучены очень хорошо *8+. Вывод один, все исследования с критическим анализом научных публикации на корректность использования статистических методик призваны обеспечить практикующих врачей качественной и достоверной информацией.

Выявленные погрешности и недостатки в использовании статистических методов исследования в казахстанских статьях убедительно свидетельствуют о необходимости пересмотра «статистической политики» авторами научных статей, повысить подготовку в вопросах планирования, организации, анализа и интерпретации полученных данных, необходимого для критического изучения собственных публикации путем литературного поиска в рецензируемых журналах. Только комплексное решение данной проблемы поможет в перспективе Казахстану выйти на международный уровень

СПИСОК ЛИТЕРАТУРЫ

1. Сулейменов Е., Фролова В., Хасенова С., Рог О. Казахстан в БД “National Science Indicators”: наукометрический анализ (2001-2005 гг.) // Информационные ресурсы России. - 2007. - № 4. - С. 17-20
2. Altman DG, Schulz KF, Moher D, Egger M, Davidoff F, Elbourne D, G0tzsche PC, Lang T, for the CONSORT group: The Revised CONSORT Statement for Reporting Randomized Trials: Explanation and Elaboration. Ann Intern Med 2001. - 134:663-694. PubMed Abstract | Publisher Full Text
3. Altman, D. G. (1991). Statistics in medical journals: Developments in the 1980s. Statistics in Medicine. – 10. - 1897-1913.
4. Gore, S. M., Gardner, M. J., and Pocock, S. J. (1983). Statistical guidelines for contributors to medical journals. British Medical Journal. – 286. – P. 1489-1493.
5. Bezeau, S., and Graves, R. (2001). Statistical power and effect sizes of clinical neuropsychology research. Journal of Clinical and Experimental Neuropsychology. – 23. – P. 399-406.
6. Grjibovskii A.M. (2000). Application of statistics in therapy. Critical analysis of the publication. Bulleten SSMU number 2. –P. 21-22.
7. McCullough BD: On the accuracy of statistical procedures in Microsoft Excel 97. Comput Statist Data Anal 1999. - 31:27-37. Publisher Full Text.
8. Diaconis P, Freedman D: On rounding percentages. J Amer Stat Associ. – 1979. - 74:359-364
9. Cooper, R. J., Schriger, D. L., and Close, R. J. H. (2002). Graphical literacy: The quality of graphs in a large-circulation journal. Annals of Emergency Medicine. – 40. – P. 317-322.
10. Davies, H. T. (1998). Describing and estimating: Use and abuse of standard deviations and standard errors. Hospital Medicine. – 59. – P. 327-328.
11. Freedman, K. B., Back, S., and Bernstein, J. (2001). Sample size and statistical power of randomized, controlled trials in orthopedics. Journal of Bone and Joint Surgery. – 83. – P. 397-402.
12. Gardenier, J. S., and Resnik, D. B. (2002). The misuse of statistics: concepts, tools, and a research agenda. Accountability in Research. – 9. – P. 65-74.
13. Huang, W., LaBerge, J. M., Lu, Y., and Glidden, D. V. (2002). Research publications vascular and interventional radiology: research topics, study designs, and statistical methods. Journal of Vascular and Interventional Radiology. – 13. – P. 247-255.
14. Marshall, S. W. (2004). Testing with confidence: The use (and misuse) of confidence intervals in biomedical research. Journal of Science and Medicine in Sports. – 7. – P. 135-137.