Автор статьи — Кристофер Дж. Фергюсон, опубликовано на RealClearInvestigations .
Один из самых актуальных вопросов, стоящих перед современным обществом, — это потенциальное влияние ИИ на образование и рынок труда. Поэтому неудивительно, что два учёных попытались дать ответ, проведя метаанализ, предполагающий, что внедрение ChatGPT в школьное образование значительно улучшило результаты учащихся. Социальные сети и онлайн- источники представили исследование 2025 года как луч надежды.
Проблема в том, что выводы исследователей впоследствии оказались недостоверными, и исследование было отозвано в апреле — еще один удар по доверию общественности к науке.
Ученые все чаще стремятся найти ответы на масштабные вопросы в самых разных областях — от здравоохранения и изменения климата до искусственного интеллекта. Академическая исследовательская индустрия стимулирует их к получению максимально значимых результатов, которые попадают в заголовки газет и способствуют карьерному росту. Но такие открытия в науке редки, и слишком часто результатом становятся широко распространенные преувеличения, сомнительные методы и недопонимание.
« Структура стимулов современной науки такова, что стратегия „упростить, а затем преувеличить“ стала доминирующей , пусть даже и неявно», — говорится в недавнем академическом обзоре . «Чтобы публиковаться в ведущих журналах, получать гранты и устраиваться на работу в качестве постдока или преподавателя, в обществе сформировалась предвзятость в сторону новизны, преувеличения и повествования».
Как ранее сообщало издание RealClearInvestigations, в последние годы было обнаружено тревожное количество некачественных академических и научных исследований. Компания Hindawi, ранее входившая в состав крупного научного издательства Wiley, была вынуждена отозвать тысячи научных статей, многие из которых, как утверждалось, были созданы «фабриками по производству документов», выпускающими кипы отчетов об исследованиях, которых никогда не существовало.
AP
Хотя случаи откровенного мошенничества получили широкое освещение, в научном сообществе распространилась более тонкая инфекция: результаты исследований, которые противоречивы, основаны на некачественных методологиях или имеют ограниченное практическое значение, слишком часто превращаются в масштабные, общие, но ненадежные утверждения, которые со временем снижают доверие общественности к науке.
Несколько недавних громких случаев отзыва научных статей демонстрируют, насколько широкие научные утверждения могут строиться на сомнительных данных. В одной из недавних статей утверждалось, что запрет секс-работы увеличивает число изнасилований. Эта статья привлекла значительное внимание в социальных сетях, прежде чем скептически настроенные ученые указали на невозможность воспроизвести полученные результаты. В другом крупном случае экономисты в статье, получившей широкое освещение и оказавшей влияние на банковский сектор, подсчитали, что изменение климата окажет разрушительное экономическое воздействие на мир. Однако в конечном итоге статья была отозвана после того, как другие ученые указали на серьезные ошибки.
В каждом случае научные исследователи обнаружили, что сенсационные заявления не соответствуют действительности. Хотя число опровержений за последние два десятилетия резко возросло и достигло нескольких тысяч в год, по данным правозащитной группы Retraction Watch , эксперты считают, что выявляется лишь небольшая часть сомнительных работ.
Подбросьте монетку
Ли Джуссим, заслуженный профессор психологии в Ратгерском университете и частый критик социальных наук, подсчитал, что подавляющее большинство утверждений в психологических исследованиях являются ложными. Он также отметил, что способность психологии воспроизвести большинство результатов не лучше, чем подбрасывание монеты.
В основе кризиса лежит неэффективная система, которая заставляет исследователей публиковать все больше и больше статей в престижных журналах, отдающих предпочтение смелым, а не постепенным (или нулевым) результатам. К таким стимулам относятся:
- Академические системы поощрения, которые предоставляют исследователям повышение по службе, постоянную должность и гранты на основе количества публикаций и смелых утверждений, а не на основе вдумчивых научных работ.
- Журналы, которые часто привлекают внимание подписчиков и СМИ своими сенсационными открытиями.
- Новостные СМИ, которые привлекают подписчиков и клики с помощью драматических, зачастую неожиданных заявлений о поведении человека.
- Политики, которые выборочно используют панические научные утверждения для продвижения своих любимых политических решений, игнорируя при этом противоречащие им доказательства.
«Растущая конкуренция и культура „публикуй или погибнешь“ в академической среде могут противоречить объективности и добросовестности исследований, поскольку они вынуждают ученых любой ценой получать результаты, пригодные для публикации», — отметил в своей недавней статье Даниэле Фанелли, специалист по метаанализу из Университета Хериот-Уотта и Лондонской школы экономики.
Система, созданная для подавления сенсаций и ошибочных выводов — рецензирование — настолько перегружена потоком научных статей в последние годы, что не может даже начать вырывать все сорняки из сада науки. Рецензенты — это занятые ученые, которые в основном работают бесплатно и перегружены, даже с учетом появления новых инструментов искусственного интеллекта, которые сами по себе имеют проблемы с точностью. В одной из недавних статей подсчитано, что в любой год рецензенты в совокупности работают над научными статьями, что эквивалентно 15 000 годам работы , и если бы им платили, это обошлось бы примерно в 2,5 миллиарда долларов только для рецензентов из США, Китая и Великобритании.
Даже когда ошибки обнаруживаются, исправление и отзыв статей — это спорный процесс, который часто занимает годы. Издатели и редакторы опасаются ущерба репутации и судебных исков со стороны исследователей, что создает мало стимулов для исправления ошибок, даже если есть подозрения на мошенничество.
Игра чисел
Распространенный вид преувеличения в научных исследованиях связан с продвижением «статистически значимых» результатов. Серьезность этой фразы может заставить общественность интерпретировать результаты как надежные и практически полезные. Но часто это не так. Это происходит потому, что большинство результатов в социальных науках и медицине очень слабы, настолько слабы, что могут быть получены из-за методологических ошибок (или недоработок ) в этих исследованиях. Тем не менее, ученые заинтересованы в том, чтобы подчеркивать предполагаемую важность статистически значимых исследований, чтобы привлечь внимание, даже если они этого не заслуживают.
В качестве аналогии рассмотрим разницу между бабочкой и наковальней, упавшей на голову. И то, и другое оказывает измеримое воздействие на голову и, следовательно, дает «статистически значимые» результаты. Но величина воздействия, размер эффекта, существенно различаются. Большинство людей гораздо больше опасались бы падения наковальни на голову, чем бабочки. Вот почему «статистически значимый» результат ничего не говорит о практической важности полученной информации.
Даже результаты, полученные со стандартным размером эффекта, могут быть ненадежными. Например, социальный психолог Дэрил Бем опубликовал в одном из ведущих журналов Американской психологической ассоциации доклад, в котором предполагалось, что обычные люди обладают экстрасенсорным восприятием, или способностью предсказывать будущее. Такое неправдоподобное открытие вызвало в то время значительные споры .
Проблема заключалась в том, что Бем использовал слабые методы исследования, распространенные в социальных науках, чтобы опубликовать невозможные результаты. Бем, долгое время защищавший экстрасенсорное восприятие, в одной из своих ранних работ прямо отмечал, что эффекты экстрасенсорного восприятия, по-видимому, схожи с результатами исследований в других областях психологии, заявляя: «Средний размер эффекта весьма приличный по сравнению с другими спорными областями исследований человеческой деятельности». Бем не ответил на запросы о комментариях.
Профессор Фанелли заявил, что недостаточная подготовка и нереалистичные ожидания помогают объяснить, почему социологи неправильно интерпретируют данные. «Я думаю, что частью полезных культурных изменений стало бы большее понимание и принятие ограничений социальных наук», — написал Фанелли в электронном письме. «Вместо этого, похоже, многое в некотором смысле укрепило то, что считалось «культом статистической значимости», механическое и упрощенное использование [статистической значимости] как эталона достоверности».
За этой подачей раздутых результатов стоит индустрия академических публикаций, состоящая из пяти крупных компаний с внушительной прибылью. «Большая пятерка», как их называют (Elsevier, Sage, Springer Nature, Taylor & Francis, Wiley), наряду с грантодателями, системами оценки академических должностей и средствами массовой информации, подталкивает ученых к стремлению к драматизации и преувеличению слабых результатов. В науке отрицательный результат, не демонстрирующий никакого эффекта, так же важен, как и положительный. Но отрицательные результаты публикуются крайне редко.
Политики, как правило, только усугубляют ситуацию. Кэтрин Книббс, психотерапевт и основательница организации Children and Tech, принимала участие в некоторых дискуссиях, связанных с противоречивой инициативой Великобритании по запрету социальных сетей для молодежи младше 16 лет. Она предполагает, что политики часто подходят к науке с заранее подготовленными выводами, а не с открытыми вопросами, и проявляют нелюбопытство к данным, которые не соответствуют их интересам.
«Честно говоря, я считаю науку сложной, и хотя мне это в ней нравится, я чувствую себя в этом довольно одиноко», — написала Книббс в электронном письме. «Люди часто бегло просматривают статистику и ищут доказательства, подтверждающие их убеждения. У многих нет времени замедлиться и использовать свои более медленные когнитивные процессы. Вот почему у нас есть эта чушь про "цыпленка Цыпу" и "небо падает"».
Настойчивое продвижение реформ
Хорошая новость заключается в том, что все больше исследователей выступают за реформы, которые могли бы повысить достоверность научных результатов. Одним из многообещающих признаков является рост «движения за открытую науку», которое поощряет предварительную регистрацию исследований. Это снижает возможность исследователей манипулировать анализом данных для получения желаемых результатов. А продвижение движения за большую прозрачность данных позволяет чаще подтверждать полученные результаты.
Брайан Носек , профессор психологии в Университете Вирджинии, возглавляющий движение за открытую науку, выразил надежду. «Мой самый оптимистичный взгляд заключается в том, что мы создали более сильную культуру самоанализа и постоянного совершенствования», — сказал он. «Я не знаю, насколько успешными были изменения в практике, но я верю, что экспериментирование с новыми методами исследований и стремление оценивать, что работает, а что нет, приведут нас в позитивном направлении».
Некоторые ученые дистанцируются от «большой пятерки» академических издательств, создавая собственные некоммерческие научные журналы. В некоторых случаях это стало результатом непомерных сборов, которые журналы взимают с авторов за публикацию статей. Новое федеральное судебное дело также обвиняет «большую пятерку» в мошенничестве в отношении правительства посредством необоснованных издательских сборов , часто покрываемых государственными грантами. Помимо финансовых затрат, которые несут ученые, независимые журналы также потенциально освобождают их от чрезмерной сосредоточенности на положительных результатах или предвзятости публикаций.
Небольшое число исследовательских учреждений также пытаются напрямую решить некоторые проблемные вопросы, связанные с мотивацией. При присуждении званий и постоянных должностей они уделяют меньше внимания количеству научных работ и престижу журналов, в которых они публикуются. Вместо этого, значение имеет качество самих работ.
Профессор Рик Ферраро, редактор журнала Current Psychology , подчеркнул, что не все ученые или журналы являются недобросовестными участниками процесса. Некоторые стараются поступать правильно и проводят качественные исследования. Но разорвать этот порочный круг извращенных стимулов будет сложно, поскольку слишком многие извлекают из него выгоду: от ученых и академических журналов до средств массовой информации и политиков.
Пока не изменятся стимулы для проведения исследований в более широком смысле, общественность будет и дальше получать постоянный поток смелых заявлений о поведении человека, построенных на шатком фундаменте.
Эта статья является частью серии публикаций RCI, посвященной нормализации научного мошенничества. Предыдущие статьи можно прочитать здесь.
Комментариев нет:
Отправить комментарий