Доверие Исследования

Любить исследования это одно. Доверие это другое.

Фото Йонаса Верстуйфта на Unsplash

В течение многих лет я искал правильную метафору того, насколько впечатлительным я себя считаю. Как насчет того, чтобы заплатить 280 000 долларов за обучение в колледже и четыре года глубокого погружения в мир идей, только чтобы понять, что ни одна из моих идей не принадлежит мне? Это не совсем метафора, но где-то есть 14-буквенное немецкое существительное, описывающее этот точный сценарий, я уверен.

В колледже меня впечатлили идеи западных канонических мыслителей и их интерпретации профессорами. Каждая новая идея казалась настолько очевидной: конечно, мы жили в паноптикуме Фуко, конечно, все можно было проследить до разделения труда по Марксу, и, конечно, западная история была просто христианской историей (спасибо, забытый аспирант). В какой-то момент я усвоил изречение «подвергать сомнению все, в том числе то, как ты учишься задавать вопросы», что действительно сказалось на мне. С новыми идеями, провозглашаемыми истиной, постоянно брошенной на меня, с директивой подвергать их сомнению, и нет времени, чтобы понять, как что-то сломалось. К концу колледжа это было мое доверие академии.

Это имело как хорошие, так и плохие последствия. Я проводил больше времени в мире людей, а не идей, и поэтому встретил некоторых интересных людей, понял, что мне нужно чем-то заняться после колледжа, а затем нашел, чем заняться после колледжа. Я также углубил дружбу и прекратил несколько ядовитых отношений. Все хорошее. Но цена была крутой: я жил в странном интеллектуальном пространстве, где я учился и придерживался новых идей, не веря в них. Я стал противоположностью карикатуры колледжского кафе и почти не имел мнения по поводу больших проблем.

Это длинное, но необходимое введение в сегодняшнюю проблему: доверительные исследования. Теперь, с некоторым пониманием пространства, которое я занимал в период после окончания колледжа, перенесемся на 28 апреля 2014 года. Благодаря моим сомнительным усилиям в то время, чтобы оставаться в курсе Твиттерсферы, я наткнулся на статью, опубликованную Джерри Адлером в Pacific Standard под названием «Реформация: могут ли социальные ученые спасти себя?» Эта статья была моим первым знакомством со статистическими методами в исследованиях, и давайте просто скажем, что они не изображают их в очень благоприятном свете. Например, в 2011 году психолог по имени Джозеф Симмонс смог «доказать», что слушание песни «Битлз» «Когда мне шестьдесят четыре» делает вас моложе. Что, очевидно, смешно. Адлер пишет,

Между лабораторией и опубликованным исследованием лежит разрыв, который должен быть преодолен трудоемким процессом анализа данных. Как показал Симмонс и его соавторы, этот процесс представляет собой виртуальный черный ящик, который, как он построен в настоящее время, «позволяет представить что-либо как существенное». И если вы можете доказать что-либо из ваших данных, что вы действительно делаете, если что-то делаете знаете?

В моем впечатлительном состоянии я сожрал эту статью. Я узнал не только об этом статистическом «черном ящике» анализа данных, но и о p-хакерстве, прокачке, Retraction Watch, воспроизводимости и недостатках рецензирования. Я был ошеломлен. Наука должна была искать истину в мире. Это должно было быть непробиваемым. Мои родители оба ученые, и в течение многих лет природа и наука засоряли дом. Просматривая их страницы в детстве, я был поражен сложными диаграммами, не поддающимся расшифровке языком, который, казалось, был написан в специальном кодексе науки, и изображениями крошечных объектов, сделанными с помощью сложных методов визуализации. Но теперь, читая эту статью Pacific Standard, меня поразило, что наличие сканирующего электронного микроскопа ничего не гарантирует. Наука, как и западный канон, имела свои очень человеческие проблемы.

Наука должна была искать истину в мире. Это должно было быть непробиваемым.

Независимо от того, были ли данные сфабрикованы или просто «скорректированы», должна быть причина. Опозоренный фабрикант данных Дидерик Стэпел, голландский социальный психолог, сказал New York Times, что он сделал это «в поисках эстетики, красоты - вместо правды». The Economist резюмировал стремление к взлому данных чуть меньше. Поэтически с двумя сопоставленными высказываниями в статье 2013 года: «Доверяй, но проверяй», а не «публикуй или погибай». Основой современной науки являются воспроизводимые результаты повторяющихся экспериментов, но, как сказал «Экономист», «современные ученые слишком доверяют и не достаточно проверки ». Нет стимулов для проведения скучных проверочных исследований или, что еще хуже, потратить годы своей жизни на проект, который не может отказаться от нуля. Вместо этого студенты и известные исследователи вынуждены представлять новые результаты, которые, кажется, говорят что-то новое о мире.

«Публикуй или погибни» многое говорит не только о более широком научном сообществе, но и о медицине. ERAS®, или Electronic Residency Application Service, является частной, централизованной службой, которую почти каждый студент MD или DO использует для подачи заявления на проживание в США. Невероятно показательно, что у ERAS есть специальная страница, на которой заявители могут размещать свои публикации. Там нет такой отдельной страницы для обучения, или волонтерства, или вкладов в ваше сообщество. Уже сейчас студентов-медиков спрашивают: можете ли вы принести деньги? Да, все еще возможно стать доктором, и хорошим, без публикаций. Только не рассчитывайте на то, что вы дерматолог, хирург-ортопед или кто-либо еще. Орто-надеждный человек, которого я знаю, сказал мне, что у него «57 тезисов», и я, безусловно, надеюсь, что этого достаточно, чтобы он достиг своих целей. Один резидент хирургического отделения, с которым я работал, отмечал принятие его статьи в платный журнал, который якобы охватывал совершенно другую область, потому что это было «еще одно резюме». Кажется, что связывание перспектив карьерного роста с объемом публикации затопило научные исследования потоком. дерьма.

Фото Пан Сяочень на Unsplash

На каждом уровне пищевой цепи исследователи руководствуются объемом, а не истиной - и кто может их винить? Деньги поступают в академические медицинские центры от исследовательских спонсоров, таких как NIH, на уровнях, которые затмевают любые фонды или государственные гранты для обучения или обслуживания. Часто исследователей нанимают в расчете на то, что они финансируют как свою зарплату, так и зарплату своих сотрудников. Я был в Колумбийском университете, когда уволили двух самых популярных профессоров Школы общественного здравоохранения Мэйлмана, потому что они не смогли получить 80% своей зарплаты в виде грантов. Д-ра. Кэрол Вэнс и Ким Хоппер были профессорами, не являющимися штатными сотрудниками, которые десятилетиями работали в Mailman, оба считались лидерами в своих областях. Оба также расставили приоритеты в обучении. Говоря с Нацией, бывший студент Вэнса сказал: «У меня была невероятная привилегия многих великих учителей и невероятных коллег, но на самом деле нет никого другого, кто был бы наставником с такой интенсивностью, как Кэрол»… «Ее активно наказывают за быть экстраординарным наставником - это направление, в котором движется корпоративный университет. Менторство не платит. Наставничество - это не то, что вы можете продать спонсору ».

Деньги поступают в академические медицинские центры от исследовательских спонсоров, таких как NIH, на уровнях, которые затмевают любые фонды или государственные гранты для обучения или обслуживания.

И все же, в мире, где врачи совершают самоубийства в два раза чаще, чем население в целом, наставничество имеет значение. Вместо того, чтобы учиться играть роль гуманистического доктора от наставников для подражания, студенты-медики изучают, как составлять статьи, которыми они мало гордятся и которые вряд ли когда-либо будут читать, и таким образом увековечивают цикл публикации или гибели. Я бы сказал, что публикация вредит всем аспектам медицины, поощряя сфабрикованные или дрянные результаты; затрудняет отделение действительно ценных исследований (я уверен, что оно существует) от плевел; и стимулирование неправильных ценностей в наших медицинских провайдерах.

И никто не застрахован. Даже на самых высоких уровнях (в медицине мы называем это Гарвардом) исследователи публикуют фальсифицированные данные. Только на этой неделе Гарвардская медицинская школа и ее филиал «Бригам и женская больница» рекомендовали отобрать из многочисленных журналов ошеломляющие 31 статью бывшего директора лаборатории доктора Пьеро Анверса. «Retraction Watch» ведет список десяти самых цитируемых статей. Все они продолжали получать цитаты после опровержения, что означает, что они эффективно исказили научное сознание.

Проблем с исследованиями так много, что я только начал касаться поверхности. Еще одна огромная проблема - это вопрос происхождения наших нынешних стандартов и руководящих принципов, возможно, они получены из исследований исключительно белых мужчин. Согласно комментарию 2015 года в PLoS One, «менее чем в 2% из более чем 10 000 клинических исследований рака, финансируемых Национальным институтом рака, было достаточно участников из числа меньшинств, чтобы соответствовать собственным критериям и целям NIH [и] менее 5% из средств, финансируемых NIH респираторное исследование сообщило о включении расовых / этнических меньшинств ». Даже в медицинской школе я узнал, что« женщины »относятся к группам, которые могут представлять с нетипичными симптомами сердечного приступа, -« женщины ». Вы знаете, эта половина населения. Какие исследования лежат в основе нашего понимания «типичного» сердечного приступа, если он не включает женщин?

Фото Влада Чомпалова на Unsplash

Исследование - это не просто аморфный термин. Это влияет на каждый аспект нашей жизни, от воды, которую вы пьете, до того, как вы ухаживаете в больнице, до последнего шанса на жизнь в клинических испытаниях. Каждая статья, отправленная для публикации, должна быть хорошо сделана и иметь смысл для ее авторов. Исследование должно быть больше, чем просто число в заявке. Моя случайная встреча со статьей Pacific Standard четыре года назад произвела на меня скептическое отношение к исследованиям, и с тех пор я работаю над тем, чтобы найти действительно значимые выбросы.