מגזין

סיפור שמתחיל בחתול קוסם

ה-WHO נאלץ לחזור בו מהמלצותיו, מחקרים רפואיים הוחזרו והושמטו מתוך מסדי הנתונים של כתבי העת שבהם פורסמו וחוקרים אף פוטרו - והכל בגלל ציד שיטתי של רופא מרדים אחד מבריטניה

בגלל חתול גזעי בשם Wizard ("קוסם") שהוא מגדל כחיית מחמד בביתו ומעיר אותו השכם בבוקר, כבר בשעה 4:30, החל הרופא המרדים ד"ר ג'ון קרלייל (John Carlisle) בן ה-51 מהיחידה לטיפול נמרץ בבית החולים הציבורי טורביי בעיר הפרובינציאלית והפסטורלית טורקי, שבמחוז דבון באנגליה, לבלות ליד הלפטופ שלו, 90 דקות מדי בוקר, ממש עד תחילת המשמרת שלו בבית החולים.

את הזמן הזה הוא מקדיש, כמו בלש-חוקר, ל"מצוד" שיטתי אחרי נתוני ניסויים רפואיים החשודים כמזויפים ומפוברקים ומדווחים בכתבי עת מקצועיים ובעיקר באלה המוערכים ביותר. המסע הזה אחרי החשודים גם הביא אותו לא אחת למסקנה שנתונים על גיל, משקל, גובה ופרטים אחרים הקשורים במשתתפי הניסויים הם על אנשים שכלל אינם קיימים.

באחרונה זכה מבצעו של ד"ר קרלייל לתשומת לב תקשורתית והמגזין המוערך לענייני מדע Nature הקדיש לו כתבה נרחבת שעד מהרה צוטטה בכלי תקשורת רבים נוספים משני צדי האוקיינוס האטלנטי.

ד"ר ג'ון קרלייל. "יש כאן לעתים שאלה של חיים או מוות". צילום: אמלי בנדיקסן

ד"ר קרלייל, המועסק בבית חולים של ה-NHS - שירות הבריאות הלאומי הציבורי הבריטי – רשם לזכותו בעשור האחרון איתור "נתונים החשודים כבעייתיים" במחקרים רפואיים וקליניים בנושאים רבים, החל מאלה שעסקו ביתרונותיהן של דיאטות ספציפיות שעליהן המליצו מחברי מאמרים בכתבי עת רפואיים, דרך הנחיות לטיפולים מומלצים בבתי החולים. בעקבות חשיפותיו, אולצו כתבי העת למשוך חזרה את המאמרים שפורסמו, להוציאם ממסדי הנתונים שלהם או להכניס במאמרים תיקונים וגם התנצלויות על התנהגות לא ראויה במהלך הניסויים עצמם. כמה ממחברי אותם מאמרים עתירי זיופים ונתונים שקריים ("פייק דאטה") אולצו בעקבות גילוייו לסיים את הקריירה המקצועית שלהם. מתוך שישה מהמדענים היותר מפורסמים שמאמריהם "הוחזרו" והושמטו מתוך מסדי הנתונים של כתבי העת – אלה שהוכתרו כ-most retractions – שלושה נפלו קורבן לאנליזות הסטטיסטיות ההדוקות של ד"ר קרלייל וחשיפותיו.

לפני עשר שנים החל להתחקות אחרי תוצאות של סדרת מאמרים שפרסם חוקר יפני בשם יושיטקה פוג'י. הוא טען בהם כי בדק את ההשפעות של תרופות שונות כדי למנוע הקאות ובחילות בחולים לאחר ניתוחים, "אלא שהנתונים שהוא הכליל בדיווחיו נראו לי יותר מדי נקיים מכדי להיות אמיתיים'", סיפר ד"ר קרלייל

"הטכניקות שבהן משתמש ד"ר קרלייל הראו עד כמה הן שימושיות באופן בלתי רגיל", אמר ד"ר פול מיילס (Myles), מנהל היחידה להרדמה ורפואה סב-ניתוחית בבית חולים במלבורן, אוסטרליה, שסייע לד"ר קרלייל בבחינה מחודשת של המאמרים שהכילו, במינוח מכובס מאוד, "נתונים סטטיסטיים חמקמקים", או במילים אחרות: נתונים שקריים ומזויפים.

עם זאת, בדיווח ב-Nature צוין כי הניתוח הסטטיסטי של ד"ר קרלייל, שכמובן איננו פופולרי, גם ספג ביקורת ואף נטען נגדו שלא בכל המאמרים שבהם אכן מצא אי-אלו טעויות היה מקום להטיל חשד.

ד"ר קרלייל הודף את הביקורת נגדו וחוזר וטוען: "מה שאני עושה הוא רק כדי לסייע להגן על מטופלים וזו הסיבה שאני מקדיש כל כך הרבה זמן כדי לצלול בנבכי המספרים המופיעים במאמרים. זו לא רק הסקרנות שלי שמניעה אותי לעסוק בכך אלא שאני מוצא שיש כאן מעשה חשוב. אני חושף טעויות אבל אינני מנהל מסע צלב נגד התנהלות לא ראויה של מדענים". לדבריו, "יש עוד חוקרים שבודקים שוב ושוב נתונים ומצביעים על טעויות כי חשוב לבדוק מאמרים אקדמיים, שכן כשמדובר במחקרים רפואיים, יש כאן לעתים שאלה של חיים או מוות".

בין מבקריו נמצאים גם עמיתים בתחום עיסוקו הרפואי – הרדמה, ביניהם ד"ר טימותי האול (Timothy Houle) מבית החולים הכללי של מסצ'וסטס בבוסטון, יועץ סטטיסטי במחקרי הרדמה הטוען שבשיטת העבודה של ד"ר קרלייל קיימת בעייתיות, בין השאר כיוון שהוא עלול להבליט נתונים שניתן להגדירם כ-False-positive. "ברור", ציין בשיחה עם Nature, "כי זיהוי וגילוי של פיברוק נתונים וזיופים או פלגיאטים הם עניין שיש לברך עליו, אבל השיטה שבה נוקט ד"ר קרלייל איננה כזאת". ד"ר האול סבור כי קיימת בעיה אתית בפעילותו של הרופא הבריטי והוא אף כתב על כך מכתב לעורך הראשי של כתב העת לנושאי רפואת הרדמה, ד"ר איוואן חאראש (Evan Kharasch) מאוניברסיטת דיוק בצפון קרוליינה.

טעויות לא הגיוניות והחוקר שפוטר

לפני עשר שנים החל ד"ר קרלייל להתחקות אחרי תוצאות של סדרת מאמרים שפרסם חוקר יפני בשם יושיטקה פוג'י. הוא טען בהם כי בדק את ההשפעות של תרופות שונות כדי למנוע הקאות ובחילות בחולים לאחר ניתוחים, "אלא שהנתונים שהוא הכליל בדיווחיו נראו לי יותר מדי נקיים מכדי להיות אמיתיים'", סיפר ד"ר קרלייל.

נוכח הדאגה שהנושא הזה עורר אצלו החל, בסיוע עמיתיו, לבדוק לעומק את הנתונים הסטטיסטיים ואז גילה בהם טעויות לא הגיוניות. הוא שלח את הביקורת שלו לעורכי כמה עיתונים רפואיים ואלה ביקשו מאוניברסיטאות שונות ביפן לחקור את התנהלותו של המדען. בעקבות חקירה שהתנהלה באוניברסיטת טוהו, פוטר פוג'י בשנת 2012 ו-183 מאמרים שפרסם אז הוחזרו והושמטו ממסד הנתונים הרשמי - שיא של כל הזמנים במספר המאמרים שהוחזרו. ארבע שנים לאחר מכן זיהה קרלייל נתונים שהופיעו במחקר של רופא מרדים יפני אחר, יוהיג'י סייטו (Yuhji Saitoh) שהתברר כי היה מחבר-שותף למאמרים של פוג'י וגם בפרסומיו נכללו נתונים שנראו "חשודים באופן קיצוני". 53 מהמאמרים שלו הוחזרו והושמטו אף הם ממסד הנתונים.

השנה עלה ד"ר קרלייל על מחקרים נוספים בתחום ההרדמה שפרסם מנתח איטלקי מאריו סקייטרומה מאוניברסיטת לה-קילה. ד"ר קרלייל טען כי אין בסיס אמין לפרקטיקה הקלינית שצוינה במאמריו והעלה חשדות לגבי נתונים על קבוצות-ביקורת של מטופלים שצוינו בחמישה מאמרים שאותו רופא-חוקר איטלקי פרסם

עד מהרה הצטרפו חוקרים נוספים למבצע של ד"ר קרלייל. ב-2016 חוקרים בניו זילנד ובבריטניה מצאו בעיות במאמריו של רופא-חוקר יפני אחר מתחום האורתופדיה שחקר מחלות עצמות בבית חולים בדרום יפן ו-27 ממאמריו הושמטו מיד ובסך הכל 66 מאמרים שעליהם הוא היה חתום.

גם מאמרים שעליהם היה חתום רופא מומחה גרמני בתחום ההרדמה, ד"ר יואכים בולט, חוללו שערוריה כשנחשפו הנתונים הסטטיסטיים המפוברקים שכלל בהם. יותר מ-90 מפרסומיו הוצאו ממסדי הנתונים. ד"ר קרלייל החליט אז שעליו לצלול לעומק הנתונים הסטטיסטיים הנוגעים לא רק לתחום הרפואי שבו התמחה ואז החל לבדוק ולנתח באופן אקראי כמה אלפי מאמרים שפורסמו בנושאים אחרים.

ב-2017 הוא פרסם מאמר בכתב העת Anaesthesia שבו ציין כי מצא "נתונים חשודים" ביותר מ-90 מתוך 5,000 דיווחים על ניסויים קליניים שפורסמו במשך 16 שנה. לפחות עשרה מהם נפסלו בהמשך והושמטו מתוך מאגר המידע הרפואי ועוד שישה הוחזרו למחברים כדי להכניס בהם תיקונים, ביניהם דו"ח מחקר שפורסם ב-New England Journal of Medicine ועסק ביתרונות הדיאטה הים תיכונית. במקרה זה לא עלה חשד לזיוף ופיברוק אלא שמחברי המאמר פשוט טעו בדיווח שבו פירטו כיצד גייסו באופן אקראי את משתתפי מחקרם. לאחר שסולקו הטעויות, מאמרם פורסם מחדש והמסקנות שהופיעו בו לא שונו.

ארגון הבריאות העולמי נאלץ לשנות את המלצותיו

השנה עלה ד"ר קרלייל על מחקרים נוספים בתחום ההרדמה שפרסם המנתח האיטלקי מאריו סקייטרומה (Mario Schietroma) מאוניברסיטת לה-קילה (L'Aquila). ד"ר קרלייל טען כי אין בסיס אמין לפרקטיקה הקלינית שצוינה במאמריו והעלה חשדות לגבי נתונים על קבוצות-ביקורת של מטופלים שצוינו בחמישה מאמרים שאותו רופא-חוקר איטלקי פרסם.

במקרה זה, למסקנות שהציג ד"ר סקייטרומה בסיכום מאמריו היו השלכות על פעילויות בתי חולים וה-WHO שהסתמך עליהם והמליץ כי רופאים-מרדימים צריכים באופן שגרתי להעלות את רמות החמצן במנותחים בעת ולאחר הניתוח כדי להפחית בזיהומים. אלא שהמסקנה הזאת שנויה במחלוקת ועתה כבר מבינים שלגבי כמה הליכים, יותר מדי חמצן עלול להוביל לסיכון מוגבר לסיבוכים. ההמלצות של ה-WHO היו עלולות להיות משמעותיות בעיקר במדינות עניות שבהן בתי חולים היו נאלצים לבזבז חלק נכבד מהתקציבים שלהם על מכלי חמצן יקרים מדי, הסביר ד"ר מיילס, שותפו של ד"ר קרלייל למצוד אחרי טעויות וזיופים.

ואמנם, חמישה מהמאמרים שלגביהם סימן ד"ר מיילס את האזהרות שלו אכן הושמטו ו"נמשכו לאחור" וה-WHO נאלץ, לאחר בחינה נוספת, להכניס שינוי בהמלצותיו. הרופא האיטלקי התגונן כנגד הביקורת שנמתחה על התנהלותו וטען כי איבד נתונים גולמיים ומסמכים הקשורים במחקריו עקב רעידת אדמה שפקדה את עירו ב-2009. מהאוניברסיטה שבה עבד נמסר כי "היא השאירה את העיסוק בתחקירים לגופי חקירה שמומחים בכך", אבל לא מסרה במי המדובר וגם לא האם החקירה אכן החלה.

תוכנות לחקר נתונים סטטיסטיים

ל"מהומה" שד"ר קרלייל עורר הצטרפה לאחרונה ד"ר מישלה נויטן (Michele (Nuijten מאוניברסיטת טילבורג בהולנד העוסקת בחקר שיטות אנליטיות ולדבריה פיתחה שיטה לבדיקת נתונים סטטיסטיים שבאמצעותה ניתן לסרוק מאמרים המתפרסמים בכתבי עת מדעיים כדי לברר האם הנתונים מתארים עקביות ברורה. לשיטה שלה קוראים Statcheck ולדבריה, תוצאי הסריקה יבליטו טעויות, בדרך כלל במספרים ובספרות, וניתן לעשות בה שימוש במאמרים שפורסמו גם לפני עשורים רבים. תוכנה בשם GRIM, המבצעת בדיקה כפולה של חישובים בהקשרים סטטיסטיים, נמצאת בשימוש במחלקה לפסיכולוגיה באוניברסיטת כרונינגן ההולנדית ומופעלת יחד עם מומחה בחקר שיטות מדעיות באוניברסיטת נורת'ווסטרן בבוסטון. גם היא נועדה להצביע על נתונים החשודים כזיופים או כמוטעים.

כתב העת Nature ציין בדיווחו שיש כיום עניין גובר והולך בשימוש בתוכנות כאלו ובשיטות בדיקה שהופעלו על מנת לשפר את אמינותם של מחקרים מדעיים המבוססים על ניתוח נתונים סטטיסטיים, "מה שגם יתרום לשיפור ה'הדירות', היכולת ליצור מחדש מחקרים מדעיים", כניסוחו של ד"ר ג'ון יואנידיס מאוניברסיטת סטנפורד בקליפורניה העוסק בחקר שיטות מדעיות וקורא לשיפור השימוש בסטטיסטיקה במחקרים.

מאמציו של ד"ר קרלייל החלו לשאת פרי: שני כתבי עת רפואיים, Anaesthesia וה-NEJM, החלו לאחרונה לעשות שימוש שגרתי בבדיקות של נתונים סטטיסטיים במאמרים שמוגשים עבורם לפרסום, ורק לאחר תום הבדיקות, המאמרים מתפרסמים

כל המומחים בתחום הזה מסכימים כי "השיטות שבהן הם משתמשים רק מאירות את הבעייתיות שיש לחקור, אך לא תמיד צריך לקשר טעויות לזיופים והונאות. מוטב לבצע את כל הסריקות הנדרשות של הנתונים לפני שמאמרים מדעיים מתפרסמים כדי למנוע טענות וחשדות לרמאות או לטעויות במזיד או בשוגג".

Anaesthesia וה-NEJM הרימו את הכפפה

ואכן, מאמציו של ד"ר קרלייל כבר החלו לשאת פרי: שני כתבי עת רפואיים, Anaesthesia וה-NEJM, החלו לאחרונה לעשות שימוש שגרתי בבדיקות של נתונים סטטיסטיים במאמרים שמוגשים עבורם לפרסום, ורק לאחר תום הבדיקות, המאמרים מתפרסמים. "אנחנו עושים מאמצים למנוע טעויות, הגם שהן נדירות, אבל יש להן פוטנציאל להשלכות חמורות ושליליות", מסר דובר ה-NEJM, "שווה להשקיע זמן נוסף בבדיקות ולחסוך עוגמת נפש". אלא שהבעיה בהיקפה הרחב עדיין קיימת: "מממני מחקרים, כתבי עת ורבים בקהילה המדעית עדיין נותנים עדיפות נמוכה לבדיקות אלו", ציינה ד"ר נויטן.

ד"ר קרלייל סיפר כי נדהם לגלות שמאמר שהוחזר למחברו על ידי עורך כתב עת אחד, עקב טעויות מרובות ונתונים שגויים, פורסם כעבור זמן מה בכתב עת אחר, במדינה אחרת, ללא כל שינוי בגירסה משופעת הליקויים. "גם היו מקרים שמחברים הכניסו שינויים בנתונים בהתאם למה שחשבו שכך הם צריכים להיות, וזו כבר בעיה חמורה לא פחות".

נושאים קשורים:  ד"ר ג'ון קרלייל,  מחקרים קליניים,  זיופים במאמרים רפואיים,  חדשות,  מגזין,  כתבי עת רפואיים
תגובות

"גם היו מקרים שמחברים הכניסו שינויים בנתונים בהתאם למה שחשבו שכך הם צריכים להיות, וזו כבר בעיה חמורה לא פחות" הרי זה צפוי - החוקרים ישתמשו בתוכנה הסטטיסטית ו"יתפרו" את הנתונים בהתאם ל"תוצאות" ולמסקנות.

20.09.2019, 15:56

טוב שי מישהו שמוכן לבדוק . המוטו ה ולבקר מחקרים. המוטו המפורסם מי שלא מרם מתפגר...(תרגם מגרמנית).

20.09.2019, 16:32

טוב שיש חתול !!

אנונימי/ת
20.09.2019, 18:22

קיים הבדל משמעותי בין מי שמשתמש בשיטה סטטיסטית שונה מזו שעורך העיתון חושב שהיא מתאימה ובין מי שמזייף בכוונה תחילה נתוני מחקר שלם כולל חתימות מטופלים על הסכמה מדעת. מקרה שקרה בישראל "כחלק מהמחקר הוא זייף חתימות של כ-30 נשים שלכאורה עברו בהצלחה את הטיפול, את אישור משרד הבריאות לביצוע הניסוי ואת חתימת מנהל בית החולים."

אנונימי/ת
20.09.2019, 20:03

פשוט צריך לפרסם יותר מידע על איסוף הנתונים במסגרת ה-supplement, זה משהו שכבר נעשה בעשור האחרון אבל צריך להרחיב אותו. אין סיבה שה-supplement לא יכלול תיעוד ויזואלי של בדיקות גובה ומשקל עם טשטוש פנים, למשל.

אנונימי/ת
22.09.2019, 02:55

נושא זה לא חדש עבורי. במהלך השנים גיליתי בהרבה מחקרים שפורסמו מסקנות שלא נתמכו ע'י הנתונים שהוצגו. לדעתי בכך אשמים עורכי העיתונים שמוכנים להתקשקש עם המחבר על תיקונים טכניים אבל מקדישים הרבה פחות ת.ומת לב למהימנות הנתונים והמסקנות שמספקים מהם. נתקלתי לא אחת בסירוב של מערכות עיתונים מכובדים לפרסם תיקונים מהותיים של מאמרים שכבר התפרסמו למרות שאלו באו מהחומרים עצמם שגילו טעויות בנתונים או במסקנות.

אנונימי/ת
22.09.2019, 02:58

שני תיקוני שיבושים מחשב - ת.ומת - תשומת, ו-'באו מהחומרים עצמם' - באו מהחוקרים עצמם.