בואו לגלות את עמוד הכתבה החדש שלנו
 

אתם מחוברים לאתר דרך IP ארגוני, להתחברות דרך המינוי האישי

טרם ביצעת אימות לכתובת הדוא"ל שלך. לאימות כתובת הדואל שלך  לחצו כאן

לקרוא ללא הגבלה, רק עם מינוי דיגיטלי בהארץ  

רשימת קריאה

רשימת הקריאה מאפשרת לך לשמור כתבות ולקרוא אותן במועד מאוחר יותר באתר,במובייל או באפליקציה.

לחיצה על כפתור "שמור", בתחילת הכתבה תוסיף את הכתבה לרשימת הקריאה שלך.
לחיצה על "הסר" תסיר את הכתבה מרשימת הקריאה.

הקצה

ניסוי והטעיה

אנשי מדע נהנים מדרגת חופש מחקרית המאפשרת להם "להוכיח" כמעט כל תיאוריה

101תגובות

באוקטובר האחרון התבשרנו כי מחקריו של הפסיכולוג ההולנדי דידריק סטאפל על סטריאוטיפים, שזכו לא פעם למחמאות מעמיתיו וכונו "טובים מכדי להיות נכונים", הם אמנם כאלה - כלומר לא נכונים. ממצאי ועדת חקירה קבעו כי החוקר הבכיר מאוניברסיטת טילבורג לא בחל באמצעים מחקריים כדי לקבל את התוצאות הרצויות. ראש ועדת החקירה, פים לוולט, איתר לא פחות מ-30 פרסומים מדעיים המבוססים על נתונים מפוברקים, והוא בטוח שזאת אינה המילה האחרונה בכל מה שקשור לסטאפל. כיצד זה אפשרי?

את התשובה מציעים ג'וזף סימונס ועמיתיו מאוניברסיטת וורטון בגיליון אוקטובר 2011 של כתב העת המכובד "Psychological Science". מאמרם מעורר המחשבה מתייחס לקלות הבלתי נסבלת שבה אפשר לבסס השערות של מחקר התנהגותי בסיוע כלים סטטיסטיים.

כותבי המאמר גורסים כי גמישות באיסוף הנתונים, שאינה זוכה לגילוי נאות בתיאור מחקרים שונים, מאפשרת את הצגת הממצאים כמובהקים גם כשאינם כאלה. לטענתם, החוקרים נהנים מ"דרגת חופש מחקרית" המאפשרת להם להוכיח כמעט כל תיאוריה. הם חופשיים להחליט, בין השאר, על גודל המדגם, מתי להפסיק את איסוף הנתונים ועל אילו תצפיות קיצוניות לוותר, ולעתים הם אף מגדירים את השערת המחקר אחרי ביצוע המחקר. ניהול נכון (כלומר, לא נכון) של שלב איסוף המידע יכול להגדיל באופן ניכר את הסיכוי לקבל ממצא מובהק מבחינה סטטיסטית ללא הצדקה מדעית. ממצא מובהק מוגדר כממצא שהסיכוי שהתקבל במקרה, ולא בגלל ההסבר המוצע על ידי החוקרים, אינו עולה על 5 אחוזים.

אי-פי

עשו לנו לייק בפייסבוק וקבלו את מיטב כתבות סוף השבוע ישירות אליכם

כותבי המאמר לא התעצלו ואירגנו מחקר משלהם להדגמת טענתם. הם ביקשו מקבוצת נבדקים להאזין לשיר המפורסם בביצוע הביטלס "כשאהיה בן 64". קבוצה אחרת האזינה לשיר "קאלימבה" המוצע בחינם למי שרוכשים את גרסת חלונות 7.0. כל הנבדקים התבקשו לענות על שאלון אישי מפורט על עמדות, טעמים והעדפות, ולציין גם את תאריך לידתם. והממצא המפתיע: נבדקים שהאזינו ל"כשאהיה בן 64" היו צעירים יותר בכמעט שנה וחצי מאלה שהאזינו לשיר האחר. שימו לב, לא "הרגישו צעירים יותר", אלא ממש צעירים יותר. קסם סטטיסטי הגובל בגילוי מעיין הנעורים האגדי.

כיצד זה קרה? ובכן, סיבה אחת נעוצה בעובדה שהחוקרים בדקו את "השפעת ההאזנה לשיר" על מספר רב של משתנים, אך בחרו לדווח רק על הקשר היחיד שהצליח לעמוד במבחן המובהקות הסטטיסטית (המשתנים האחרים שהופיעו בשאלון לא הוזכרו). הסיבה האחרת נעוצה באותה גמישות מחקרית המאפשרת לחוקרים להפסיק לאסוף את הנתונים בכל עת שיחפצו. ברבים מהמחקרים ההתנהגותיים החלטה זו אינה מתקבלת לפני ביצוע המחקר, אלא תוך כדי ביצועו. הבעיה ברורה: רמת המובהקות של הניתוח הסטטיסטי עשויה להיות מעל הסף הנדרש בשלב מסוים וחלקי של איסוף הנתונים, אך לרדת מתחת לרמה הדרושה כאשר מיתוספות תצפיות נוספות. דרגת חופש מחקרית זאת מאפשרת לחוקרים לעצור בשלב ה"נכון" וליהנות ממובהקות סטטיסטית מזדמנת שאינה מייצגת כל ממצא ממשי.

במחקר ההדגמה שערכו כותבי המאמר הם בדקו את הנתונים המצטברים לאחר כל עשר תצפיות ועצרו בנקודה הנוחה ביותר בעבורם - זו שבה, לגמרי באקראי, פער הגילים הממוצע בין אלה שהאזינו לביטלס לבין חברי קבוצת הביקורת היה הגבוה ביותר.

באווירה מחקרית כזאת, הגמישות המחקרית היא בעוכרי הדיוק המדעי. בנוסף, אם נזכור גם כי עורכיהם של כתבי העת המקצועיים להוטים לפרסם "ממצאים מפתיעים", נוכל להבין כיצד מאמרים המציגים ממצאים מוטעים זוכים לפרסום מדעי וציבורי נרחב. הקושי לחזור על תוצאותיהם של מחקרים אלה כדי לבססם או להפריכם אינו מטריד את העורך שבחר לפרסם את המאמר הבעייתי. רוב כתבי העת המדעיים החשובים אינם מפרסמים ניסויים שהסתיימו בכישלון או כאלה שחזרו על ניסויים אחרים. בנסיבות כאלה זוכים החוקרים האגרסיביים ליתרון פרסומי ברור המעמיד את יושרתם במבחן גדול אף יותר.

לפיכך, כותבי המאמר מציעים לעורכי מחקרים בכתבי עת מדעיים סדרה של כללים שעליהם לאמץ כדי להבטיח את טוהר המידות המדעי. המלצות אלה כוללות בין השאר יתר שקיפות בדיווח ובניהול המחקר, הצגת כל המשתנים שנבדקו וקביעת גודל המדגם לפני שאיסוף הנתונים מתחיל.

אך לפני שאנו מפנים אצבע מאשימה לחוקרי מדעי ההתנהגות, שאליהם התייחס סימונס, חשוב להבין שהתנהגותם של החוקרים בתחומי מדע אחרים אינה שונה. תופעות כמו השמטת תצפיות שאינן מתאימות להנחת המחקר, אי פרסום תוצאות מחקר הסותרות עבודה קודמת של החוקר, או שינויים בשיטת המחקר כדי להשביע את רצונם של מממנים - אינן חיזיון נדיר.

סקר השוואתי מקיף שערך דניאל פנלי מאוניברסיטת אדינבורו מגלה כי 2 אחוז מהחוקרים מודים כי אימצו, לפחות פעם אחת, נוהלי מחקר בלתי הולמים הגובלים בזיוף והטיה של ממש בעיבוד הנתונים. על פי מחקרו, התופעה שכיחה יותר במחקר הרפואי ובכזה הקשור לפיתוח תרופות. ואמנם, סקירה של מחקרים שהוגשו דרך שגרה למינהל התרופות והמזון האמריקאי בשנים 1990-1997 איתרה פגמים וסדקים מחקריים בעשרה אחוזים עד עשרים אחוזים מהמחקרים והובילה להגדרתם של שני אחוז מהם כמבוססים על עיוות משמעותי של הנתונים או התוצאות.

לפני שנטיל דופי בקהילה המדעית כולה, חשוב לזכור כי אי אפשר לייחס את התופעה רק לקלות שבה אפשר לאשש סטטיסטית מסקנות מחקר, לעניין שמגלים כתבי העת במחקרים "חמים" או לכסף הזמין שמספקים גורמים אינטרסנטיים. בדומה לתאונת דרכים, כך גם תאונת מחקר אינה מתרחשת בחלל הריק. אל מכלול גורמי התאונה המרחפים באוויר זה מכבר מצטרף המצת ההופך הסתברות לוודאות. זהו הגורם האנושי, על גאוותו, הישגיותו וחולשותיו, והוא אינו נחלתו הבלעדית של המדען.

כן, זייפתי: אחד מכל 50 חוקרים הודה בפברוק נתונים

במאי 2009 פירסם דניאל פנלי (בתמונה) מהאוניברסיטה של אדינבורו מאמר שכותרתו אינה יכולה להיות ישירה יותר: "כמה מדענים מפברקים ומזייפים את מחקרם? סקירה שיטתית וניתוח-על של נתוני סקרים".

סיכומו חושף תמונה עגומה של האתיקה המדעית המאפיינת חלק מהמחקר המדעי. בממוצע, 1.97 אחוז מהחוקרים הודו כי פיברקו, עיוותו או שינו נתונים או תוצאות לפחות פעם אחת, וכשליש מהם הודו בשימוש בטכניקות מחקר מפוקפקות אחרות. כאשר נשאלו החוקרים על התנהגותם של עמיתים לעבודה, הצטיירה תמונה עגומה אף יותר. הנשאלים העריכו כי 14.12 אחוזים מעמיתיהם חטאו בהתנהגות בלתי הולמת ברמה של זיוף נתונים או תוצאות, וכי עד 72 אחוזים מהם נקטו שיטות מעוררות מחלוקת אחרות.

השאלה על התנהגות עמיתים היא דרך שגורה אצל חוקרים לעמוד על התנהגותו של הנשאל עצמו, המרחיק עדותו לעמיתים שיש להם, בסופו של דבר, רקע מדעי ואחר דומה לשלו.



תגובות

דלג על התגובות

בשליחת תגובה זו הנני מצהיר שאני מסכים/מסכימה עם תנאי השימוש של אתר הארץ

סדר את התגובות
*#
בואו לגלות את עמוד הכתבה החדש שלנו