چرا شواهدی را که با باورمان جور درمیآیند راحتتر میپذیریم؟
اگر دربارهٔ یک موضوع دو گزارش بخوانیم، از هر دو به یک اندازه مدرک میخواهیم؟ با دو پژوهش کلاسیک و یک تمرین، ببینیم باور قبلیمان کجا بر قضاوتمان اثر میگذارد.
بهطور خلاصه
سوگیری شناختی میتواند ارزیابی شواهد را بهطور نظاممند به یک سمت بکشاند؛ نامبردن از آن تشخیص شخصیت افراد نیست. در برخی آزمایشها، شرکتکنندگان و داوران حرفهای گزارش همسو با دیدگاه قبلی را آسانتر پذیرفتهاند. این یافتهها را باید در محدودهٔ همان تکلیفها فهمید. ثبت معیار پیش از دیدن نتیجه و روشنکردن تغییر تصمیمها، امکان نقد را بیشتر میکند و مصونیت از خطا نمیآورد.
فهرست این مقاله
فرض کنید در گروه رصد دو گزارش دربارهٔ یک فیلتر میرسد. گزارش اول میگوید جزئیات ماه بهتر دیده شده؛ دوست طرفدار فیلتر فوری آن را میفرستد. در گزارش دوم، رصدگران جزئیات بیشتری ندیدهاند و همان دوست میپرسد: «نمونهشان کافی بوده؟» سؤالش خوب است. فقط یک جای کار میلنگد: چرا گزارش اول از این بازرسی معاف شد؟ این صحنهٔ فرضی دربارهٔ کیفیت فیلتر چیزی ثابت نمیکند؛ موضوع، ذرهبینی است که ممکن است فقط روی شاهد مخالف بگذاریم.
چرا یک ایراد را فقط در گزارش مخالف میبینیم؟
گاهی نتیجهٔ دلخواه باعث میشود از کنار ضعفی بگذریم که در گزارش مخالف فوراً به چشممان میآید؛ برای سنجیدن این احتمال، باید معیار داوری را در هر دو طرف مقایسه کنیم.
معیار خوب با نتیجهٔ محبوب عوض نمیشود
حالا دربارهٔ هر دو گزارش همان سؤال دوستمان را بپرسیم: چند نفر در رصد شرکت کردهاند؟ اگر تعداد رصدگران برای نتیجهٔ نامطلوب مهم است، در گزارش محبوب هم باید آن را بدانیم. ممکن است در یکی از دو گزارش محدودیتی وجود داشته باشد که نتیجهٔ دیگر را دربرنگیرد؛ اگر دو گزارش را متفاوت ارزیابی میکنیم، باید بتوانیم نشان بدهیم کدام تفاوت در شواهد دلیل این قضاوت است.
برای روشنشدن مسئله لازم نیست از همین ابتدا دربارهٔ ذهن کسی حکم بدهیم. دو متن را کنار هم بگذاریم و ببینیم از هرکدام چه خواستهایم. اگر برای یکی نام نویسنده کافی بوده، ولی برای دیگری دادهٔ کامل و چندین آزمون مستقل میخواهیم، معیار مشترکی نداشتهایم. ممکن است تفاوت قابل دفاعی میان دو گزارش باشد؛ آن تفاوت باید در خود روش یا شاهد دیده شود، نه فقط در نتیجهای که دوستش داریم.
| پرسش داوری | گزارش نتیجهٔ دلخواه دارد | گزارش نتیجهٔ ناخوشایند دارد |
|---|---|---|
| «بهتر دیدن» چطور تعریف شده؟ | همان تعریف روشن لازم است | همان تعریف روشن لازم است |
| شرایط مقایسه چه بوده؟ | باید گزارش شود | باید گزارش شود |
| تلاشهای ناموفق کجا آمدهاند؟ | بخشی از شاهدند | بخشی از شاهدند |
چنین مقایسهای بحث را از «تو طرفدار کدامی؟» به یک کار مشترک میبرد. شاید آخرش هنوز اختلاف بماند، اما دستکم معلوم میشود اختلاف دربارهٔ کیفیت مشاهده است یا پسندیدن نتیجه. این تفاوت برای ادامهٔ گفتوگو از پیدا کردن یک اسم جذاب برای خطای طرف مقابل مفیدتر است.
سوگیری تأییدی با دروغگویی فرق دارد
سوگیری تأییدی نام گرایشی است که در آن جستوجو یا ارزیابی شاهد به سود باور قبلی متمایل میشود. این مفهوم به ما اجازه نمیدهد از یک جمله بفهمیم گوینده عمداً دروغ میگوید. حتی یک نقد درست به گزارش مخالف، بهتنهایی علامت سوگیری نیست؛ شاید گزارش واقعاً ضعیف باشد. مسئله این است که آیا همان سختگیری دربارهٔ شاهد موافق هم اجرا میشود.
ممکن است در نوشتهای خطای استدلال پیدا کنیم، بیآنکه علت روانشناختی آن را بدانیم. مثلاً نتیجه از داده فراتر رفته است؛ این را میتوان با خواندن متن نشان داد. اما اینکه نویسنده چرا چنین نتیجهای گرفته، پرسش دیگری است و معمولاً از همان چند سطر جواب نمیگیرد. نقد استدلال به فکرخوانی احتیاج ندارد.
به همین دلیل، جملهٔ «اینجا معیار شما عوض شده» از «شما آدم سوگیری هستید» دقیقتر است. اولی را میشود با دو مثال مشخص بررسی کرد. دومی کل شخصیت یک نفر را روی میز میگذارد و بحث را از گزارش فیلتر تا دفاع از آبروی شخص میکشاند. در آن وضعیت، خود فیلتر احتمالاً از جلسه خارج شده است.
وقتی دو گروه همان شواهد را خواندند چه شد؟
در یک آزمایش کلاسیک، موافقان و مخالفان یک موضوع اجتماعی گزارش همسو با نظر قبلیشان را قانعکنندهتر ارزیابی کردند؛ نتیجه دربارهٔ همان آزمایش است، نه سرنوشت ناگزیر هر گفتوگو.
دو گزارش پژوهشیِ ساختگی در یک آزمایش واقعی
چارلز لرد، لی راس و مارک لپر (Charles Lord, Lee Ross, Mark Lepper) در پژوهش منتشرشدهٔ سال ۱۹۷۹، از افرادی با موضع موافق و مخالف مجازات اعدام خواستند دو گزارش دربارهٔ اثر بازدارندگی آن را بررسی کنند. گزارشها برای خود آزمایش ساخته شده بودند: یکی ظاهراً از اثر بازدارندگی پشتیبانی میکرد و دیگری ظاهراً خلاف آن را نشان میداد. بنابراین پژوهشگران در این کار، خودِ بازدارندگی مجازات را اندازه نمیگرفتند؛ موضوع، واکنش افراد به شاهد بود.
شرکتکنندگان تنها با یک تیتر روبهرو نبودند؛ اطلاعاتی دربارهٔ روش، نقدها و پاسخها هم در اختیارشان قرار گرفت. در گزارش پژوهش، افراد نتیجهها و روشهای سازگار با موضع قبلی خود را قانعکنندهتر دانستند و در ارزیابیهای گزارششده، اختلاف موضع دو گروه افزایش یافت. نکتهٔ جالب همینجاست: شواهد مختلط لزوماً آنها را در میانهٔ راه به یکدیگر نرساند.
این آزمایش یک مشکل قابل بررسی را پیش چشم میگذارد: ممکن است حتی وقتی دادهٔ تازه را دیدهایم، معیار پذیرفتن آن با جهت نتیجه تغییر کند. آوردن شاهد بیشتر، بدون توجه به شیوهٔ ارزیابی، همیشه کار بحث را تمام نمیکند. این احتمال، دلیل خوبی برای پرسیدن دربارهٔ معیارهاست؛ دلیل خوبی برای کنارگذاشتن شاهد یا تعطیلکردن گفتوگو نیست.
نتیجهٔ آن آزمایش تا کجا قابل تعمیم است؟
شرکتکنندگان آن پژوهش دربارهٔ موضوعی حساس، با باورهای قبلی و در یک تکلیف مشخص داوری میکردند. از نتیجه نمیتوان فهمید دوست شما دربارهٔ یک فیلتر نجومی هم دقیقاً همان رفتار را خواهد داشت. مثال گروه رصد فقط کمک میکند مسئله را بفهمیم؛ تکرار آن آزمایش یا شاهد مستقلی دربارهٔ رصدگران ایرانی نیست.
همچنین نمیتوان نتیجه گرفت ارائهٔ شاهد مخالف همیشه باورها را شدیدتر میکند. برای چنین حکم گستردهای باید موقعیتها، افراد و روشهای دیگری را هم بررسی کرد. اگر کسی بعد از دیدن یک گزارش نظرش عوض نشد، هنوز باید بپرسیم گزارش چقدر قوی بوده و چه چیزی از آن فهمیده است. گاهی نپذیرفتن یک نتیجه کاملاً موجه است.
آیا داور حرفهای هم ممکن است نتیجهٔ دلخواهش را آسانتر بپذیرد؟
تخصص و تجربه مصونیت خودکار نمیآورند؛ در یک پژوهش دربارهٔ داوری علمی نیز همسویی نتیجه با دیدگاه نظری داور بر ارزیابی اثر داشت.
روش مشابه، نتیجههای متفاوت
مایکل ماهونی (Michael Mahoney) در مطالعهای منتشرشده در سال ۱۹۷۷، داوری دستنوشتههایی را بررسی کرد که روش مشترکی داشتند اما نتیجههایشان متفاوت بود. طرح، امکان مقایسهٔ واکنش به نتیجههای سازگار و ناسازگار با دیدگاه نظری داوران را فراهم میکرد. داوران از فهرست داوران مهمان یک مجلهٔ تخصصی انتخاب شده بودند. پژوهشگر گرایش نظری آنان را از همین ارتباط با مجله استنباط کرده بود؛ باور تکتک افراد مستقیماً اندازهگیری نشده بود. در گزارش مطالعه، ارزیابی نتیجههای ناسازگار با آن گرایشِ فرضشده نامساعدتر بود.
این موقعیت از یک جهت آموزنده است: داور برای ایراد گرفتن از روش، زبان و تجربهٔ حرفهای دارد. همین ابزار ارزشمند باید دربارهٔ نتیجهٔ مورد علاقهٔ او هم به کار بیفتد. وگرنه نقد دقیق میتواند نامتقارن شود؛ یکی از دو متن را با ذرهبین بخوانیم و برای دیگری همان نگاه سرسری را کافی بدانیم. حرفهایبودن، نیاز به روش داوری روشن را از میان نمیبرد.
از اینجا میشود به گزارش فیلتر برگشت. اگر کسی شناخت فنی بیشتری دارد، میتواند بگوید چرا مقایسهٔ دو تصویر معتبر نیست. چنین نقدی بسیار کمککننده است. سپس باید دید همان نقص در تصویر مورد علاقهٔ خودش هم وجود دارد یا نه. تخصص، دلیل خوبی برای شنیدن استدلال است؛ جای خود استدلال را نمیگیرد.
در عین حال، توافقنداشتن داورها بهتنهایی نشان نمیدهد یکی از آنها گرفتار سوگیری شده است. شاید پرسش پژوهش مبهم باشد، دو داور به محدودیتهای متفاوتی توجه کرده باشند یا داده واقعاً چند تفسیر را اجازه دهد. آنچه لازم داریم توضیح قابل بررسی دربارهٔ تصمیم است، نه این فرض که هر اختلافی حتماً از پسند شخصی آمده است.
یک آزمایش قدیمی چه چیزی را دربارهٔ علم امروز ثابت نمیکند؟
مطالعهٔ ماهونی دربارهٔ همان گروه داوران و همان تکلیف بود. از آن نمیتوان نرخ سوگیری در همهٔ مجلههای امروز را محاسبه کرد یا تمام نظام داوری علمی را بیاعتبار دانست. گذشت زمان، تفاوت رشتهها و شکل ارزیابی، سؤالهای تازهای میسازند که به دادهٔ تازه نیاز دارند. یک مطالعهٔ محدود را نباید به تیتر «دانشمندان همگی نتیجه را انتخاب میکنند» کش داد.
از سوی دیگر، نادیدهگرفتن مسئله صرفاً به دلیل حرفهایبودن افراد هم پاسخ مناسبی نیست. خودِ داوری میتواند موضوع پژوهش و نقد باشد. میتوان پرسید تصمیم بر چه معیارهایی استوار بوده، کدام ایراد قابل رفع است و آیا با تغییر جهت نتیجه، ارزیابی روش نیز تغییر میکند. اینها پرسشهایی دربارهٔ عملکرد یک فرایندند، نه حمله به ارزش همهٔ پژوهشهای علمی.
برای خوانندهٔ خبر علمی، فایدهٔ این نگاه آن است که میان اعتماد و پیگیری تعادل برقرار کند. اگر گزارشی داوری شده، یک لایهٔ بررسی را پشت سر گذاشته است. هنوز میتوان روش، محدودیت و پاسخ نویسندگان به نقد را خواند. همان نقدپذیریای که از پژوهش میخواهیم، دربارهٔ شیوهٔ بررسی پژوهش نیز به کار میآید.
با چه کارهایی میتوان تصمیم را قابل بازبینی کرد؟
وقتی معیار و تغییر تصمیم را ثبت میکنیم، امکان بررسی آن را به دیگران میدهیم؛ صرفِ آگاهبودن از نام سوگیریها چنین ردپایی ایجاد نمیکند.
پیش از دیدن جواب، معیار را ثبت کنیم
به گروه رصد برگردیم. پیش از مقایسهٔ دو گزارش فیلتر، میتوان نوشت «بهتر دیدن» دقیقاً یعنی چه و چه شاهدی برای پذیرفتن بهبود کافی به نظر میرسد. این نوشته نمیگوید کدام فیلتر خوب است؛ فقط معلوم میکند معیار امروز ما چه بوده است. اگر بعد از دیدن نتیجه معیار عوض شد، میتوان پرسید چرا و تفاوت را نشان داد.
در پژوهش رسمی، پیشثبت پژوهش راهی برای ثبت برنامه پیش از اجرای بخش مربوط به آزمون یا تحلیل است. راهنمای مرکز علوم باز، Center for Open Science، بر روشنکردن تفاوت کار برنامهریزیشده و اکتشافی تأکید میکند. خواننده میتواند ببیند کدام فرضیه و تحلیل از پیش مطرح بوده و کدام پرسش با دیدن دادهها به وجود آمده است. این اطلاعات برای فهم معنای نتیجه مهماند.
چنین ثبتی روش بد را خودبهخود خوب نمیکند. برنامه ممکن است نقص داشته باشد، اجرا با آن فرق کند یا داده برای پاسخ کافی نباشد. فایدهٔ مشخص ثبت این است که دربارهٔ تغییرها میتوان حرف دقیقتری زد. بهجای اتکا به جملهٔ «از اول همین را میخواستیم»، نسخهای از برنامه داریم که میشود آن را با گزارش نهایی مقایسه کرد.
برای استفادهٔ روزمره لازم نیست هر گفتوگوی دوستانه را به ثبت رسمی پژوهش تبدیل کنیم. یک یادداشت کوتاه که «چه چیزی نظرم را عوض میکند» را روشن کند، میتواند مقایسهٔ بعدی را ممکن سازد. این تمرین آموزشی را هم نباید درمان اثباتشدهٔ همهٔ سوگیریها نامید؛ فقط ابزاری است که رد تصمیم خودمان را گم نکنیم.
تحلیل تازه را پنهان نکنیم
گاهی وسط بررسی متوجه چیز جالبی میشویم که در برنامه نبوده است. مثلاً نتیجهٔ کلی دو وسیله تفاوت روشنی ندارد، ولی یک الگوی احتمالی در بخشی از مشاهدهها به چشم میآید. دنبالکردن آن پرسش تازه میتواند ارزشمند باشد. مسئله از جایی شروع میشود که کشف پس از دیدن داده، به شکل پیشبینی قبلی گزارش شود.
میتوان روشن نوشت: «این بخش را از پیش برنامهریزی نکرده بودیم و برای بررسی مستقل به دادهٔ تازه نیاز دارد.» چنین جملهای از ارزش ایده کم نمیکند؛ به خواننده میگوید نتیجه را با چه احتیاطی بفهمد. کاوش و آزمون پیشبینیِ از پیش مشخص، هر دو در پژوهش جای خود را دارند. گزارش درست، تفاوت آنها و تغییرهای مهم برنامه را پنهان نمیکند.
همین قاعده در مثال فیلتر کمک میکند. اگر بعد از نتیجهٔ نامطلوب، تعریف «جزئیات بهتر» را عوض کردهایم، بهتر است نسخهٔ قبلی و دلیل تغییر بماند. شاید تعریف اول واقعاً بد بوده است. میتوان آن را اصلاح کرد، اما شاهد حاصل از تعریف تازه را نباید بیتوضیح جواب همان پرسش قبلی جا زد.
خودتان داور دو متن کوتاه شوید
برای یک تمرین کوتاه، ابتدا روش یک مقایسه را بخوانید و پیش از دیدن نتیجه بنویسید چه چیزهایی برای داوری کم دارد.
پیش از دیدن نتیجه، سؤالهایتان را بنویسید
این دو گزارش ساختهٔ آموزشیاند و هیچ ادعایی دربارهٔ محصول واقعی ندارند. هر دو از یک روش مشترک استفاده کردهاند: یک رصدگر، در دو زمان متفاوت از شب، ماه را یک بار با وسیلهٔ کمکی و یک بار بدون آن دیده و در پایان از حافظه نوشته کدام تصویر جزئیات بیشتری داشته است. تعریف جزئیات، ترتیب مشاهدهها و شرایط دقیق در گزارش نیامده است.
پیش از خواندن جملهٔ بعد، سؤالهایتان را یادداشت کنید. آیا برای هر دو حالت معیار دیدن مشخصی میخواهید؟ چه چیزی دربارهٔ ترتیب مشاهده و شرایط کم است؟ آیا همین یک تجربه برای ادعای کلی دربارهٔ همهٔ رصدگران کافی است؟ لازم نیست همینجا نسخهٔ کامل یک پژوهش بسازید؛ فقط نقصهای تعیینکنندهٔ این گزارش کوتاه را پیدا کنید.
اگر از قبل طرفدار یکی از نتیجهها باشید، ممکن است برای آن توضیحی پیدا کنید که برای دیگری سختتر میپذیرید. این احتمال را میتوانید در یادداشت خود بررسی کنید. اما پاسخ این تمرین نمرهٔ شخصیت یا اندازهٔ علمی سوگیری شما نیست؛ شرایط آن برای چنین سنجشی طراحی نشده است.
کلید تمرین: به روش امتیاز بدهیم یا به موافقت؟
روش توصیفشده در هر دو گزارش، اطلاعات مهم مشترکی کم دارد. حتی اگر نتیجه برعکس شود، هنوز باید بدانیم دقیقاً چه چیزی را در چه شرایطی سنجیدهاند. حتی اگر برداشت رصدگر دربارهٔ تجربهٔ همان شب درست ثبت شده باشد، تعمیم آن به کارایی کلی وسیله برای همهٔ افراد به شاهد بیشتری نیاز دارد. با همین توضیح کوتاه، نه بهبود کلی ثابت شده و نه نبود هرگونه فایده.
برای بهترشدن گزارش میتوان از رصدگر خواست معیار تشخیص جزئیات و شرایط هر مشاهده را روشن کند. اگر بررسی منظمتری لازم است، ترتیب مقایسه، ثبت مستقل نتیجه و گزارش همهٔ تلاشها هم اهمیت پیدا میکند. با این کارها دیگران هم میتوانند نتیجه را بررسی کنند. برای داوری دربارهٔ خود محصول هنوز به داده نیاز داریم. هنوز لازم است طرح مناسب با پرسش انتخاب شود.
اگر متوجه شدید به گزارش مورد علاقهتان آسانتر امتیاز دادهاید، نتیجهٔ مفید تمرین همین پیدا کردن یک تفاوت مشخص است. لازم نیست از آن نتیجه بگیرید در همهٔ تصمیمها یک جور رفتار میکنید. دفعهٔ بعد میتوانید سؤالها را زودتر بنویسید و ببینید آیا با تغییر نتیجه ثابت میمانند. آن یادداشت از جملهٔ مبهم «من سعی میکنم بیطرف باشم» قابل بررسیتر است.
در بحث بعدی، بهجای برچسب چه بگوییم؟
پرسش مشخص دربارهٔ معیار و شاهد، راه پاسخدادن را باز میگذارد؛ نسبتدادن یک خطای ذهنی به طرف مقابل معمولاً خودِ استدلال را بررسی نمیکند.
یک سؤال مشترک از هر دو طرف بپرسیم
جملهٔ «اگر نتیجه برعکس بود، باز همین ایراد را میگرفتیم؟» میتواند شروع خوبی باشد، به شرط آنکه واقعاً منتظر جواب بمانیم. شاید پاسخ نشان دهد دو گزارش در روش تفاوت مهمی دارند. آن وقت باید تفاوت را بخوانیم. سؤال را برای رسیدگی به شاهد پرسیدهایم؛ نباید آن را طوری بچینیم که هر پاسخی اعتراف به سوگیری حساب شود.
همچنین میتوان به دو بند دقیق اشاره کرد: «اینجا تعداد افراد را کافی دانستهاید، ولی برای گزارش دیگر با همان شرایط، آن را کم میدانید؛ فرقشان چیست؟» حالا اختلاف شکل روشنی دارد. طرف مقابل ممکن است خطایش را بپذیرد یا دلیل تازهای بیاورد. در هر دو حالت، چیزی برای بررسی روی میز میآید. لازم نیست دربارهٔ هوش، صداقت یا تمام باورهای او حرف بزنیم.
وجود یک خطای منطقی هم بهتنهایی علت ذهنی آن را مشخص نمیکند. اگر نتیجهای از مقدمات برنمیآید، همان فاصله را نشان میدهیم. تشخیص اینکه نویسنده از باور قبلی تأثیر گرفته، اشتباه خوانده یا اطلاعات دیگری داشته، نیاز به شاهد جداگانه دارد. این مرز جلوی تبدیل اصطلاح علمی به ناسزای مؤدبانه را میگیرد.
نظرمان را با درجهٔ اطمینان مناسب نگه داریم
گاهی پس از بررسی هنوز یک گزارش را قویتر میدانیم. لازم نیست برای نشاندادن انصاف، هر دو را هموزن اعلام کنیم. انصاف یعنی معیار متناسب را در هر دو به کار ببریم و اگر کیفیت شاهد متفاوت است، تفاوت را توضیح دهیم. توافق دو نفر هم لزوماً نتیجه را درست نمیکند؛ اختلافشان نیز خودبهخود گواه سوگیری نیست.
میتوان نتیجه را محدود نوشت: «با اطلاعات فعلی، روش این گزارش روشنتر است، اما برای تعمیم به شرایط دیگر شاهد نداریم.» با این جمله میگویید کدام گزارش را ترجیح دادهاید و تا کجا به نتیجهاش اعتماد دارید. اگر دادهٔ تازه رسید، معلوم است کدام بخش از داوری باید دوباره بررسی شود. تغییر نظر در این حالت نیاز به پنهانکردن نسخهٔ قبلی ندارد.
برای بحث بعدی فقط یک کار انتخاب کنید: پیش از خواندن نتیجه، یک سؤال مشترک دربارهٔ روش بنویسید و بعد ببینید همان سؤال را از شاهد موافق و مخالف پرسیدهاید یا نه. ثبت پاسخها شاید یک نقص در گزارش پیدا کند، شاید هم یک معیار ناهماهنگ در داوری خودتان. هر دو چیز مشخصی برای بهترکردن گفتوگو در اختیارتان میگذارند.







