چطور آمار را بخوانیم و فریب عددها را نخوریم؟
اگر یک نتیجه از نظر آماری معنیدار باشد، آیا در عمل هم مهم است؟ با چند مثال ببینید مقدار پی، اندازهٔ اثر و عدمقطعیت هرکدام به چه سؤالی جواب میدهند.
بهطور خلاصه
همبستگی بهتنهایی نشان نمیدهد کدام عامل علت دیگری است. مقدار پی احتمال درستبودن فرضیه یا اندازهٔ اثر نیست؛ برای فهم نتیجه باید مدل آزمون، طراحی، اندازهٔ اثر و عدمقطعیت را کنار هم دید. نمونهٔ کوچک خودکار بیارزش نیست و نمونهٔ بزرگ هم خطای روش را درمان نمیکند. تعداد تحلیلهای انجامشده و شیوهٔ انتخاب نتیجهٔ برجسته، بخشی از تفسیر خبرند.
فهرست این مقاله
در یک گفتوگوی فرضیِ گروه رصد، چند نفر میگویند بعد از نوشیدنی محبوبشان اجرام بیشتری دیدهاند. یکی نتیجه میگیرد نوشیدنی رصد را بهتر میکند؛ دیگری میپرسد: «از نظر آماری معنیدار هم بود؟» انگار با شنیدن یک عدد قرار است تکلیف هوا، ابزار و تجربهٔ همه روشن شود.
نه لازم است نوشیدنی را مقصر بدانیم، نه از ترس آمار بحث را ببندیم. میتوانیم از گزارش چند چیز مشخص بخواهیم: چه کسانی مقایسه شدهاند، چه چیزی تغییر کرده و عدد دقیقاً جواب کدام سؤال است؟ از همان پرسش اول شروع کنیم.
دو چیز با هم تغییر کردهاند؛ کدام علت است؟
یک عامل سوم میتواند هر دو را تکان بدهد
همراهی دو اتفاق، بهتنهایی نشان نمیدهد یکی علت دیگری است. فرض کنید در یک مثال خیالی، با گرمترشدن هوا هم فروش بستنی بیشتر شود و هم رفتن به استخر. اگر فقط دو ستونِ فروش بستنی و تعداد شناگران را ببینیم، ممکن است همراهی چشمگیری پیدا کنیم. اما برای این همراهی لازم نیست بستنی کسی را به آب انداخته باشد؛ گرما میتواند هر دو رفتار را تغییر داده باشد. این مثال دادهٔ واقعی هیچ شهر یا فصلی نیست.
به تغییر همراهِ دو متغیر، همبستگی (correlation) میگوییم. متغیر هم همان چیزی است که اندازه میگیریم و میتواند مقدارهای مختلف داشته باشد؛ مثلاً تعداد شناگران. همبستگی برای پیدا کردن سرنخ مفید است. مشکل از جایی آغاز میشود که سرنخ را بیبررسی به توضیح نهایی ارتقا دهیم. ممکن است جهت اثر را برعکس حدس زده باشیم، عامل سومی در میان باشد، یا دادهٔ محدود تصویری ناپایدار ساخته باشد.
در مثال فرضیِ گروه رصد، همراهیِ یک نوشیدنی با رصد موفقتر هنوز علت را روشن نمیکند. هوا، زمان رصد یا تجربه ممکن است فرق کرده باشند. اینها حدساند؛ برای داوری داده و مقایسه لازم داریم.
برای ادعای علت، چه چیز بیشتری میخواهیم؟
برای ادعای علت باید نشان دهیم چرا توضیحهای رقیب کافی نیستند و روش مطالعه چه مقایسهای را ممکن کرده است. آیا علتِ پیشنهادی پیش از پیامد رخ داده؟ گروهها جز در عامل مورد بررسی چه تفاوتهایی داشتهاند؟ اندازهگیری در هر دو گروه یکسان بوده است؟ پاسخِ نیامده در گزارش را باید از روش پژوهش پی گرفت؛ تیتر کوتاهتر نمیتواند مشکل طراحی را حل کند.
گاهی عامل سومی روی رابطهٔ مورد بررسی اثر میگذارد؛ به چنین عاملی، با توجه به نقش آن در طراحی مطالعه، متغیر مخدوشگر میگوییم. پژوهشگر میتواند با طراحی مناسب، اندازهگیری عاملهای مهم و تحلیل متناسب، توضیحهای رقیب را بررسی کند. در آزمایشهای مناسب، تخصیص تصادفی هم برای کمکردن بعضی تفاوتهای گروهها به کار میرود. با این حال، دیدن واژهٔ «تصادفی» روی جلد، جای خواندن روش را نمیگیرد.
از آن طرف هم نباید هر مطالعهٔ مشاهدهای را دور بیندازیم. بسیاری از پرسشها را نمیتوان یا نباید با مداخله آزمود. نکته این است که ادعای علّی به طراحی و فرضهای موجه نیاز دارد؛ خودِ همبستگی آن فرضها را تحویل نمیدهد. برای خواندن یک خبر، پرسشِ «چه چیزی جز علت پیشنهادی میتواند این همراهی را بسازد؟» شروع خوبی است، حتی اگر پاسخ نهایی را هنوز ندانیم.
مقدار پی احتمالِ کدام اتفاق است؟
اول فرض صفر و آزمون را معلوم کنیم
مقدار پی (p-value) احتمالِ بهدستآوردن آمارهای بهاندازهٔ مقدار مشاهدهشده یا افراطیتر است، اگر مدل آماریِ مشخص، از جمله فرض صفر و مفروضات آزمون، درست باشد. به زبان ساده، مدل و فرض صفر را موقتاً درست میگیریم و میپرسیم: در این چارچوب، رسیدن به عددی دستکم به همین اندازه افراطی چقدر محتمل است؟ اینکه چه چیزی «افراطیتر» حساب شود، به همان آزمون بستگی دارد. شرطهای تعریف را باید نگه داریم؛ حذفشان معنای عدد را عوض میکند. مقدار پی بدون مدل و سؤال آزمون مثل مختصاتی است که نگفتهاند روی کدام نقشه آمده است.
فرض صفر گزارهای مشخص در مدل است؛ مثلاً در یک مقایسه ممکن است بگوید میانگینِ دو گروه تفاوتی ندارد. در مسئلهای دیگر، فرض صفر چیز دیگری است. آماره هم عددی است که آزمون از دادهها میسازد تا میزان ناسازگاری را بسنجد. «افراطیتر» را نیز همان آزمون تعریف میکند؛ هر عدد بزرگ یا هر دادهٔ عجیب در زندگی روزمره الزاماً مصداقش نیست.
فرض کنید گزارشی کاملاً خیالی برای یک آزمون مشخص، p=0.03 داده است. برای تفسیرش میگوییم: اگر مدل و فرض صفر درست باشند، احتمال رسیدن به آمارهای دستکم به همین اندازه افراطی، در تعریف همان آزمون، ۳ درصد است. این عدد در اینجا فقط مثال تفسیر است؛ دادهای برای محاسبهاش نساختهایم و نتیجهٔ هیچ پژوهش واقعی را گزارش نمیکنیم.
چرا مقدار پی احتمالِ درستبودن فرضیه نیست؟
مقدار پی با فرضِ مدل محاسبه میشود؛ احتمال درستبودن همان مدل را از روی داده به ما نمیدهد. جملهٔ «مقدار پی ۳ درصد است، پس احتمال درستبودن فرض صفر ۳ درصد است» جای شرط و نتیجه را عوض میکند. همانطور که «اگر هوا بارانی باشد، زمین معمولاً خیس است» با «اگر زمین خیس باشد، حتماً باران آمده» یکی نیست. آبیاری هم میتواند در ماجرا سهمی داشته باشد؛ مثال، فقط برای دیدن جهت شرط است.
همچنین نمیتوان گفت «۳ درصد احتمال دارد نتیجه صرفاً تصادفی باشد». این عبارت معلوم نمیکند کدام مدل، کدام نتیجه و چه معنایی از تصادف منظور است. مقدار پی نه احتمالِ راستگفتن پژوهشگر است، نه احتمال تکرارشدن نتیجه و نه اندازهگیریِ سهم شانس در جهان. هرکدام از این پرسشها اطلاعات و صورتبندی دیگری لازم دارند.
| برداشت شتابزده | چیزی که باید بپرسیم |
|---|---|
| مقدار پی کوچک است، پس فرضیه درست است | داده با کدام مدل و مفروضات ناسازگار دیده شده است؟ |
| مقدار پی کوچک است، پس اثر بزرگ است | اندازهٔ اثر و یکای آن چیست؟ |
| مقدار پی بزرگ است، پس هیچ اثری نیست | داده چه دامنهای از اثرها را هنوز ممکن میداند؟ |
گذشتن از یک آستانه، مدرک عبور از همهٔ این پرسشها نیست. آستانه میتواند بخشی از روشِ ازپیشتعریفشده باشد، اما نتیجهٔ علمی را نمیتوان به چراغ سبز و قرمز یک عدد سپرد. هنوز باید بدانیم چه چیزی اندازه گرفتهاند و چقدر دربارهٔ مقدارش اطلاع داریم.
اثر چقدر است و این برآورد چقدر دقیق است؟
معنیداری آماری با اهمیت اثر فرق دارد
معنیداری آماری دربارهٔ نتیجهٔ یک آزمون در چارچوب مشخص حرف میزند؛ اهمیتِ اثر به اندازه و معنای آن در مسئله مربوط است. اگر روشی زمان انجام یک کار را تغییر داده، میخواهیم بدانیم تغییر چقدر بوده و با چه یکایی گزارش شده است. «تفاوت پیدا شد» بهتنهایی نمیگوید آن تفاوت برای تصمیم ما ارزش دارد یا آنقدر کوچک است که در کاربرد موردنظر چندان به کار نمیآید.
اندازهٔ اثر قرار است همین فاصله را روشنتر کند. بسته به پرسش، ممکن است اختلاف میانگین، نسبت یا سنجهای دیگر باشد. لازم نیست خواننده همهٔ سنجهها را حفظ کند؛ باید بفهمد عدد چه چیزی را با چه چیزی مقایسه میکند. اندازهٔ نمونهٔ بزرگ میتواند بعضی تفاوتهای کوچک را دقیقتر آشکار کند، اما کوچکبودن مقدار پی، خودبهخود آن تفاوت را مهم نمیکند.
نتیجهٔ غیرمعنیدار هم حکمِ «اثر وجود ندارد» نیست. شاید داده با نبود اثر و با دامنهای از اثرهای قابل توجه هر دو سازگار باشد. برای ادعای نبودن یا آنقدر کوچکبودن اثر که مهم نباشد، طراحی و تحلیل مناسب لازم است. اگر فقط یک مقدار پی داریم، سؤالِ اندازه و عدمقطعیت هنوز روی میز مانده است.
بازهٔ اطمینان را به احتمالِ فرضیه تبدیل نکنیم
بازهٔ اطمینان نشان میدهد روشِ برآورد، با مفروضاتش، چه دامنهای برای پارامتر موردنظر به دست داده است. به جای یک عدد تنها، دو کران داریم و بهتر میبینیم برآورد چقدر دقیق است. اگر روش یکسان باشد، بازهٔ باریکتر معمولاً یعنی برآورد دقیقتر است؛ ولی دربارهٔ درستبودن روش اندازهگیری یا نمایندهبودن نمونه بهتنهایی تضمینی نمیدهد.
در تعبیر متداولِ بازهٔ اطمینان ۹۵ درصد، عدد ۹۵ درصد به روش مربوط است: اگر نمونهگیری و ساختن بازه را بارها تحت شرایط مدل تکرار کنیم، حدود ۹۵ درصد بازهها پارامتر واقعی را میپوشانند. این تعبیر نمیگوید پس از محاسبهٔ همین بازه، پارامتر ثابت با احتمال ۹۵ درصد در آن جابهجا میشود یا قرار دارد. جزئیات مدل مهماند؛ درصد را از روش جدا نکنیم.
| برای فهمیدن چه چیزی؟ | چه اطلاعاتی میخواهیم؟ |
|---|---|
| مقدار تفاوت | اندازهٔ اثر و یکا |
| دقت برآورد | بازه و روش ساختن آن |
| ارزشِ اثر در مسئله | معیار اهمیت و زمینهٔ کاربرد |
| نسبتدادن علت | طراحی و فرضهای استنباط علّی |
اگر ابزار بد تنظیم شده باشد، ممکن است همیشه کمی بیشتر یا کمتر از مقدار واقعی نشان دهد. با تکرار اندازهگیریها شاید برآورد دقیقتری به دست بیاورید، اما آن برآورد همچنان میتواند از مقدار واقعی فاصله داشته باشد. بنابراین «بازه باریک است» پایان بررسی نیست. باید هم بپرسیم عدد چقدر نوسان دارد، هم بپرسیم آیا اساساً چیزِ موردنظر را درست اندازه گرفتهاند.
چند نمونه کافی است؟ اول بپرسیم چه چیزی شمرده شده
هزار عکس از یک شب، هزار شب مستقل نیست
تعداد فایلها لزوماً تعداد مشاهدههای مستقل نیست؛ باید ببینیم هر داده به چه واحدی مربوط است. فرض کنید در یک تمرین خیالی، یک رصدگر در یک شب هزار عکس میگیرد. این مجموعه ممکن است برای پرسشی دربارهٔ تغییرات همان شب مفید باشد. اما اگر سؤال دربارهٔ تفاوت شبها، مکانها یا رصدگران باشد، هزار بار ثبت در یک وضعیت، آن هزار وضعیت متفاوت را در اختیارمان نمیگذارد.
بعضی چیزها میان عکسها مشترکاند: ابزار، تنظیمات، محل و بخشی از شرایط شب. اگر خطایی از همان ابزار آمده باشد، ممکن است در عکسهای فراوان تکرار شود. بنابراین باید بدانیم تحلیل با این وابستگی چه کرده است. عبارت «هزار نمونه» تا وقتی معلوم نباشد نمونه عکس است، فرد است یا شب، عددی بزرگ با معنای نامشخص باقی میماند.
این حرف به معنی بیفایدهبودن عکسهای پیاپی نیست. پرسش پژوهش تعیین میکند از آنها چه چیزی میتوان آموخت و مدلِ تحلیل باید با ساختار داده جور باشد. عکس بیشتر میتواند اطلاعاتی دربارهٔ همان وضعیت اضافه کند، اما ما را خودکار به نتیجهای دربارهٔ همهٔ شبها نمیرساند. برای خواندن خبر، بد نیست کنار تعداد نمونه یک سؤال کوتاه بنویسیم: «این تعداد، تعدادِ چه چیزی است؟»
نمونهٔ کوچک کماطلاعتر است، نه لزوماً غلط
نمونهٔ کوچک معمولاً اطلاعات محدودتری دربارهٔ مقدار موردنظر میدهد، ولی اندازهٔ مناسب به سؤال و طراحی بستگی دارد. برای برآوردی با دقت مشخص، پراکندگی داده هم مهم است. در مقایسهٔ دو وضعیت، اندازهٔ اثری که برای ما اهمیت دارد و خطاهایی که میپذیریم نیز در طراحی نقش دارند. عددی که برای پاسخ به یک پرسش کافی است، ممکن است برای پرسشی دیگر کافی نباشد.
اگر فقط چند رصدگر داوطلب بررسی شدهاند، باید ببینیم نتیجه دربارهٔ همان افراد است یا قرار است به جمعیتی بزرگتر تعمیم پیدا کند. حتی افزایش تعداد داوطلبان، روش انتخاب آنها را خودکار اصلاح نمیکند. شاید فقط کسانی پاسخ دادهاند که تجربهٔ خاص یا انگیزهٔ بیشتری داشتهاند. عدد بزرگتر میتواند بعضی برآوردها را دقیقتر کند، اما نمایندهبودن جمعیت پرسش جداگانهای است.
در نتیجه، «نمونه کم است، پس پژوهش غلط است» و «نمونه زیاد است، پس نتیجه قطعی است» هر دو شتابزدهاند. از گزارش بخواهیم بگوید برای چه هدفی داده جمع شده، واحد بررسی چیست و عدمقطعیت چطور سنجیده شده است. اگر گزارش این اطلاعات را نمیدهد، بنویسیم چه چیزی را نمیتوانیم بررسی کنیم؛ حدسزدن یک تعدادِ ایدهآل، نقص گزارش را جبران نمیکند.
چرا بعد از چندین جستوجو باید محتاطتر باشیم؟
این نتیجه از میان چند مقایسه انتخاب شده است؟
تفسیر یک نتیجه به این هم وابسته است که از میان چند تحلیل انتخاب شده باشد. تصور کنید در یک تمرین فرضی، دادههای یک برنامهٔ رصد را با چندین گروهبندی زیرورو کردهایم: بر اساس محل، ابزار، زمان و ویژگیهای داوطلبان. حالا یکی از مقایسهها از آستانهٔ انتخابی گذشته است. اگر خبر فقط همان نتیجه را نشان دهد، خواننده نمیبیند پیش از آن چند سؤال دیگر پرسیده شده است.
تکرار آزمونهای گوناگون میتواند احتمال پیدا شدن دستکم یک نتیجهٔ ظاهراً معنیدار را تغییر دهد. آزمونهای بیشتر میتوانند فرصت بیشتری برای پیدا شدن یک نتیجهٔ ظاهراً معنیدار بر اثر نوسان تصادفی فراهم کنند. بنابراین سطح خطای تعریفشده برای یک آزمون را عموماً نمیتوان به کل این جستوجو نسبت داد. برای مقایسههای متعدد روشهای آماری مناسب وجود دارد؛ مسئله با شمردن تعداد تحلیلها و گفتن «پس همه نامعتبرند» حل نمیشود.
همچنین از دیدن چند مقایسه نمیتوان سوءنیت پژوهشگر را نتیجه گرفت. شاید طرح از ابتدا چند سؤال داشته یا هدف کار اکتشاف بوده است. چیزی که برای خواننده اهمیت دارد، شفافبودن مسیر است: پیامد اصلی کدام بوده، کدام تحلیل از قبل مشخص شده و کدام پس از دیدن داده جالب به نظر رسیده است؟ اگر اینها قاطی شوند، قوت یک نتیجه بیش از آنچه هست به نظر میرسد.
اکتشاف پرسش میسازد؛ تأیید به بررسی تازه نیاز دارد
تحلیل اکتشافی میتواند سرنخ خوبی پیدا کند، به شرط آنکه سرنخ را نتیجهٔ ازپیشآزموده معرفی نکنیم. گاهی الگوی جالبی در داده دیده میشود که اصلاً انتظارش را نداشتهایم. این اتفاق میتواند آغاز یک پرسش تازه باشد. برای سنجیدن آن، بررسی متناسبِ بعدی لازم است؛ تکرار همان انتخاب روی همان داده، شاهد مستقلی برای حدس تازه نمیسازد.
پیشتعیینکردن سؤالها هم سپرِ همهٔ خطاها نیست. طراحی و اندازهگیری همچنان باید مناسب باشند و تغییرهای لازم در تحلیل، اگر پیش آمدند، توضیح داده شوند. خواننده دنبال دفتر بازجویی نیست؛ دنبال این است که بفهمد ادعا چگونه از داده بیرون آمده است. گزارشِ روشن اجازه میدهد نتیجهٔ اولیه، اکتشاف تازه و محدودیتهای هرکدام را جدا ببینیم.
اگر یک مطالعهٔ دیگر نتیجهٔ مشابهی نداد، باز هم باید روشها و عدمقطعیتها را دید. یکسانبودن عنوان دو کار، به معنی یکسانبودن نمونه و شرایط نیست. شکستِ تکرار میتواند مسئلهای جدی برای بررسی باشد، اما بهتنهایی برچسب «دروغ» یا «همهچیز تأیید شد» به دست نمیدهد. داوری دربارهٔ مجموعهٔ شواهد، از مقایسهٔ یک چراغ سبز با یک چراغ قرمز بیشتر کار دارد.
با سه جمله تمرین کنیم، بعد یک خبر را باز کنیم
خودتان خطای هر جمله را پیدا کنید
برای تمرین، هر جمله را به پرسشی تبدیل کنید که با اطلاعات گزارش بتوان جوابش را پی گرفت. لازم نیست اصطلاح فنی تازهای حفظ کنید. اگر برای پاسخ، دادهٔ دیگری لازم است، همان نیاز را بنویسید. همهٔ جملههای این تمرین فرضیاند و هیچ پژوهش واقعی را توصیف نمیکنند.
در جملهٔ اول، شرطی را پیدا کنید که حذف شده است. در دومی، از خودتان بپرسید چه چیزهایی میان عکسها مشترکاند. در سومی، به جای دوگانهٔ «اثر هست یا نیست»، بپرسید داده چقدر دقیق است و چه دامنهای را هنوز کنار نگذاشته است. اگر پاسخها را فقط از تیتر نمیتوان یافت، به متن روش و نتیجه نیاز داریم.
پاسخها و برگهٔ پنجپرسشی برای خبر بعدی
خطای جملهٔ اول، تبدیل احتمالِ یک آماره تحت مدل به احتمالِ غلطبودن نتیجه است. سؤال بهتر این است: «آزمون با چه فرض صفر و مفروضاتی انجام شده و مقدار پی دقیقاً برای کدام آماره گزارش شده است؟» بعد هم باید اندازهٔ اثر، عدمقطعیت و مسیر تحلیل را دید؛ تصحیحِ تعریفِ عدد، همهٔ مطالعه را ارزیابی نمیکند.
در جملهٔ دوم، تعداد عکس را بیبررسی تعداد واحدهای مستقل فرض کردهاند. باید واحد نمونه و وابستگیها روشن شود. در جملهٔ سوم، ممکن است نتیجه نامطمئن باشد؛ برای ادعای نبود اثر یا کوچکبودن آن باید دامنهٔ برآورد و روش مناسب را بررسی کرد. «پیدا نکردیم» همیشه همان «وجود ندارد» نیست.
برای خبر بعدی، این پنج سؤال را کنار سند اصلی نگه دارید:
- پژوهش دقیقاً چه چیزی را با چه چیزی مقایسه کرده است؟
- تعدادِ گزارششده، تعداد کدام واحدهاست و چگونه انتخاب شدهاند؟
- اندازهٔ اثر و بازهٔ عدمقطعیت چه میگویند؟
- نتیجهٔ برجسته از میان چند مسیر تحلیل بیرون آمده است؟
- کدام محدودیت، نسبتدادن علت یا تعمیم را دشوار میکند؟
ممکن است بخشی از این اطلاعات در خبر نباشد و در مقاله پیدا شود. اگر آنجا هم نیست، بنویسید «در گزارشِ دیدهشده روشن نیست». این جمله دقیقتر از متهمکردن نویسنده است و راه پرسش بعدی را باز میگذارد. آنچه برای بازگویی خبر لازم داریم، مرزِ روشنِ دانستههاست؛ نه یک عدد که جای همهٔ آنها امضا کند.







