با استفاده از اندازه اثر - یا چرا مقدار p کافی نیست

اهمیت آماری کمترین چیز در مورد نتایج است. شما باید نتایج را از نظر اقدامات بزرگی توصیف کنید - نه ، آیا یک درمان بر روی افراد تأثیر می گذارد ، اما چقدر بر آنها تأثیر می گذارد.

- ژن V. شیشه 1

محصول اصلی یک تحقیق تحقیق یک یا چند اقدامات از اندازه اثر است نه مقادیر p.

- یعقوب کوهن 2

این اظهارات در مورد اهمیت اندازه اثر توسط دو تا از تأثیرگذارترین محققان آماری در نیم قرن گذشته انجام شد. با این وجود بسیاری از ارسال ها به مجله آموزش پزشکی فارغ التحصیل ، ذکر اندازه اثر در مطالعات کمی را نشان می دهد و در عین حال که به طور برجسته ارزش P را نشان می دهد. در این مقاله ، ما خوانندگان را با پیشینه آماری اندک یا ناچیز هدف قرار می دهیم تا شما را ترغیب به بهبود درک خود از اهمیت اندازه اثر برای برنامه ریزی ، تجزیه و تحلیل ، گزارش دهی و درک مطالعات تحقیقاتی آموزش و پرورش کنیم.

اندازه اثر چیست؟

در مطالعات تحقیقاتی آموزش پزشکی که مداخلات مختلف آموزشی را با هم مقایسه می کنند ، اندازه اثر میزان تفاوت بین گروه ها است. اندازه اثر مطلق تفاوت بین میانگین یا میانگین نتایج در دو گروه مداخله مختلف است. به عنوان مثال ، اگر یک مداخله آموزشی منجر به بهبود نمرات معاینه افراد به طور متوسط 15 از 50 سؤال در مقایسه با مداخله دیگر شود ، اندازه اثر مطلق 15 سؤال یا 3 سطح درجه (30 ٪) بهتر استآزمون. اندازه اثر مطلق ، تنوع در نمرات را در نظر نمی گیرد ، در این صورت که هر موضوع به نتیجه متوسط دست نیافته است.

در مثال دیگر ، اعتماد به نفس خود ارزیابی شده ساکنان در انجام یک روش به طور متوسط 0. 4 نقطه در مقیاس لیکرت از 1 تا 5 ، پس از آموزش شبیه سازی بهبود یافته است. در حالی که اندازه اثر مطلق در مثال اول واضح به نظر می رسد ، اندازه اثر در مثال دوم کمتر آشکار است. آیا 0. 4 تغییر زیادی دارد یا بی اهمیت؟حسابداری برای تنوع در بهبود اندازه گیری شده ممکن است در تفسیر بزرگی تغییر در مثال دوم کمک کند.

بنابراین ، اندازه اثر می تواند به تفاوت خام بین میانگین گروه ، یا اندازه اثر مطلق و همچنین اقدامات استاندارد اثر ، که برای تبدیل اثر به مقیاس به راحتی قابل درک محاسبه می شود ، اشاره کند. اندازه اثر مطلق هنگامی مفید است که متغیرهای مورد مطالعه دارای معنای ذاتی باشند (به عنوان مثال ، تعداد ساعت خواب). شاخص های محاسبه شده از اندازه اثر هنگامی مفید هستند که اندازه گیری ها معنای ذاتی ندارند ، مانند اعداد در مقیاس لیکرت. هنگامی که مطالعات از مقیاس های مختلف استفاده کرده اند ، بنابراین هیچ مقایسه مستقیم امکان پذیر نیست. یا هنگامی که اندازه اثر در زمینه تغییرپذیری در جمعیت مورد مطالعه مورد بررسی قرار می گیرد.

اندازه اثر محاسبه شده همچنین می تواند به طور کمی نتایج حاصل از مطالعات مختلف را مقایسه کند و بنابراین معمولاً در متاآنالیز استفاده می شود.

چرا اندازه اثر را گزارش می دهیم؟

اندازه اثر یافته اصلی یک مطالعه کمی است. در حالی که یک مقدار P می تواند به خواننده اطلاع دهد که آیا اثر وجود دارد ، مقدار P اندازه اثر را نشان نمی دهد. در مطالعات گزارش و تفسیر ، هر دو اهمیت اساسی (اندازه اثر) و اهمیت آماری (مقدار P) نتایج اساسی هستند که باید گزارش شوند.

به همین دلیل ، اندازه اثر باید در بخش های انتزاعی و نتایج مقاله گزارش شود. در حقیقت ، برآوردی از اندازه اثر اغلب قبل از شروع تلاش تحقیق مورد نیاز است ، به منظور محاسبه تعداد افراد مورد نیاز برای جلوگیری از خطای نوع II یا β ، که احتمال نتیجه گیری وجود ندارداثر در واقع وجود دارد. به عبارت دیگر ، شما باید تعیین کنید که چه تعداد از افراد در مطالعه برای اطمینان از (به یک درجه خاص از اطمینان) که این مطالعه دارای قدرت قابل قبولی برای حمایت از فرضیه تهی است ، کافی خواهد بود. یعنی اگر هیچ تفاوتی بین گروه ها پیدا نشود ، این یک یافته واقعی است.

چرا مقدار P کافی نیست؟

اهمیت آماری این احتمال است که تفاوت مشاهده شده بین دو گروه به دلیل شانس باشد. اگر مقدار p از سطح آلفا انتخاب شده بزرگتر باشد (به عنوان مثال ، 05/0) ، فرض بر این است که هر تفاوت مشاهده شده با تنوع نمونه گیری توضیح داده می شود. با داشتن یک نمونه به اندازه کافی بزرگ ، یک آزمایش آماری تقریباً همیشه تفاوت معنی داری را نشان می دهد ، مگر اینکه هیچ تاثیری در آن وجود نداشته باشد ، یعنی وقتی اندازه اثر دقیقاً صفر باشد. با این حال ، تفاوت های بسیار ناچیز ، حتی اگر قابل توجه باشد ، اغلب بی معنی است. بنابراین ، گزارش فقط مقدار P قابل توجه برای تجزیه و تحلیل برای خوانندگان کافی نیست که نتایج را به طور کامل درک کنند.

به عنوان مثال ، اگر اندازه نمونه 10 000 باشد ، احتمالاً مقدار P قابل توجهی پیدا می شود حتی اگر تفاوت نتایج بین گروه ها ناچیز باشد و ممکن است مداخله گران قیمت یا وقت گیر را بر روی دیگری توجیه نکند. سطح اهمیت به خودی خود اندازه اثر را پیش بینی نمی کند. بر خلاف آزمون های اهمیت ، اندازه اثر مستقل از اندازه نمونه است. از طرف دیگر اهمیت آماری بستگی به اندازه نمونه و اندازه اثر دارد. به همین دلیل ، مقادیر P به دلیل وابستگی به اندازه نمونه ، اشتباه گرفته می شوند. بعضی اوقات نتیجه آماری قابل توجه فقط به این معنی است که از اندازه نمونه عظیم استفاده شده است. 3

یک نمونه متداول از این مشکل ، مطالعه سلامت پزشکان آسپرین برای جلوگیری از انفارکتوس میوکارد (MI) است. 4 در بیش از 22000 فرد به طور متوسط 5 سال ، آسپرین با کاهش MI همراه بود (اگرچه در مرگ و میر کلی قلبی عروقی نیست) که از نظر آماری بسیار معنی دار بود: P<.00001. The study was terminated early due to the conclusive evidence, and aspirin was recommended for general prevention. However, the effect size was very small: a risk difference of 0.77% with r 2 = .001—an extremely small effect size. As a result of that study, many people were advised to take aspirin who would not experience benefit yet were also at risk for adverse effects. Further studies found even smaller effects, and the recommendation to use aspirin has since been modified.

نحوه محاسبه اندازه اثر

بسته به نوع مقایسه های مورد مطالعه ، اندازه اثر با شاخص های مختلف تخمین زده می شود. شاخص ها در دو دسته مطالعه اصلی قرار می گیرند ، آنهایی که به دنبال اندازه اثر بین گروه ها و کسانی هستند که به دنبال اقدامات ارتباط بین متغیرها هستند (جدول 1). برای دو گروه مستقل ، اندازه اثر را می توان با اختلاف استاندارد بین دو معنی یا میانگین (گروه 1) - میانگین (گروه 2) / انحراف استاندارد اندازه گیری کرد.

میز 1

شاخص های اندازه اثر مشترک a

مخرج با تبدیل اختلاف مطلق به واحدهای انحراف استاندارد ، تفاوت را استاندارد می کند. اصطلاح C کوهن نمونه ای از این نوع شاخص اندازه اثر است. اندازه اثر طبقه بندی شده کوهن به عنوان کوچک (D = 0. 2) ، متوسط (D = 0. 5) و بزرگ (0. 8 D D). 5 به گفته کوهن ، "اثر متوسط 0. 5 برای چشم غیر مسلح یک ناظر دقیق قابل مشاهده است. اثر کوچک . 2 به طور قابل ملاحظه ای کوچکتر از متوسط است اما نه آنقدر کوچک که بی اهمیت باشد. اثر بزرگ 0. 8 همان فاصله بالاتر از محیط کوچک است که در زیر آن قرار دارد. "6 این مشخصات بزرگ ، متوسط و کوچک متغیرهای دیگری مانند صحت ابزار ارزیابی و تنوع جمعیت مورد مطالعه را در نظر نمی گیرند. با این حال ، این دسته از بالشتک ها یک راهنمای کلی را ارائه می دهند که باید از طریق متن نیز مطلع شود.

بین میانگین گروه ، اندازه اثر نیز می تواند به عنوان میانگین توزیع صدک گروه 1 در مقابل گروه 2 یا میزان همپوشانی بین توزیع مداخلات 1 و 2 برای دو گروه مورد مقایسه درک شود. برای اندازه اثر 0 ، میانگین گروه 2 در صدک 50 گروه 1 است و توزیع ها به طور کامل (100 ٪) همپوشانی دارند - یعنی هیچ تفاوتی وجود ندارد. برای اندازه اثر 0. 8 ، میانگین گروه 2 در صدک 79 گروه گروه 1 است. بنابراین ، شخصی از گروه 2 با میانگین نمره (یعنی میانگین) نمره بالاتری از 79 ٪ افراد از گروه 1 خواهد داشت2)5 ، 6

جدول 2

تفاوت بین گروه ها ، اندازه اثر اندازه گیری شده توسط Δ A شیشه

قدرت آماری چیست و چرا به آن احتیاج دارم؟

قدرت آماری این احتمال است که مطالعه شما در صورت وجود اختلاف واقعی ، تفاوت آماری معنی داری بین مداخلات پیدا کند. اگر قدرت آماری زیاد باشد ، احتمال تصمیم گیری در مورد تأثیر وجود دارد ، در صورت وجود فرد ، زیاد است. قدرت 1-β است ، جایی که β احتمال نتیجه گیری اشتباه است که در واقع وجود ندارد ، هیچ تاثیری در وجود ندارد. این نوع خطا خطای نوع II نامیده می شود. مانند اهمیت آماری ، قدرت آماری به اندازه اثر و اندازه نمونه بستگی دارد. اگر اندازه اثر مداخله زیاد باشد ، می توان چنین اثری را در تعداد نمونه های کوچکتر تشخیص داد ، در حالی که اندازه اثر کوچکتر به اندازه نمونه بزرگتر نیاز دارد. اندازه نمونه های عظیم ممکن است تفاوت هایی را که بسیار کوچک و احتمالاً بی اهمیت هستند ، تشخیص دهد.

روشهای افزایش قدرت مطالعه شما شامل استفاده از مداخلات قوی تر است که اثرات بیشتری دارند ، افزایش اندازه نمونه/افراد ، کاهش خطای اندازه گیری (استفاده از اقدامات نتیجه گیری بسیار معتبر) و بالا بردن سطح α اما فقط در صورت ایجاد نوع Iخطا بسیار بعید است.

چگونه اندازه نمونه را محاسبه کنیم؟

قبل از شروع مطالعه ، قدرت مطالعه خود را با اندازه اثر تخمین زده شده محاسبه کنید. اگر قدرت خیلی کم باشد ، ممکن است در مطالعه به افراد بیشتری احتیاج داشته باشید. چگونه می توانید قبل از انجام مطالعه و یافتن تفاوت در نتایج ، اندازه اثر را تخمین بزنید؟به منظور محاسبه اندازه نمونه معقول ، اندازه اثر را می توان با نتایج مطالعه مقدماتی ، کارهای مشابه منتشر شده توسط دیگران یا حداقل تفاوت که توسط مربیان/متخصصان مهم در نظر گرفته می شود ، تخمین بزنید. بسیاری از ماشین حساب های اندازه/قدرت نمونه آنلاین وجود دارد که توضیحات مربوط به استفاده از آنها (جعبه) است. 7 ، 8

جعبهمحاسبه مثال اندازه نمونه

مطالعه مقدماتی شما با یک دانش آموز T-Test نشان می دهد که گروه 1 (29 نفر =) دارای میانگین نمره 30. 1 (SD ، 2. 8) است و آن گروه 2 (30 نفر) دارای میانگین نمره 28. 5 است (SD ، 3. 5)بشرمقدار p محاسبه شده = 0. 06 و در سطح ، تفاوت به نظر می رسد تفاوت معنی داری ندارد. با این حال ، اندازه اثر محاسبه شده 0. 5 است که طبق گفته کوهن "متوسط" در نظر گرفته می شود. به منظور آزمایش فرضیه خود و تعیین اینکه آیا این یافته واقعی است یا به دلیل شانس (به عنوان مثال ، برای یافتن تفاوت معنی داری) ، با اندازه اثر 0. 5 و p از

قدرت باید قبل از شروع مطالعه محاسبه شود. محاسبات بعد از تعقیب ، گاهی اوقات هنگام محاسبات قبلی گزارش می شود ، به دلیل این فرض نادرست که اندازه اثر نمونه نشان دهنده اندازه اثر جمعیت است ، ارزش محدودی دارند.

مورد علاقه ، خطای β 0. 2 توسط کوهن انتخاب شد ، که فرض کرد که خطای α جدی تر از خطای β است. بنابراین ، او خطای β را در 4 برابر α تخمین زد: 0. 05 × 4 × 0. 20. اگرچه دلخواه است ، زیرا این کار برای ده ها سال توسط محققان کپی شده است ، باید استفاده از سایر سطوح توضیح داده شود.

خلاصه

اندازه اثر به خوانندگان کمک می کند تا میزان اختلافات موجود را درک کنند ، در حالی که اهمیت آماری بررسی می کند که آیا این یافته ها به دلیل احتمال وجود دارد یا خیر. هر دو برای خوانندگان برای درک تأثیر کامل کار شما ضروری هستند. گزارش هر دو در بخش های انتزاعی و نتایج.

پانویسها و منابع

Gail M Sullivan ، MD ، MPH ، سردبیر ، مجله آموزش پزشکی فارغ التحصیل است. ریچارد فین ، دکترا ، استادیار ، روانپزشکی گروه ، مرکز بهداشت دانشگاه کانکتیکات است.

منابع

1. Kline RB. فراتر از آزمایش اهمیت: اصلاح روشهای تجزیه و تحلیل داده ها در تحقیقات رفتاری. واشنگتن دی سی: انجمن روانشناسی آمریکا ؛2004. ص. 95. [Google Scholar]

4- Bartolucci AA ، Tendera M ، Howard G. متاآنالیز چندین آزمایش پیشگیری اولیه از وقایع قلبی عروقی با استفاده از آسپرین. Am J Cardiol. 2011 ؛107 (12): 1796-801.[PubMed] [Google Scholar]

5- کارسون C. استفاده مؤثر از شاخص های اندازه اثر در تحقیقات نهادی. http://www.keene. edu/ir/effect_size. pdf. دسترسی به 16 آوریل 2012. [Google Scholar]

6. Coe R. این اندازه اثر ، احمقانه است: "اندازه اثر" چیست و چرا مهم است. مقاله ارائه شده در کنفرانس سالانه سال 2002 انجمن تحقیقات آموزشی انگلیس ، دانشگاه اکستر ، اکستر ، دونون ، انگلیس ، 12-14 سپتامبر 2002. بشردسترسی به 23 مارس 2012. [Google Scholar]

8. Soper D. محاسبات آمار نسخه 3. 0 بتا. http://danielsoper.com/statcalc3/default. aspx. دسترسی به 16 آوریل 2012. [Google Scholar]

9. فرگوسن CJ. آغازگر اندازه اثر: راهنمای پزشکان و محققان. http://www.tamiu. edu/~Cferguson/Ferguson ٪ 20pprp. pdf. دسترسی به 12 ژوئیه 2012. [Google Scholar]

مقالاتی از مجله آموزش پزشکی فارغ التحصیل در اینجا ارائه شده است از شورای اعتباربخشی برای آموزش پزشکی فارغ التحصیل