ارزشیابی مقالات علمی علوم تربیتی به منظور شناسایی اشتباهات رایج آماری

نشریه علمی آموزش و ارزشیابی (فصلنامه)

مقاله 7، دوره 11، شماره 41، خرداد 1397، صفحه 135-154   

نوع مقاله: مقاله پژوهشی

نویسندگان

غلامرضا یادگارزاده¹؛ عادل فاطمی^{* 2}

¹استادیار سازمان سنجش آموزش کشور

²استادیار گروه آمار، واحد سنندج، دانشگاه آزاد اسلامی، سنندج، ایران

چکیده

هدف از این پژوهش شناسایی اشتباهات آماری در مقالات منتشر شده در حوزة علوم تربیتی است. برای این منظور از جامعة مجلات علوم تربیتی تعداد 92 مقاله از 12 شماره به صورت خوشه‌ای دو مرحله‌ای انتخاب و مورد بررسی قرار گرفت. طرح پژوهش از نوع تحلیل مستندات و روش تحلیل داده و اطلاعات به روش مقایسه‌های چندگانه به کمک آزمون فرض مبتنی بر فاصله اطمینان نمودارهای خطا بود. نتایج نشان داد از 92 مقاله مورد بررسی 39 مقاله (42%) دارای حداقل یک اشتباه آماری بوده‌اند و در بین این مقالات 49 اشتباه رایج مشاهده گردید که شامل 9 نوع اشتباه، «برازش مدل رگرسیون بدون بررسی فرضیات باقی مانده‌های مدل، استفاده از آزمون T مستقل بدون بررسی همگنی واریانس‌ها (لِون)،  برازش غلط مدل معادلات ساختاری، روش نمونه گیری اُریب، استفاده از تحلیل واریانس به جای آزمون T، استفاده از روش ناپارامتریک فریدمن بدون بررسی وضعیت توزیع داده ها، عدم همخوانی نتایج تحلیلهای آماری، استفاده از آزمون T مستقل به جای آزمون T وابسته، تفسیر نتایج آزمون لِون به جای نتایج آزمون T، انجام آزمون تعقیبی بدون انجام تحلیل واریانس و نهایتا تحلیل معنی‌داری آماری تنها براساس نتایج آمار توصیفی» به ترتیب فراوانی بود. نتایج همچنین نشان داد بیشترین فراوانی اشتباهات آماری مربوط به مقالات مستخرج از پایان‌نامه‌های کارشناسی ارشد، وابستگی سازمانی مربوط به دانشگاه آزاد اسلامی، مرتبة علمی مربی، افراد غیر متخصص علوم تربیتی، مجله‌های دارای سابقة انتشار زیر 20 شماره و دارای 3 نفر نویسنده بوده است.

کلیدواژه‌ها

ارزشیابی؛ پژوهش؛ اشتباه (خطای) آماری؛ مقالة علمی- پژوهشی؛ مجلة علمی-پژوهشی؛ آمار پارامتری و ناپارامتری

اصل مقاله

پژوهش در حوزة علوم تربیتی همانند تمامی حوزه‌های علمی نقشی پررنگ و کلیدی دارد. شواهد پژوهشی مهمترین راهنما برای تصمیم‌سازان، سیاستگذاران، برنامه‌ریزان و کارشناسان تربیتی است تا ضریب خطای فعالیت‌های خود را کاهش داده و اثرات برنامه‌ها، تصمیم‌ها، سیاست‌ها و فرایندها را بشناسند (تامپسون[1]، 1994؛ بورگ[2] و گال[3]، 2003). نگاهی به پژوهش‌های انجام شده تحت حمایت یونسکو و سازمان همکاری‌ و توسعة اقتصادی و همایش‌های سالانه انجمن تحقیقات آموزشی آمریکا حاکی از اهمیت موضوع و اثرگذاری آن بر جامعة تعلیم و تربیت است.

هر ساله هزاران پژوهش در حوزة تعلیم و تربیت در ایران و جهان انجام می‌شود که بخش زیادی از آنها در قالب مقالات پژوهشی منتشر و در بین اعضای جامعة علمی این حوزه و سایر حوزه‌های مرتبط به اشتراک گذاشته شده و مورد نقد، قضاوت و استناد قرار می‌گیرند. در کشورمان پژوهش‌های آموزشی و یا تربیتی در نظام‌های آموزش عمومی و عالی دارای ساختار تشکیلاتی[4] خاص و منسجمی است که سیاستگذاری، هدایت و اجرای پژوهش‌ها را عهده‌دار هستند. تعداد زیادی نیز مجله با درجة علمی و پژوهشی در کشور وجود دارد که نتایج پژوهش‌های پژوهشگران تربیتی را ارزشیابی و منتشر می‌کنند (بر اساس آخرین اطلاعات سامانة نشریات علمی وزارت علوم، تحقیقات و فناوری 50 مجلة عملی در حوزة علوم تربیتی فعال هستند[5]).

یکی از موضوعات مهم در تمامی پژوهش‌ها، کیفیت و رعایت اصول و ضوابط علمی در فرایند پژوهش و انتشار نتایج آنها است. در مقالات پژوهشی کیفیت مقالات توسط داوران مورد قضاوت قرار می‌گیرد و در موارد بسیاری مقاله‌های ثبت شده با اصلاحات و ویرایش‌های متعدد آمادة چاپ و انتشار می‌شوند. بررسی‌ها در سطح جهان نشان می‌دهد مقالات پژوهشی منتشر شده در حوزة تعلیم و تربیت دارای اشکالات روش‌شناختی فراوانی هستند که دامنه‌ای از طرح تحقیق، جامعه، نمونه و روش نمونه‌گیری، ابزار جمع‌آوری داده و اطلاعات و روش‌های تحلیل را شامل می‌شود (تامپسون، 1998؛ مک‌میلان[6]، 1998؛ استراسر[7]، 2011 و نویتن[8] و همکاران، 2016). زمینه‌های بروز خطاهای روش‌شناختی و آماری در پژوهش‌های تربیتی متنوع‌اند و در این مورد بین پژوهشگران توافق وجود ندارد. به عنوان مثال میلر[9] (1999) منشأ خطاها را در جمع‌آوری داده و اطلاعات می‌داند، در حالیکه اسکافر[10] و همکاران (2007) مهمترین کانون خطا در تحقیقات تربیتی را عدم توجه به پیش‌فرض‌های آماری می‌دانند. سوتوس[11] و همکاران (2007) معتقدند در بسیاری موارد برداشت صحیحی نسبت به کارکردهای آمار در تحقیقات وجود ندارد و پژوهشگران انتظار دارند با تحلیل‌های آماری به نتایجی که دوست دارند برسند و این زمینه را برای گرفتار شدن در تله‌های خطا و اشتباه آماری فراهم می‌کند. ویلمن[12] (2011) شروع خطاهای آماری را از نگارش پروپزال می‌داند و معتقد است محققان از ابتدا موضوع تحلیل داده‌ و اطلاعات را جدی نمی‌گیرند.

در خصوص دلایل رخ دادن خطاهای آماری در پژوهش‌های تربیتی نیز دیدگاهها متنوع است. کازادوال[13] و همکاران (2014) خطاهای رخ داده در تحقیقات را امری کلی و شامل همه علوم دانسته‌اند که بخش زیادی از آن به سهل‌انگاری و عدم دقت محققان در طراحی و اجرای پژوهش‌ها باز می‌گردد. مواردی مانند استفاده از روش و ابزار غیر پایا[14] و ناروا[15] برای جمع‌آوری داده و اطلاعات (میلر، 1999؛ لوین، 1994)، عدم توجه به پیش‌فرض‌های روش‌های آماری (اسکافر و همکاران، 2007؛ لاپاناچوکدی[16] و همکاران، 2016)، استفادة نامناسب از روش‌های تحلیل آماری (تامپسون، ‌1998 و 1999؛ استراسر، 2011) و نمونه‌گیری نادرست (مک‌میلان، 1996؛ راس[17] 1979) از مهمترین دلایلی است که در پژوهش‌های قبلی مستند شده است. در مورد دلایل بروز خطا دیدگاههای متناقض نیز وجود دارد؛ برخی مانند هارنکوییست[18] (1997) آن را به ضعف پژوهشگران تربیتی در مقایسه با سایر پژوهشگران مرتبط می‌دانند و در مقابل کسانی مانند جانسون[19] و کریستین‌سن[20] (2008) بیشتر به ماهیت تعلیم و تربیت و مشکلات پژوهش در این حوزه اشاره کرده‌اند.

بررسی‌ها نشان می‌دهد موضوع خطاهای آماری در حوزه‌های دیگر علم نیز وجود دارد. استفاده نامناسب و یا خطا در کاربرد آمار در تحقیقات حوزه‌هایی مانند پزشکی (استراسک[21] و همکاران، 2007؛ ارکان[22] و همکاران، 2015)، علوم اجتماعی (سایر[23]، 2010)، ‌روانشناسی (ولدکمپ[24] و همکاران، 2014) و مشاروه (تامپسون، 1995) گزارش شده است. این موضوع در حوزة تعلیم و تربیت اهمیت خاصی دارد زیرا خطا و کاربرد نامناسب آمار می‌تواند منجر به نتایج اشتباه و به تبع ان تصمیم‌گیری‌های غلط شود. استراسر (2011) معتقد است جلوگیری از خطاهای آماری برای محققان تعلیم و تربیت در هر سطحی اهمیت دارد. گام اساسی در این فرایند مهم نگاه دقیق و انتقادی به استفاده از آمار در پژوهش است. با توجه به نقش تحقیقات در تغییر سیاست‌های تربیتی خطاهای آماری ممکن است نتایج وحشتناکی به بار آورد.

پژوهش‌های انجام شده در خصوص خطاهای آماری نتایج متنوعی را نشان می‌دهد. تامپسون (1998) در بررسی پژوهش‌های تربیتی پنج خطا شامل (1) استفاده از روش‌های گام به گام[25]، (2) خطا در تفسیر نتایج خصوصاً خطا در معیار تحلیل قرار دادن وزن‌ها (تحلیل نتایج براساس ضرایب رگرسیون، ضرایب متغیرها در تحلیل عاملی، ضرایب توابع تشخیص و ضرایب تابع کانونی) که همگی بخشی از تحلیل‌های کمی پارامتری هستند، (3) اشتباه در تفسیر همزمان ضرایب وزنی و ساختاری به عنوان بخشی از تفسیر نتیجه،‌ (4) خطا در تشخیص اینکه پایایی مربوط به نمره است نه آزمون، و (5) تفسیر نادرست معنی‌داری آماری و ناتوانی در تفسیر و گزارش اندازه اثر در تحقیقات کمی. تامپسون معتقد است در تحلیل‌های اکتشافی این 5 خطا خیلی ملموس‌تر هستند. اردوغان[26] و همکاران (2012) در یک مطالعه 51 مقالة تحقیقاتی چاپ شده در 15 مجلة علمی بین‌المللی و داخلی ترکیه را مورد مطالعه قرار داد‌ه‌اند. آنها در تحقیق خود 4 بخش اصلی مقالات شامل طرح، ابزارها، نمونه‌گیری و روش تجریه و تحلیل داده و اطلاعات را بررسی و دریافتند در اکثر مقالات منطق انتخاب طرح تحقیق، شیوه نمونه‌گیری، ابزارهای مورد استفاده و روش تحلیل داده روشن نیست. در 28 مورد روایی و در 24 مورد پایایی با ابهام مواجه بوده است. نتایج در بخش تحلیل داده و اطلاعات نشان داد در 10 مورد تجزیه و تحلیل داده به صورت صحیح انجام نشده و در 5 مورد روش مناسب برای تحلیل انتخاب نشده است.  نویتن و همکاران (2016) در بررسی 697 مقالة چاپ شده در شش مجلة معتبر روانشناسی دریافتند استفاده از آماردان و چک داده و اطلاعات آماری در 49 درصد مقالات چاپ شده وجود نداشته و همین مجلات طیفی از خطاهای آماری را دارا بودند که بیشترین آنها مربوط به سطح معنی داری و نتیجه‌گیری از یافته ها بود. مک‌میلان (1996) خطاها در تحقیقات تربیتی را عمدتاً در نمونه‌گیری (انتخاب نمونة غیر معرف - بیش از حد بزرگ و بیش از حد کوچک- و تفسیر نتایج بر اساس آن) می‌داند.

آنچه گفته شد حاکی از شایع بودن مسألة خطا در پژوهش‌های تربیتی (خصوصاً خطاهای آماری) است. این موضوع در دنیا مورد توجه پژوهشگران و سیاستگذاران تربیتی واقع شده که مستندات آن ذکر شد اما در کشورمان پژوهشی در این موضوع انجام نشده و بر این اساس پژوهش حاضر با هدف بررسی اشتباهات آماری در مقالات پژوهشی منتشر شده در حوزة علوم تربیتی انجام شده و سوال اصلی پژوهشی این است که مقاله‌های علمی- پژوهشی حوزة علوم تربیتی تا چه حد دارای اشتباهات آماری هستند؟ این سوال در قالب 7 سوال فرعی (اشتباهات آماری با توجه به منبع استخراج مقاله، وابستگی سازمانی نویسنده، مرتبه علمی نویسنده، تعداد نویسندگان، تخصص نویسنده، سابقة انتشار و صاحب امتیاز) مورد بررسی قرار گرفته است.

 

روش‌شناسی

روش تحقیق مورد استفاده در این پژوهش تحلیل مستندات است. تحلیل مستندات عمدتاً با هدف کاوش مستندات علمی و بررسی ابعاد و زوایای مختلف آنها انجام می‌شود. باون[27] (2009) معتقد است در تحلیل مستندات محقق به دنبال بررسی معنی و ابعاد پنهان و آشکار یک سند است و در تحقیقات تربیتی می‌توان از آن استفاده کرد. جامعه آماری عبارت بود از مقالات چاپ شده در مجلات حوزه علوم تربیتی که تا فصل بهار سال 1396 با درجه علمی – پژوهشی کمیسیون بررسی نشریات وزارت علوم منتشر شده‌اند. نمونة مورد مطالعه شامل 92 مقاله از 12 شماره سنوات گذشته 12 نشریه علمی - پژوهشی حوزه علوم تربیتی بود که بصورت تصادفی انتخاب و مورد بررسی قرار گرفت. دلیل انتخاب تعداد 12 نشریه تصادفی در مرحله نخست نمونه گیری خوشه ای رسیدن به تعداد نزدیک به 100 نمونه برای اطمینان 95% از خطای کمتر از 1/0 در برآورد نسبتهای خطا براساس فرمول کوکران می باشد. روش مورد استفاده برای نمونه‌گیری خوشه‌ای دو مرحله‌ای است، و در آن ابتدا 12 نشریه علمی - پژوهشی حوزه علوم تربیتی به صورت تصادفی انتخاب و سپس از هر نشریه یک شماره و از آن شماره همه مقالات مندرج در آن شماره به عنوان نمونه انتخاب شدند. همچنین تحلیل داده و اطلاعات به روش مقایسه‌های چندگانه[28] به کمک نمودارهای میله‌ای خطا[29] انجام شده است. یکی از روشهای آزمون فرض در مقایسه های دو به دو استفاده از فاصله اطمینان است. نمودارهای خطای استفاده شده در این مقاله در واقع همان حدود اطمینان 95% می باشند. طبیعی است که همپوشانی کرانها در مقایسه های دوتایی نشان دهنده عدم اختلاف معنی داری دوگروه است و بالعکس.

 

 

 

 

 

 

 

 

جدول 1 توزیع نمونة مورد بررسی

زمان انتشار Published

مجلات نمونه Journals Sample

سال Year

فصل

A

B

C

D

E

F

G

H

I

J

K

L

1388

بهار

تابستان

پاییز

زمستان

1389

بهار

تابستان

پاییز

زمستان

1390

بهار

تابستان

پاییز

زمستان

1391

بهار

تابستان

پاییز

زمستان

1392

بهار

تابستان

پاییز

زمستان

1393

بهار

تابستان

پاییز

زمستان

1394

بهار

تابستان

پاییز

زمستان

1395

بهار

تابستان

پاییز

زمستان

1396

بهار

 

یافته‌ها

سوال اصلی پژوهش حاضر این بود که مقاله‌های علمی- پژوهشی علوم تربیتی تا چه حد دارای اشتباهات آماری هستند؟ در این بخش علاوه بر پاسخ به سوال پژوهشی فوق اشتباهات آماری با توجه به منبع استخراج مقاله، وابستگی سازمانی نویسنده، مرتبه علمی نویسنده، تعداد نویسندگان، تخصص نویسنده، سابقة انتشار و صاحب امتیاز) مورد بررسی قرار گرفته است.

در بررسی اشتباهات آماری مشخص گردید که از 92 مقاله 39 مقاله (به عبارتی 42.4%) دارای حداقل یک اشتباه آماری بوده اند. در مجموع 49 مورد اشتباه شامل موارد زیر در این 39 مقاله مشاهده گردید:

جدول 2: فراوانی اشتباهات آماری

اشتباهات آماری		فروانی
1	برازش مدل رگرسیون بدون بررسی فرضیات باقی مانده های مدل	13
2	استفاده از آزمون T مستقل بدون بررسی همگنی واریانس‌ها (لِون)	10
3	برازش غلط مدل مدل معادلات ساختاری	6
4	روش نمونه گیری اُریب	6
5	استفاده از تحلیل واریانس به جای آزمون T [30]	5
6	استفاده از روش ناپارامتریک فریدمن بدون بررسی وضعیت توزیع داده ها	3
7	عدم همخوانی نتایج تحلیلهای آماری!	2
8	استفاده از آزمون T مستقل به جای آزمون T وابسته	1
9	تفسیر نتایج آزمون لِون به جای نتایج آزمون T	1
10	انجام آزمون تعقیبی بدون انجام تحلیل واریانس	1
11	تحلیل معنی داری آماری تنها براساس نتایج آمار توصیفی	1
جمع		49

 

همانطور که مشاهده می‌شوداز 92 مقاله مورد بررسی 53 مقاله دارای هیچ گونه اشتباهی نبودند، اما 39 مقاله حداقل دارای یکی از اشتباهات فوق بوده اند و در مجموع در بین این مقالات 49 اشتباه شامل یکی از 9 نوع اشتباه فوق مشاهده گردید. برای بررسی بیشتر در ادامه نوع خطا با توجه به سایر ویژگی های نویسندگان و مجلات بررسی شده است.

 

 

 

 

 

 

 

جدول 3: فراوانی متقاطع نوع اشتباهات آماری و منبع استخراج مقالات

نوع خطا	پایان‌نامه کارشناسی‌ارشد	پایان‌نامه دکتری	طرح پژوهشی	مستقل	جمع
آزمون T مستقل بدون بررسی همگنی واریانس‌ها (لِون)	4	5	1	1	8
استفاده از تحلیل واریانس به جای آزمون T	2			1	3
استفاده از T مستقل به جای آزمون T وابسته				1	1
استفاده از روش ناپارامتریک فریدمن بدون بررسی وضعیت توزیع داده ها	1	1			3
اشتباه در تفسیر نتایج آزمون لِون به جای آزمون T	1				1
انجام آزمون تعقیبی بدون انجام تحلیل واریانس		1			1
برازش غلط مدل مدل معادلات ساختاری	1	3			4
تحلیل معنی داری (P<0.05) آزمون تنها براساس نتایج آمار توصیفی			1		1
رگرسیون بدون بررسی فرضیات باقی مانده های مدل	8		1	1	10
روش نمونه گیری اُریب	1	1	1	3	6
عدم همخوانی نتایج تحلیلهای آماری!				1	1
عدم اشتباه آماری	16	19	3	15	53
جمع	35	27	7	23	92

 

 

 

 

 

 

 

همانطور که اطلاعات جدول و نمودار قبل نشان می‌دهد کمترین نسبت مقالات دارای اشتباه آماری مربوط به مقالات مستخرج از رساله های دکتری با تفاوتی معنی دار با سایر وضعیت ها و بیشترین نسبت مربوط به مقالات مستقل می باشد.

 

جدول 4: فراوانی متقاطع نوع اشتباهات آماری و وابستگی سازمانی نویسنده مسئول مقالات

نوع خطا	پژوهشکده‌ها و سازمان‌های پژوهشی	واحدهای دانشگاه آزاد اسلامی	دانشگاه‌های[31] دولتی	جمع
آزمون T مستقل بدون بررسی همگنی واریانس‌ها (لِون)		1	7	8
استفاده از تحلیل واریانس به جای آزمون T		2	1	3
استفاده از T مستقل به جای آزمون T وابسته		1		1
استفاده از روش ناپارامتریک فریدمن بدون بررسی وضعیت توزیع داده ها	1		2	3
اشتباه در تفسیر نتایج آزمون لِون به جای آزمون T	1			1
انجام آزمون تعقیبی بدون انجام تحلیل واریانس			1	1
برازش غلط مدل مدل معادلات ساختاری		1	3	4
تحلیل معنی داری (P<0.05) آزمون تنها براساس نتایج آمار توصیفی			1	1
رگرسیون بدون بررسی فرضیات باقی مانده های مدل		3	7	10
روش نمونه گیری اُریب		2	3	6
عدم همخوانی نتایج تحلیلهای آماری!			1	1
عدم اشتباه آماری	7	6	40	53
جمع	9	16	66	92

 

 

 

 

 

 

 

 

 

توضیح نمودار2: کمترین نسبت مقالات دارای اشتباه آماری مربوط به مقالات با نویسندگان مسئول از پژوهشکده‌ها و یا سازمان‌هایی با رسالت علمی و پژوهشی است، اگر چه این نسبت با دانشگاههای دولتی دارای تفاوت معنی داری (P<0.05) نیست اما از واحدهای دانشگاه آزاد اسلامی  بطور معنی داری (P<0.05) کمتر است.

جدول 5: فراوانی متقاطع نوع اشتباهات آماری و مرتبه علمی نویسنده مسئول مقاله

نوع اشتباه آماری	استاد	دانشیار	استادیار	مربی	بدون مرتبه علمی	جمع
آزمون T مستقل بدون بررسی همگنی واریانس‌ها (لِون)		2	4		2	8
استفاده از تحلیل واریانس به جای آزمون T			1		2	3
استفاده از T مستقل به جای آزمون T وابسته			1			1
استفاده از روش ناپارامتریک فریدمن بدون بررسی وضعیت توزیع داده ها		1	2			3
اشتباه در تفسیر نتایج آزمون لِون به جای آزمون T			1			1
انجام آزمون تعقیبی بدون انجام تحلیل واریانس					1	1
برازش غلط مدل مدل معادلات ساختاری	1	2			1	4
تحلیل معنی داری (P<0.05) آزمون تنها براساس نتایج آمار توصیفی					1	1
رگرسیون بدون بررسی فرضیات باقی مانده های مدل		2	5	1	2	10
روش نمونه گیری اُریب			2	1	3	6
عدم همخوانی نتایج تحلیلهای آماری!			1			1
عدم اشتباه آماری	1	6	16	1	29	53
جمع	2	13	33	3	41	92

 

یافته‌های جدول و نمودار بالا حاکی از این است که کمترین نسبت مقالات دارای اشتباه آماری مربوط به مقالات با نویسندگان مسئول بدون رتبه علمی است، اگر چه این نسبت با نویسندگان با رتبه استاد دارای تفاوت معنی داری (P<0.05) نیست اما از وضعیت های دیگر مربوط به سایر رتبه های علمی بصورت معنی داری (P<0.05) کمتر است.

 

جدول 6: فراوانی متقاطع نوع اشتباهات آماری و تعداد نویسندگان مقاله

نوع خطای آماری	یک نفره	دو نفره	سه نفره	چهار نفر و بیشتر	جمع
آزمون T مستقل بدون بررسی همگنی واریانس‌ها (لِون)	1	3	4		8
استفاده از تحلیل واریانس به جای آزمون T		1	2		3
استفاده از T مستقل به جای آزمون T وابسته			1		1
استفاده از روش ناپارامتریک فریدمن بدون بررسی وضعیت توزیع داده ها		1	1	1	3
اشتباه در تفسیر نتایج آزمون لِون به جای آزمون T			1		1
انجام آزمون تعقیبی بدون انجام تحلیل واریانس			1		1
برازش غلط مدل مدل معادلات ساختاری		1	3		4
تحلیل معنی داری (P<0.05) آزمون تنها براساس نتایج آمار توصیفی			1		1
رگرسیون بدون بررسی فرضیات باقی مانده های مدل		1	9		10
روش نمونه گیری اُریب	1	2	3		6
عدم همخوانی نتایج تحلیلهای آماری!	1				1
عدم اشتباه آماری	6	19	15	13	53
جمع	9	27	41	14	92

 

 

 

 

همانطور که یافته‌های فوق نشان می‌دهد کمترین نسبت مقالات دارای اشتباه آماری مربوط به مقالات با نویسندگان چهار نفر و یا بیشتر است، که این میزان به طور معنی داری (P<0.05) کمتر از سایر وضعیت‌ها است.

جدول 7: فراوانی متقاطع نوع اشتباهات آماری و تخصص نویسنده مسئول مقالات

نوع خطا	روانشناسی و مشاوره	علوم تربیتی	غیرعلوم تربیتی و روانشناسی	جمع
آزمون T مستقل بدون بررسی همگنی واریانس‌ها (لِون)	2	5	1	8
استفاده از تحلیل واریانس به جای آزمون T	2	1		3
استفاده از T مستقل به جای آزمون T وابسته		1		1
استفاده از روش ناپارامتریک فریدمن بدون بررسی وضعیت توزیع داده ها		2	1	3
اشتباه در تفسیر نتایج آزمون لِون به جای آزمون T		1		1
انجام آزمون تعقیبی بدون انجام تحلیل واریانس		1		1
برازش غلط مدل مدل معادلات ساختاری	1	3		4
تحلیل معنی داری (P<0.05) آزمون تنها براساس نتایج آمار توصیفی			1	1
رگرسیون بدون بررسی فرضیات باقی مانده های مدل	2	6	2	10
روش نمونه گیری اُریب		5	1	6
عدم همخوانی نتایج تحلیلهای آماری!		1		1
عدم اشتباه آماری	7	43	3	53
جمع	14	69	9	92

 

 

اطلاعات جدول و نمودار بالا نشان می‌دهد کمترین نسبت مقالات دارای اشتباه آماری مربوط به مقالات با نویسنده مسئول دارای تخصص علوم تربیتی است، اگر چه این با روانشناسی و مشاوره دارای تفاوت معنی داری نیست، اما به طور معنی داری (P<0.05) کمتر از نویسندگان با تخصصهای غیر علوم تربیتی و روانشناسی است.

جدول 7: فراوانی متقاطع نوع اشتباهات آماری و سابقه انتشار مجله (شماره انتشار)

نوع خطا	کمتر از 20 شماره	از 20 تا 40 شماره	بیش از 40 شماره	جمع
آزمون T مستقل بدون بررسی همگنی واریانس‌ها (لِون)	4	3	1	8
استفاده از تحلیل واریانس به جای آزمون T			3	3
استفاده از T مستقل به جای آزمون T وابسته	1			1
استفاده از روش ناپارامتریک فریدمن بدون بررسی وضعیت توزیع داده ها	2	1		3
اشتباه در تفسیر نتایج آزمون لِون به جای آزمون T	0	1		1
انجام آزمون تعقیبی بدون انجام تحلیل واریانس	1			0
برازش غلط مدل مدل معادلات ساختاری	3		1	4
تحلیل معنی داری (P<0.05) آزمون تنها براساس نتایج آمار توصیفی	1			1
رگرسیون بدون بررسی فرضیات باقی مانده های مدل	2	5	3	10
روش نمونه گیری اُریب	3		3	6
عدم همخوانی نتایج تحلیلهای آماری!		1		1
عدم اشتباه آماری	19	12	22	53
جمع	36	23	33	92

 

 

 

یافته‌های جدول و نمودار بالا نشان داد کمترین نسبت مقالات دارای اشتباه آماری مربوط به مقالات چاپ شده در نشریات با سابقه بیش از 40 شماره انتشار است، اگر چه این حالت با سایر حالتها دارای تفاوت معنی داری نیست. (P>0.05)

 

جدول 8: فراوانی متقاطع نوع اشتباهات آماری و صاحب امتیاز انتشار مجله

نوع خطا	انجمن ها	پژوهشکده‌ها و سازمان‌های پژوهشی	دانشگاه آزاد اسلامی	دانشگاه‌های دولتی	جمع
آزمون T مستقل بدون بررسی همگنی واریانس‌ها (لِون)	2		3	3	8
استفاده از تحلیل واریانس به جای آزمون T				3	3
استفاده از T مستقل به جای آزمون T وابسته			1		1
استفاده از روش ناپارامتریک فریدمن بدون بررسی وضعیت توزیع داده ها	1	1		1	3
اشتباه در تفسیر نتایج آزمون لِون به جای آزمون T	1				1
انجام آزمون تعقیبی بدون انجام تحلیل واریانس		1			1
برازش غلط مدل مدل معادلات ساختاری		4			4
تحلیل معنی داری (P<0.05) آزمون تنها براساس نتایج آمار توصیفی	1				1
رگرسیون بدون بررسی فرضیات باقی مانده های مدل	2	3	4	1	10
روش نمونه گیری اُریب			2	4	6
عدم همخوانی نتایج تحلیلهای آماری!		1			1
عدم اشتباه آماری	15	16	7	15	53
جمع	22	26	17	27	92

 

 

اطلاعات جدول و نمودار بالا نشان می‌دهد کمترین نسبت مقالات دارای اشتباه آماری مربوط به مقالات چاپ شده در نشریات منتشر شده توسط پژوهشکده‌ها و سازمان‌های پژوهشی است، اگرچه تفاوت معنی‌داری بین هیچ یک از آنها مشاهد نمی‌شود. (P>0.05)

 

بحث و نتیجه‌گیری

یافته‌های پژوهش حاضر نشان داد نزدیک به 42 درصد از مقالات مورد بررسی (92 مقاله) حداقل دارای یک خطا و یا اشتباه آماری بود. دو خطای "برازش مدل رگرسیون بدون بررسی فرضیات باقی مانده‌های مدل" و "استفاده از آزمون T مستقل بدون بررسی همگنی واریانس‌ها (لِون)" دارای بیشترین فراوانی بودند. با توجه به نوع مجله‌های انتخاب شده که همگی دارای درجة علمی-پژوهشی بودند یافته‌های فوق جای تأمل فراوان دارد و به نوعی با یافته‌های تامپسون (1998) و اردوغان و همکاران (2012) هماهنگ است. با وجود اینکه تمامی مجلات مورد بررسی دارای هیأت تحریریه و داوران متخصص هستند اما درصد خطا حاکی از بی‌توجهی نویسندگان به مباحث آماری و ارزشیابی‌های ضعیف داوران در فرایند داوری است. یافته‌ها نشان می‌دهد اکثر خطاها ناشی از آشنا نبودن و یا بی‌توجهی محققان با پیش‌فرض‌های مربوط به کاربرد روش‌های آماری و عدم سازگاری بین روش‌ها و داده‌های جمع‌آوری شده است (هماهنگ با دیدگاه اسکافر و همکاران، 2007).

یافته‌های پژوهش همچنین نشان داد رساله‌های کارشناسی ارشد دارای بیشترین تعداد خطا هستند. این موضوع زنگ خطر را برای دقت بیشتر در فرایند نگارش و ارزشیابی رساله‌های کارشناسی ارشد به صدا در آورده است. در سال 1393 تعداد 250830 نفر دانشجو در مقطع کارشناسی ارشد در دانشگاهها و مراکز آموزش عالی ثبت نام کرده‌اند (آمار آموزش عالی ایران، 1394) و تمامی این دانشجویان فرایند نگارش رساله را طی کرده و یا طی خواهند کرد؛ با توجه به الزامات دانشگاهها مبنی بر چاپ مقالات علمی حاصل از رساله موضوع خطاهای آماری نیازمند توجه و تأمل جدی خواهد بود.

نتایج نشان داد از نظر وابستگی سازمانی هر چند تفاوت بین دانشگاههای دولتی، آزاد اسلامی و پژوهشگاهها و ... معنی‌دار نیست اما درصد خطا در نویسندگان با وابستگی دانشگاه آزاد اسلامی بیشتر از بقیه است البته این امر در نوع دستگاه صاحب امتیاز نیز مشاهده می‌شود. هرچند نمی‌توان در مورد کیفیت مقالات با توجه به وابستگی سازمانی قضاوت کرد اما این موضوع باید مورد توجه تصمیم‌سازان در نظام دانشگاهی قرار گیرد. در مورد مرتبة علمی نویسندگان نیز موضوع درخور تأمل است زیرا نسبت خطا در بین مرتبه‌های علمی مربی، دانشیار، استاد و استادیار توزیع شده است. هرچند تفاوت‌ها در این بخش نیز معنی‌دار نیست اما به نظر می‌رسد عدم دقت و بی‌توجهی با خطاها موضوعی است که در تمامی مرتبه‌های علمی به نوعی مشاهده می‌شود.

تعداد زیادی از مقالات مورد بررسی دارای دو یا سه نفر نویسنده بوده‌اند که عمدتاً یافته‌های رساله‌های کارشناسی ارشد و یا دکتری را منتشر کرده‌اند. نسبت خطا در مقالات دارای سه نفر نویسنده به صورت معنی‌داری بیشتر از بقیه است و این امر ما را به این نکته رهنمون می‌سازد که مقاله‌هایی که دارای بیش از یک نویسنده هستند با دقت بیشتری مورد بررسی و ارزشیابی قرار گیرند. یکی از یافته‌های قابل توجه نسبت خطای افراد با تخصص غیر از علوم تربیتی و یا روانشناسی با نویسندگانی است که تخصص اصلی آنها تعلیم وتربیت و یا روانشناسی است. هرچند تفاوت در این مورد نیز معنی‌دار نیست اما موضوعی قابل تأمل و توجه است. با توجه به یافته فوق دیدگاه کسانی مانند هارنکوییست (1997)، کیوز[32] و واتانابه[33] (2013) و فریسر[34] و وونگ[35] (2003) که معتقدند تحقیقات تربیتی عمدتاً با رویکرد حل مسائل تربیتی، بررسی سیاست‌ها و فعالیت‌ها انجام می‌شود ضروری است پژوهشگران و محققان در حوزة تعلیم و تربیت آموزش‌های لازم در خصوص دانش روش‌شناسی به معنای اعم و خاص تعلیم و تربیت برخوردار باشند و این موضوع در اولویت برنامه‌های آموزشی دانشگاهها قرار گیرد. یافته‌ها نشان داد مجله‌های دارای سابقة انتشار بیشتر از 40 شماره دارای تعداد خطاهای کمتری هستند اما تفاوت بین دو طبقة کمتر از 20 شماره و 20 تا 40 معنی‌دار نیست. یافته فوق نشان دهندة این امر است که داوری در مجلات قدیمی‌تر شرایط بهتری نسبت به مجلات جدیدالتاسیس دارد.     

در پایان باید گفت آمار به عنوان یک ابزار کمکی در پژوهش‌های تربیتی در به دست آوردن داده و اطلاعات معتبر نقش زیادی دارد. متأسفانه خطاهای آماری در تحقیقات تربیتی خیلی شایع است. اولین گام در جلوگیری از خطاهای آماری شناسایی منابع خطا است. جمع‌آوری داده و نمونه‌گیری دو منبع مهم خطا هستند که محققان باید به آنها توجه کنند. گام دوم انتخاب روش مناسب تحلیل داده و اطلاعات است. داده ابزار قدرتمندی است که می‌تواند به درستی و یا به اشتباه مورد استفاده قرار گیرد (استراسر، 2011). پیکو و آرتینو (2016) 7 گناه مرگبار در پژوهش‌های تعلیم و تربیت را شامل بررسی و نقد نادرست پیشینة پژوهش، توان ناکافی داده و اطلاعات، نادیده گرفتن فرایند اندازه‌گیری، استفاده از ابزارهای آماری غلط، استفاده از روش‌های آماری پیشرفته و ناسازگار با داده و اطلاعات جمع‌آوری شده، استفاده نادرست از سطح معنی‌داری و گزارش‌دهی نادرست یافته‌ها دانسته‌اند که به نوعی گریبانگیر پژوهشگران تربیتی کشورمان نیز هست و ضروری است در این مورد چاره‌ای اندیشیده شود. با توجه به یافته‌های این مقاله پیشنهاد می‌شود وزارت علوم به عنوان متولی نظارت بر مجلات علمی – پژوهشی اقدامات سختگیرانه‌تری را برای افزایش کیفیت مقالات حوزة علوم تربیتی در پیش گیرد که می‌تواند شامل اجبار در استفاده از آماردان در ارزشیابی نهایی، اصلاح فرم‌های داوری و تمرکز بیشتر بر بخش روش‌شناسی، رصد مداوم  و ارزشیابی تصادفی مقالات منتشر شده، بررسی اِسنادها و جلب همکاری انجمن‌های علمی برای کمک در افزایش کیفیت مقالات باشد.

مانند هر پژوهش دیگری این مطالعه نیز با محدودیت‌هایی مواجه بوده که به آنها اشاره می‌شود. مواردی مانند همسان نبودن سطح کیفی مجلات، عدم وجود شاخص‌های سنجش کیفیت (مانند ضریب تأثیر، اِسناد و ...) برای مقالات فارسی، تنوع موضوع‌های مورد پژشش مجلات و عدم دسترسی به اطلاعات بیشتر در مورد مقالات مانند ابزار مورد استفاده ممکن است نتایج این مطالعه را تحت تأثیر قرار داده باشند.

---

[1] . Thompson, B

[2] . Borg, Walter R

[3] . Gall, Meredith

[4] . در وزارت آموزش و پرورش پژوهشکدة تعلیم و تربیت، در وزارت علوم، تحقیقات و فناوری و وزارت بهداشت، درمان و آموزش پزشکی معاونت پژوهشی در این زمینه مسئول هستند.

[5] . http://journals.msrt.ir/

[6] . McMillan, J.H

[7] . Strasser, N

[8] . Nuijten, M. B

[9] . Miller, D. W

[10] . Scheaffer, R

[11] . Sotos, A. E. C

[12] . Walliman, N

[13] . Casadevall, A

[14] . Unreliable

[15] . Invalid

[16] . Lapanachokdee, W

[17] . Ross, K. N

[18] . Harnqvist, K

[19] . Johnson, B

[20] . Christensen, L

[21] . Strasak, A. M

[22] . Ercan, I

[23] . Sayer, A

[24] . Veldkamp, C. L

[25] . Stepwise

[26] . Erdogan, M

[27]. Bowen

[28]. Multiple comparison

[29]. Error bars

[30] اگرچه در تئوریهای آماری مجذور آماره T همان آماره F است و به نظر می رسد که به سادگی می توان در مقایسه دو گروه مستقل از آزمون  است و به نظر می رسد که به سادگی می توان در مقایسه دو گروه مستقل از آزمون Anova به جای آزمون T مستقل استفاده نمود، اما در عمل به دو دلیل آزمون T مستقل بسیار کاراتر از آزمون Anova در مقایسه های مربوط به دو گروه مستقل است: الف) در آزمون Anova آزمونهای یکطرفه امکان پذیر نیست. ب) در آزمون Anova تنها براساس فرض برابری واریانسها آزمون انجام می شود در حالی که در آزمون T مستقل به کمک آزمون لون می توان به طور انعطاف پذیری آزمون صحیح را با یک از فروض برابری و یا عدم برابری واریانسها انتخاب نمود.

[31] . در تحلیل داده و اطلاعات دانشگاه پیام نور نیز در ذیل دانشگاههای دولتی لحاظ شده است.

[32] . Keeves, J

[33] . Vatanabe, R

[34] . Fraser, B.J

[35] . Wong, A

مراجع

Borg, W. R., & Gall, M. D. (2003). Educational research: An introduction. Longman Publishing.

Bowen, G. A. (2009). Document analysis as a qualitative research method. Qualitative research journal, 9(2), 27-40.

Casadevall, A., Steen, R. G., & Fang, F. C. (2014). Sources of error in the retracted scientific literature. The FASEB Journal, 28(9), 3847-3855.

Ercan, I., Karadeniz, P. G., Cangur, S., Ozkaya, G., & Demirtas, H. (2015). Examining of Published Articles with Respect to Statistical Errors in Medical Sciences. International Journal of Hematology and Oncology, 27(1), 130-138.

Erdogan, M., Kaplan, H., Kayir, C. G., Asik, U. O., & Akbunar, S. (2012). Common method-related problems in selected research studies on educational sciences in Turkey. Procedia-Social and Behavioral Sciences, 46, 3230-3234.

Fraser B.J., & Wong A. F. L. (2003). Training of Educational Research Workers. In: Keeves J.P. et al. (eds), International Handbook of Educational Research in the Asia-Pacific Region. Springer International Handbooks of Education, vol 11.

Johnson, B., & Christensen, L. (2008). Educational research: Quantitative, qualitative, and mixed approaches. Sage.

Harnqvist, K. (1997). Training of Research Workers in Education. In: Keeves J.P. (eds) Educational research, methodology and measurement: an international handbook, Second edition. Oxford, UK; Tarrytown, N. Y.: Pergamon

Keeves, J. P., & Watanabe, R. (Eds.). (2013). The international handbook of educational research in the Asia-Pacific region (Vol. 11). Springer Science & Business Media.

Lapanachokdee, W., Lawthong, N., & Piyapimonsit, C. (2016). Critiques on Thai Educational Research Methodology. Asian Social Science, 12(3), 93.

Levin, J. R. (1994). Crafting educational intervention research that's both credible and creditable. Educational Psychology Review, 6(3), 231-243.

Miller, D. W. (1999). The black hole of education research. Chronicle of Higher Education, 45(48), A17-A18.

Nuijten, M. B., Hartgerink, C. H., van Assen, M. A., Epskamp, S., & Wicherts, J. M. (2016). The prevalence of statistical reporting errors in psychology (1985–2013). Behavior research methods, 48(4), 1205-1226.

McMillan, J. H. (1996). Educational research: Fundamentals for the consumer. HarperCollins College Publishers, 10 East 53rd Street, New York, NY 10022; World Wide Web: http://www. harpercollins. com/college.

Picho, K., & Artino Jr, A. R. (2016). 7 deadly sins in educational research.

Ross, K. N. (1979). An empirical investigation of sampling errors in educational survey research. Journal of Educational Statistics, 4(1), 24-40.

Sotos, A. E. C., Vanhoof, S., Van den Noortgate, W., & Onghena, P. (2007). Students’ misconceptions of statistical inference: A review of the empirical evidence from research on statistics education. Educational Research Review, 2(2), 98-113.

Strasser, N. (2011). Avoiding statistical mistakes. Journal of College Teaching & Learning (TLC), 4(7).

Strasak, A. M., Zaman, Q., Pfeiffer, K. R., Gobel, G., & Ulmer, H. (2007). Statistical errors in medical research--a review of common pitfalls. Swiss medical weekly, 137(3-4), 44-49.

Sayer, A. (2010). Method in social science: revised 2nd edition. Routledge.

Scheaffer, R., Aliaga, M., Diener-West, M., Garfield, J., Higgins, T., Hilton, S., ... & Lester, F. K. (2007). Using statistics effectively in mathematics education research. Alexandria, VA: American Statistical Association.

Thompson, B. (1995). Inappropriate Statistical Practices in Counseling Research: Three Pointers for Readers of Research Literature. ERIC Digest.

Thompson, B. (1998). Five Methodology Errors in Educational Research: The Pantheon of Statistical Significance and Other Faux Pas.

Thompson, B. (1999). Common Methodology Mistakes in Educational Research, Revisited, along with a Primer on Both Effect Sizes and the Bootstrap.

Veldkamp, C. L., Nuijten, M. B., Dominguez-Alvarez, L., van Assen, M. A., & Wicherts, J. M. (2014). Statistical reporting errors and collaboration on statistical analyses in psychological science. PloS one, 9(12), e114876.

Walliman, N. (2011). Your research project: Designing and planning your work. Sage