تعداد نشریات | 418 |
تعداد شمارهها | 10,003 |
تعداد مقالات | 83,617 |
تعداد مشاهده مقاله | 78,294,065 |
تعداد دریافت فایل اصل مقاله | 55,348,141 |
بررسی تأثیر بازخورد در ارزشیابی تکوینی بر پیشرفت تحصیلی درس ریاضی دانشآموزان دختر پایه پنجم ابتدایی شهرستان میاندوآب در سال تحصیلی 90 – 89 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
نشریه علمی آموزش و ارزشیابی (فصلنامه) | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
مقاله 5، دوره 6، شماره 24، دی 1392، صفحه 67-78 اصل مقاله (222 K) | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
نوع مقاله: مقاله پژوهشی | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
نویسندگان | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
محمدعلی فرنیا1؛ علینقی اقدسی2؛ ودود شوشتری3 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
1- استادیار بازنشسته | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
2دانشگاه آزاد اسلامی واحد تبریز، گروه علوم تربیتی، تبریز، ایران. | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
3دانشگاه آزاد اسلامی واحد تبریز، دانشآموخته کارشناسیارشد برنامهریزیدرسی، تبریز، ایران. | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
چکیده | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
هدف از این تحقیق تعیین تأثیر بازخورد ارزشیابی تکوینی بر پیشرفت تحصیلی دانشآموزان دختر پایه پنجم ابتدایی شهرستان میاندوآب بوده است. روش تحقیق در پژوهش حاضر شبهآزمایشی یا شبهتجربی بوده است و جامعه آماری شامل تمامی دانشآموزان دختر پایه پنجم ابتدایی مدارس شهر و روستاهای میاندوآب که به تعداد 220 کلاس میباشد. از بین این کلاسها 8کلاس به روش خوشهای و به طور تصادفی به عنوان نمونه آماری که 4 کلاس از شهر و 4 کلاس از روستا انتخاب شدند و جایگزینی کلاسها در دو گروه کنترل و آزمایش بصورت تصادفی انجام گرفت. سپس آزمونهای پنجگانه از درس ریاضی پایه پنجم ابتدایی در طول نیمسال دوم 90-89 به منظور تعیین میزان تأثیر آزمونها بر پیشرفت تحصیلی در درس ریاضی انجام شد. و برای سنجش پایایی آزمون ریاضی از آلفای کرونباخ استفاده شد و همچنین ضریب پایایی آزمون فیلیپس و چک لیست از روش کودر ریچاردسون استفاده شد که پایایی آنها به ترتیب 84/0 و96/0 بدست آمد. به منظور توصیف دادههای بدست آمده از فنون آمار توصیفی (مانند تشکیل جداول توزیع پراکندگی معدل – ترسیم نمودارها) استفاده شد و به منظور بررسی تأثیر بین متغیرها از آزمون t مستقل استفاده شد که کلیه فرایند تحلیل دادهها توسط نرمافزار SPSS17 انجام شد. نتایج نشان داد که: انجام ارزشیابی تکوینی در جریان نیمسال یا ترم در پیشرفت تحصیلی دانشآموزان در درس ریاضی پایه پنجم ابتدایی تأثیر بیشتری دارد و در بین گروهها تفاوت معنیداری مشاهده شد. و همچنین از نظر تسهیل آزمون پایانی (احساس راحتی در پاسخگویی به سؤالات) در درس ریاضی پایه پنجم ابتدایی بین دانشآموزانی که آزمونهای تکوینی برای آنها اجرا میشود با دانشآموزانی که برای آنها ارزشیابی تکوینی اجرا نمیشود تفاوت معنیداری وجود دارد و از نظر میزان کاهش ترس و اضطراب از امتحان ریاضی پایه پنجم ابتدایی بین دانشآموزانی که آزمونهای تکوینی برای آنها اجرا میشود با دانشآموزانی که برای آنها ارزشیابی تکوینی اجرا نمیشود تفاوت معنیداری وجود دارد. | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
کلیدواژهها | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
ارزشیایبی تکوینی؛ پیشرفت تحصیلی؛ بازخورد؛ درس ریاضی | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
اصل مقاله | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
بررسی تأثیر بازخورد در ارزشیابی تکوینی بر پیشرفت تحصیلی درس ریاضی دانشآموزان دختر پایه پنجم ابتدایی شهرستان میاندوآب در سال تحصیلی 90 – 89
دکتر محمدعلی فرنیا[1]
دکتر علینقی اقدسی2 ودود شوشتری3 چکیده: هدف از این تحقیق تعیین تأثیر بازخورد ارزشیابی تکوینی بر پیشرفت تحصیلی دانشآموزان دختر پایه پنجم ابتدایی شهرستان میاندوآب بوده است. روش تحقیق در پژوهش حاضر شبهآزمایشی یا شبهتجربی بوده است و جامعه آماری شامل تمامی دانشآموزان دختر پایه پنجم ابتدایی مدارس شهر و روستاهای میاندوآب که به تعداد 220 کلاس میباشد. از بین این کلاسها 8کلاس به روش خوشهای و به طور تصادفی به عنوان نمونه آماری که 4 کلاس از شهر و 4 کلاس از روستا انتخاب شدند و جایگزینی کلاسها در دو گروه کنترل و آزمایش بصورت تصادفی انجام گرفت. سپس آزمونهای پنجگانه از درس ریاضی پایه پنجم ابتدایی در طول نیمسال دوم 90-89 به منظور تعیین میزان تأثیر آزمونها بر پیشرفت تحصیلی در درس ریاضی انجام شد. و برای سنجش پایایی آزمون ریاضی از آلفای کرونباخ استفاده شد و همچنین ضریب پایایی آزمون فیلیپس و چک لیست از روش کودر ریچاردسون استفاده شد که پایایی آنها به ترتیب 84/0 و96/0 بدست آمد. به منظور توصیف دادههای بدست آمده از فنون آمار توصیفی (مانند تشکیل جداول توزیع پراکندگی معدل – ترسیم نمودارها) استفاده شد و به منظور بررسی تأثیر بین متغیرها از آزمون t مستقل استفاده شد که کلیه فرایند تحلیل دادهها توسط نرمافزار SPSS17 انجام شد. نتایج نشان داد که: انجام ارزشیابی تکوینی در جریان نیمسال یا ترم در پیشرفت تحصیلی دانشآموزان در درس ریاضی پایه پنجم ابتدایی تأثیر بیشتری دارد و در بین گروهها تفاوت معنیداری مشاهده شد. و همچنین از نظر تسهیل آزمون پایانی (احساس راحتی در پاسخگویی به سؤالات) در درس ریاضی پایه پنجم ابتدایی بین دانشآموزانی که آزمونهای تکوینی برای آنها اجرا میشود با دانشآموزانی که برای آنها ارزشیابی تکوینی اجرا نمیشود تفاوت معنیداری وجود دارد و از نظر میزان کاهش ترس و اضطراب از امتحان ریاضی پایه پنجم ابتدایی بین دانشآموزانی که آزمونهای تکوینی برای آنها اجرا میشود با دانشآموزانی که برای آنها ارزشیابی تکوینی اجرا نمیشود تفاوت معنیداری وجود دارد.
واژگان کلیدی: ارزشیایبی تکوینی، پیشرفت تحصیلی، بازخورد، درس ریاضی مقدمه: زمانی که تلاش برای توسعه در کشورهای «جهان سوم» آغاز شد، آموزش و پرورش به دلیل مزایای اجتماعی و اقتصادی و کسب برتریها مورد توجه بیشتری قرار گرفت و توزیع آموزش و پرورش در سطح کشور و چگونگی بهرهمندی افراد از آن یکی از شاخصهای پیشرفت اجتماعی به حساب آمد (تقیپور ظهیر، 1386). معلمان باید همواره مراقب کوششهای دانشآموزان خود باشند و بعد از انجام هر فعالیتی آنها را از نتایج کارشان مطلع سازند. این اقدام معلم به ویژه بعد از انجام هر آزمون ضروری است. معلم پس از اجرای یک آزمون باید به دانشآموزان بگوید نکات مثبت یا موفقیتهای آنها چه بوده و نکات منفی یا شکستهای آنها چه بوده و علت یا علتهای آنها کدام است. غالباً دانشآموزان نیاز دارند تا معلم به آنها بگوید که چرا اشتباه کرده اند. بدون اینگونه بازخوردها، ممکن است باز همان اشتباهات تکرار شوند. پژوهشهای اولیه دربارۀ بازخورد نشان دادهاند که توضیحات کتبی معلمان بر تکالیف و برگههای امتحانی دانشآموزان منجر به بهبود عملکرد آنها در آینده میشود (پیج[2]، 1958). پژوهشهای انجام شده نشان دادهاند که برای دانشآموزان خردسال توضیحات شفاهی از توضیحات کتبی مفیدترند البته استفاده از توضیحات کتبی مختصر نیز برای دانشآموزان خردسال خالی از فایده نیست. «برای دانشآموزان خردسال، اظهارات معلم میتوانند بیانات سادهای چون به به، آفرین، عالی و از این قبیل باشند... اینگونه اظهارات از یک نمرۀ خشک و خالی اثر تقویتی بیشتری دارند» (وولفلک[3]، 1987، ص539). بنا به تعریف، بازخورد[4] به آگاهی از نتایج عمل گفته میشود. به سخن دیگر، بازخورد یعنی اظهار نظر مبتنی بر نتایج ارزشیابی (آیرونس[5]، 2008). امروزه ارزشیابی تکوینی را بخش جدایی ناپذیر از فرایند یاددهی و یادگیری میدانند که همراه آموزش و در ارتباط تنگاتنگ با آن به گونهای مستمر انجام میگیرد و به جای طبقهبندی دانشآموزان و مقایسه آنان با یکدیگر هدایت یادگیری آنان را مورد توجه خود قرار میدهد (رستگار، 1385). برگزاری آزمونهای فرعی و میان دورهای یا تکوینی به کسب تجارب موفقیت آمیز منجر میشود و دانشآموز را از تواناییهای خود مطمئنتر میکند و از نگرش منفی نسبت به ممتحن و امتحان میکاهد و معلّم باید هدف اصلی خود را از هر امتحان برای خود و دانشآموزان مشخص کند. ارزشیابی باید جریان مستمر داشته و به عنوان فرآیند تلقی شد و دانشآموز بداند فقط با یک نمره ورقه قضاوت نمیشود بلکه تمام فعالیتش نمره دارد (سیف، 1385). هدف از کاربرد ارزشیابی تکوینی، آگاهی یافتن از میزان و نحوه یادگیری دانشآموزان برای تعیین نقاط قوّت و ضعف یادگیری و نیز تشخیص مشکلات روش آموزشی معلم در رابطه با هدفهای آموزشی است. این ارزشیابی در طول دوره آموزشی، یعنی زمانی که فعالیتهای آموزشی معلم هنوز در جریان است و یادگیری دانشآموزان در حال تکوین و شکلگیری است انجام میشود (خوئینی، 1388). برطبق نظریههای جدید آموزشی معلّم نه تنها در پایان دورهی آموزشی بلکه در سراسر فرایند آموزش با آزمونهای مکرر و مستمر خویش میزان یادگیری و پیشرفت دانشآموزان را ارزشیابی میکند.این کار به معلّم کمک خواهد کرد تا هم از چگونگی توفیق یادگیران در فرآیند آموزش و هم از نقاط قوّت و ضعف فعالیتهای آموزشی خود آگاهی حاصل مینماید (شعبانی، 1383). در ارزشیابی تکوینی، در پایان هر واحد درسی، یک آزمون دقیق و مختصر که حاوی هدفهای آموزشی آن واحد است اجرا میشود و براساس نتایج حاصل معلوم میشود که یادگیرندگان کدامیک از هدفهای آموزشی را یاد گرفتهاند و در یادگیری کدامیک از هدفهای آموزشی ناموفق ماندهاند تا معلم پیش از پرداختن به واحد درسی بعدی به رفع نواقص یادگیری دانشآموزان در واحد فعلی بپردازد. ضمناً معلم با مراجعه به نتایج این آزمونها از مشکلات روش آموزشی خود نیز مطلع میشود و پیش از آغاز آموزش واحد بعدی به رفع آن مشکلات اقدام میکند (سیف، 1390). در ارزشیابی تکوینی، آگاهی از وضعیت فعلی دانشآموز بررسی میشود. از ارزشیابی تکوینی یا تشخیصی، برای کشف نقاط قوت و ضعف دانشآموزان در جریان یادگیری استفاده میشود تا اصلاحات لازم در سرعت یا محتوای آموزش به عمل آید. این ارزشیابی معمولاً اطلاع دهنده است و بر خلاف ارزشیابی پایانی که به آزمون نهایی از دانش یادگیرنده مربوط است، میتواند به دفعات نیز انجام گیرد، ولی باید از ثبات لازم برخوردار باشد و امکان مقایسه بین دانشآموزان را فراهم کند (کدیور، 1390). آزمون تکوینی برای نظارت بر پیشرفت شاگرد در خلال یک دورهی زمانی به کار میرود. نتایج آزمون نشان میدهد که شاگرد تا چه حدی به هدفهای تدریس و تربیت دست یافتهاند. به این ترتیب، آزمون تکوینی، آزمونی ملاکی است. امتحانات هفتگی و ماهانه در یک دورهی درسی مثالی از آزمون تکوینی است. نتایج آزمون تکوینی ممکن است برای ارزشیابی آموزش و برای مشخص کردن تعدیلها مورد استفاده قرار گیرد. همچنین آزمون تکوینی را میتوان به عنوان شکلی از آزمون تشخیصی در نظر گرفت(لطف آبادی، 1390). یکی ابزارهای مهم در ارزشیابی تکوینی، پوشه کاراست (خوئینی، 1388 ). خوئینی یکی از ابزارهای مهم این روش را پوشه کار یا سنجش پروندهای دانسته و میگوید: مجموعهای از فعالیتهای مختلف دانشآموزان در مکان خاصی به اسم پوشه کار نگهداری میشود. این آثار دانشآموزی، بهترین نمونه کارهای دانشآموزان است که با نظر خود دانشآموزان جمعآوری میشود. وی با اظهار اینکه این آثار شامل نوشتاری، وسایل دست ساز، تهیه عکس و نوار و فیلم، گزارش و... است تصریح میکند: باید قبل از جمعآوری آثار، جلسات توجیهی برای اولیای دانشآموزان و توجیه خود دانشآموزان صورت گیرد وی سنجش عملکردی را از دیگر ابزار این روش عنوان کرده و میگوید: دراین روش فرآیندها و فرآوردههای یادگیری دانشآموزان به طور مستقیم سنجش میشود و در نهایت منجر به تشویق و پرورش فرآیندهای عالی، مهارتهای تفکر انتقادی، و اگر او خلاقیت آنان خواهد شد (خوئینی، 1388 ). آن نوع ارزشیابی که به منظور کشف مشکلات یادگیری دانشآموزان و نواقص آموزش معلم انجام میشود تا با اقدام به موقع معلم روبرو گردند ارزشیابی تکوینی نام دارد این ارزشیابی در طول دوره آموزشی، یعنی زمانی که فعالیت آموزشی معلم در جریان است و یادگیری دانشآموزان در حال تکوین یا شکلگیری است انجام میشود. به همین دلیل به آن نام ارزشیابی تکوینی دادهاند. بنابراین معلم با استفاده از ارزشیابی تکوینی میتواند در زمانی که هنوز امکان رفع مشکلات یادگیری دانشآموزان و برطرف کردن نواقص روشآموزشی خود او میسر است به انجام دادن چنینکاری اقدام کند(سیف،1387). ارزشیابی تکوینی، آن طور که از اسم آن پیداست، زمانی به اجرا در میآید که فعالیتهای آموزشی هنوز جریان دارد و یادگیری دانشآموزان در حال تکوین یا شکلگیری است و موارد استفاده از ارزشیابی تکوینی در دو مقوله زیر امکانپذیر است: الف)گام به گام پیش رفتن در یاد گیری ب)اصلاح روش تدریس. ارزشیابی تکوینی مواد درسی، کیفییت محتوا، تنظیم محتوا و زمان مناسب برای یادگیری را بررسی و تجزیه و تحلیل میکند. معلم میتواند با توجه به یافتههای این ارزشیابی، روش تدریس خود را اصلاح یا روش تدریس مناسبتری انتخاب کند (شعبانی، حسن 1390). برخی معلمان اعتقاد دارند که ارزشیابی تکوینی موجب اتلاف وقت کلاس درس میشود و از زمان تدریس مطالب میکاهد(راس[6]، 1974). عدهای دیگر هم بر این باورند که اجرای آزمونهای مکرر برای کودکان در کلاسهای ابتدایی یا دانشآموزان با توانایی ضعیف لازم و مناسب است(هاپکینگ[7]، 1987). گیچ و برلاینر[8] (1988، ص 569) آزمون را این گونه تعریف کردهاند: آزمون یک روش نظامدار و سیستماتیک برای اندازهگیری نمونهای از رفتار فرد است، برای اینکه بتوان آن رفتار را با توجه به معیار یا هنجار ارزشیابی کرد. آزمون را اینگونه نیز تعریف کرده اند: «آزمون ابزاری است که برای اندازهگیری خصوصیتی از انسان بکار میرود.» (بازرگان1387، ص 175). گرون لاوند و لین[9] ( 1990، ص 5) آزمون را طور دیگری تعریف کردهاند و آن این است که: «آزمون وسیله یا روشی نظاممند برای اندازهگیری نمونهای از رفتار است». شیوه نسبت دادن یک عدد که معمولاً به آن نمره میگویند یک صفت یا ویژگی معین یک شخص یا یک چیز به گونهای که آن عدد درجهای از آن صفت یا ویژگی را که آن شخص از آن برخوردار است نشان دهد. آزمون و اندازهگیری نامیده میشود (نیتکو[10]2001، ص7). چایلد[11](2004، ص 361) میگوید «آزمون و سنجش یک اصطلاح چند وجهی است که در برگیرنده همه فرایندهایی است که ماهیت و میزان یادگیری دانشآموزان را نشان میدهد». قدمت اندازهگیری و امتحان احتمالاً کم و بیش با قدمت آموزش و یاد دادن برابر است. همچنانکه در گذشته نسبتاً دور، آموزش به صورت غیر نظاممند و غیررسمی صورت میگرفته است، اندازهگیری و آزمون نیز به صورت غیرنظاممند و غیررسمی انجام میشده است. با گسترش آموزش رسمی، آزمون و امتحان نیز شکل رسمی به خود گرفته است. فعالیّتهای اولیه آزمون و اندازهگیری بیشتر به تعیین میزان موفقیت فراگیران در یادگیری مطالب تدریس شده محدود بوده است. در اوایل قرن بیستم ابزارهای اندازهگیری، آزمونها رواج پیدا کردند. با تلاش رالف تایلر[12] حوزه ارزشیابی آموزشی شکل میگیرد و به تدریج به صورت یک حوزه مستقل در کنار سایر حوزههای علوم تربیتی جای گرفت (کیامنش، 1387). بنابراین سؤال اصلی تحقیق این است که آیا بین پیشرفت تحصیلی در درس ریاضی پایه پنجم ابتدایی برای دانشآموزانی که آزمونهای مکرر برای آنها اجرا میشود با دانشآموزانی که این آزمونها برای آنها اجرا نمیشود تفاوت وجود دارد؟ فرضیههای تحقیق 1- بین تسهیل در آزمون پایانی (احساس راحتی و آرامش در پاسخگویی به سؤالات) در درس ریاضی پنجم ابتدایی برای دانشآموزانی که آزمونهای مکرر برای آنها اجرا میشود (بازخورد دریافت نمودهاند) با دانشآموزانی که برای آنها ارزشیابی تکوینی اجرا نمیشود (بازخورد دریافت ننمودهاند) تفاوت وجود دارد. 2- بین کاهش اضطراب و ترس از امتحان در درس ریاضی پنجم ابتدایی برای دانشآموزانی که آزمونهای مکرر برای آنها اجرا میشود (بازخورد دریافت نمودهاند) با دانشآموزانی که برای آنها ارزشیابی تکوینی اجرا نمیشود (بازخورد دریافت ننمودهاند) تفاوت وجود دارد. روششناسی پژوهش روش پژوهش، از روش شبهآزمایشی یا شبهتجربی با طرح پیشآزمون و پسآزمون با گروه کنترل است و جامعه آماری این تحقیق شامل همه کلاسهای پایه پنجم ابتدایی مشغول به تحصیل در سال تحصیلی 90-89 در مدارس دخترانه شهرستان میاندوآب میباشند که به تعداد220 کلاس میباشد و نمونه آماری با استفاده از روش نمونهگیری خوشهای از بین 220 کلاس، که تعداد 8 کلاس به طور تصادفی به عنوان نمونه آماری انتخاب شد، که 4 کلاس از شهر و 4 کلاس از روستا میباشند و جایگزینی کلاسها در دو گروه کنترل به تعداد 4کلاس (100 نفر) وگروه آزمایش به تعداد 4کلاس (100 نفر) به صورت تصادفی انجام گرفت. برای گردآوری اطلاعات و دادهها از روشهای 1)چک لیست مشاهدات 2)پرسشنامه اضطراب فیلیپس و همچنین آزمونهای تکوینی و پایانی از درس ریاضیات پایه پنجم ابتدایی به عنوان مداخله استفاده شده است تا تأثیر ارزشیابی تکوینی بر پیشرفت تحصیلی درس ریاضی دانشآموزان مشخص کند. به طوری که در ابتدا با استفاده از آزمون محقق ساخته، پیش آزمون در نهایت پس آزمون گرفته شد. آزمونهای تکوینی و پایانی شامل آزمونهای معلم ساخته و یا سؤالات طراحی شده توسط گروههای آموزشی اداره آموزش و پرورش شهرستان میاندوآب از درس ریاضی پایه پنجم ابتدایی میباشد که از نوع سؤالات چند گزینهای میباشد که این آزمونها از 1 الی 20 نمرهگذاری شدهاند. سئوالات آزمونهای مکرر با توجه به میزان مطالب آموخته شده توسط دانشآموزان نیمسال دوم با توجه به سطح دشواری از آسان به مشکل توسط یکی از معلمان با تجربه شهرستان میاندو آب تدوین شد و سئوالات آزمون پایانی نیز توسط وی از کل کتاب تدوین شد. به تعداد 6 جلسه به فاصله دو هفته در میان به مدت 3ماه از گروه آزمایش بعمل آمد و بعد از انجام هر آزمون به دانشآموزان گروه آزمایش به صورت کتبی یا شفاهی بازخورد داده شد ولی از گروه کنترل هیچ آزمونی به عمل نیامد و در آخر هر دو گروه (آزمایش و کنترل) در آزمون پایانی شرکت کردند و مشخص شد دانشآموزانی که ارزشیابی تکوینی برای آنها اجرا میشود از پیشرفت تحصیلی بالایی برخوردار میشوند. ولی هیچ پیشرفتی از گروه کنترل مشاهده نشد. برای روایی آزمونها در درس ریاضیات پایه پنجم ابتدایی هم در آزمونهای مکرر و هم در پایایی از نظرات معلمان مجرب و اساتید برنامهریزی درسی استفاده شد. برای پایایی آزمونها پس از اولین ارزشیابی تکوینی که به صورت پیش آزمون برگزار شد با آلفای کرونباخ محاسبه شد. چک لیست مشاهداتشامل 12جمله مربوط به احساس راحتی و آرامش در پاسخگویی به سئوالات در ترم دوم میباشد. این جملات دارای مقیاسهای بلی و خیر میباشند که برای بلی نمره 1 و برای خیر نمره صفر منظور شده است. میانگین بالا در گزینه بیانگر احساس راحتی و آرامش و در پاسخگویی به سئوالات میباشند و به همین ترتیب میانگین در گزینه خیر بیانگر عدم احساس راحتی و آرامش در پاسخگویی به سئوالات ترم دوم می باشند. برای روایی چک لیست از نظر متخصصان و معلمان مجرب استفاده شد و پایایی آزمون اضطراب فیلیپس و چک لیست از روش کودر ریچاردسون استفاده شد. که ضریب پایایی آنها به ترتیب 84/0 و 96/0 بدست آمد. برای تجزیه و تحلیل آماری فرضیهها از آمار توصیفی و از آزمونهای t مستقل که از نرمافزار SPSS 17 استفاده شده است. یافتههای پژوهش در پاسخ به سؤال تحقیق و برای تجزیه و تحلیل آن از آمار توصیفی و استنباطی استفاده شده است همان طوری که در جدول شماره(1) نشان میدهد معدل گروه آزمایش در پیش آزمون برابراست با81/14= x و معدل گروه کنترل قبل از آزمون برابر است با 48/14=x1 از آزمون t مستقل برای مقایسه تفاوت این میانگینها استفاده شده است. نتایج آزمون t نشان داد که مقدار27/1t= و با درجه آزادی 198 درسطح 20/0 p=. معنیدار نمیباشد یعنی در بین گروهها در معدل تفاوت معنیداری مشاهده نشد. اما همان طور که در جدول (1) نشان میدهد معدل گروه آزمایش بعد از اجرای ارزشیابی تکوینی برابر است با 11/18=x و معدل گروه کنترل بعداز اجرای ارزشیابی تکوینی برابر است با 09/14=1x. از آزمون t مستقل برای مقایسه این میانگینها استفاده شده است. نتایج آزمونt نشان میدهد که مقدار 22/10=t با انحراف استاندارد 87/1 برای گروه کنترل و 45/3 برای گروه آزمایشی و با درجه آزادی 198 df= در سطح صفر 001/0≤p معنیدار میباشد یعنی بین گروهها در معدل بعد از ارزشیابی تکوینی تفاوت معنیداری وجوددارد. جدول شماره(1): مقایسه معدل گروه کنترل و گروه آزمایش بعد از ارزشیابی تکوینی
برای بررسی احساس راحتی و آرامش در پاسخگویی به سؤالات ازچک لیست استفاده شد. همان طوری که جدول (2) نشان میدهد، میانگین نمرهها در گروه کنترل و آزمایش در مر حله پیشآزمون چندان تفاوتی با هم ندارند و سطح معنیداری آنها 35/0=p میباشد. در نتیجه بین دو گروه، تفاوت وجود ندارد. ولی پس از ارزشیابی تکوینی میانگین چک لیست در گروه آزمایشی برابر است با 95/7= x و میانگین چک لیست در گروه کنترل برابر است با 16/5=1x بدست آمد از آزمون t مستقل برای مقایسه تفاوت این میانگینها استفاده شده است. نتایج آزمونt نشان داد که 08/4t= با انحراف استاندارد 31/2 در گروه آزمایشی و در گروه کنترل 42/2 و با درجه آزادی 198 در سطح 001/0=p معنیدار میباشد. یعنی بین گروهها در احساس راحتی و آرامش در پاسخگویی به سؤالات بعد از اجرای ارزشیابی تکوینی یا در آزمون پایانی تفاوت معنیداری وجود دارد. جدول(2): مقایسه چک لیست گروه کنترل و آزمایش در پاسخگویی به سؤالات در آزمون پایانی
بررسی میزان اضطراب فیلیپس جدول(3) در دو گروه نشان داد که میانگین نمرهها در گروه کنترل و آزمایش در مرحله پیشآزمون برابر است و سطح معنیداری آنها 60/0=p است. در نتیجه بین گروهها در اضطراب فیلیپس تفاوتی وجود ندارد. اما پس از انجام ارزشیابی تکوینی بین دو گروه تفاوت دیده میشود. با توجه به جدول3 میانگین گروه آزمایش در آزمون اضطراب امتحان فیلیپس برابر است با 66/3x= و میانگین گروه کنترل در آزمون اضطراب امتحان فیلیپس برابر است با 23/5=1 x برای مقایسه دو گروه از آزمون t مستقل به منظور تفاوت این میانگینها استفاده شد. نتایج آزمون t نشان داد که مقدار 5/4-t= با انحراف استاندارد برای گروه آزمایش 45/2 و برای گروه کنترل 37/2 و با درجه آزادی 198 در سطح 001/0≥p معنیدار میباشد یعنی بین گروهها در آزمون اضطراب امتحان در درس ریاضی تفاوت معنیداری مشاهده شد. جدول (3) مقایسه میانگین گروه کنترل و آزمایش در آزمون اضطراب فیلیپس
بحث و نتیجهگیری در رابطه با مقایسه تفاوت بین معدل گروههای آزمایش و کنترل همان طوری که در جدول(1) آمده است بیانگر آن است که میانگین نمرات در درس ریاضی پایه پنجم ابتدایی قبل از اجرای ارزشیابی تکوینی (پیشآزمون) در گروه آزمایش و کنترل چندان تفاوتی باهم ندارند یعنی بین گروهها در معدل قبل از اجرای آزمون تکوینی در درس ریاضی پایه پنجم ابتدایی شهرستان میاندوآب تفاوت معنیداری مشاهده نمیشود و هر دو گروه در معدل پیش آزمون یکسان هستند. اما چنانجه در جدول شماره 2 نشان میدهد پس از اجرای ارزشیابی تکوینی میانگین نمرات در درس ریاضی پایه پنجم ابتدایی گروه آزمایش تفاوت معنیداری با گروه کنترل دارد. گروه آزمایش در مقایسه با گروه کنترل از پیشرفت تحصیلی بالاتری برخوردار است. پس میتوان نتیجه گرفت که اجرای ارزشیابی تکوینی برای گروه آزمایش در مقایسه با گروه کنترل که هیچ گونه آزمونی بر روی آنها انجام نگرفته بازخورد خوبی دریافت کردهاند. در رابطه با پرسش مذکور تحقیقی توسط سپاسی (1382) تحت عنوان تأثیر ارزشیابی تکوینی بر پیشرفت تحصیلی دانشآموزان سوم راهنمایی در درس ریاضیات انجام شده و نتایج نشان داده است که در مجموع آزمونهای تکوینی یا مکرر در هر ثلث سه بار انجام میپذیرد و به میزان قابل توجهی در ارتقاء معدل و پیشرفت تحصیلی دانشآموزان تأثیر دارد و همچنین تحقیقی توسط فتحآبادی، (1385) تحت عنوان بررسی تأثیر روشهای متفاوت سنجش بر رویکردهای مطالعه و راهبردهای آماده شدن برای امتحان انجام گرفته بود و چنین نتیجه گرفت که استفاده از انواع آزمونها در رویکرد درک و فهم عمقی دانشآموزان بسیار کمک میکند و تحقیق دیگری توسط زهرهالسادات (1382) تحت عنوان تأثیر ارزشیابی تکوینی بر پیشرفت تحصیلی دانشآموزان دوم راهنمایی انجام گرفته بود و نتایج نشان داد که معلمی که از دانشآموزان امتحان کتبی به صورت مکرر میگیرد فرصتی را برای معلم فراهم میسازد که آنها به توضیح اشتباهات دانشآموزان پرداخته و در نتیجه به بهبود عملکرد آنها در امتحان بعدی انجامیده و این امر در پیشرفت تحصیلی دانشآموزان در هر موضوع درسی تأثیر خواهد گذاشت. پس نتیجه تحقیق با نتایج تحقیقات سپاسی، فتحآبادی و زهرهالسادات همخوانی دارد. بنابراین این ضرورت احساس میشود که جهت تحقق اهداف آموزش و پرورش در درس ریاضی پایه پنجم ابتدایی که بارها در این زمینه نقطه نظرات عدهای مطرح شده است و همواره جزء دغدغههای فکری مسئولین امر و اولیاء دانشآموزان بوده است، این امر یعنی توجه به ارزشیابی تکوینی در درس ریاضی به ویژه در مقطع ابتدایی نقش بسزایی داشته و اهداف آموزشی را در برآورد ساختن آزمونهای کتبی در این درس فراهم می نماید. در این راستا ارزشیابی تکوینی از درس ریاضی بصورت کتبی و در هر 15 روز یکبار پیشنهاد شده است. برای پاسخ دادن به این فرضیه که «بین تسهیل در آزمون پایانی (احساس راحتی و آرامش در پاسخگویی) به سؤالات» برای دانشآموزانی که در درس ریاضی پایه پنجم ابتدایی برای آنها ارزشیابی تکوینی اجرا میشود و بازخورد دیدهاند با آنهایی که اجرا نمیشود و بازخورد دریافت ننمودهاند تفاوت وجود دارد، از آزمون t مستقل استفاده شده است که نتایج آزمون انجام شده بیانگر مطالب زیر است: در رابطه با مقایسه تفاوت بین میانگینهای چک لیست گروههای آزمایشی و کنترل همان طوری که در جدول (2) آمده است بیانگر آن است که میانگین چک لیست درآزمون پایانی در گروه آزمایشی بیشتر از گروه کنترل بوده است یعنی بین گروهها در میانگین چک لیست در تسهیل در آزمون پایانی احساس راحتی و آرامش در پاسخگویی به سؤالات در درس ریاضی پایه پنجم ابتدایی دخترانه شهرستان میاندوآب تفاوت معنیداری وجود دارد و گروهی که بر روی آنها ارزشیابی تکوینی در درس ریاضی انجام گرفته و بازخورد دریافت نمودهاند در مقایسه با گروه کنترل از احساس و آرامش و راحتی زیادی در پاسخگویی به سؤالات آزمون پایانی برخوردارند پس میتوان چنین نتیجه گرفت که اجرای ارزشیابی تکوینی در جریان سال تحصیلی برای گروه آزمایش در تسهیل آزمون پایانی برای گروه فوق اثر بخشتر بوده است. با توجه به مطالعات و بررسیهای به عمل آمده توسط پژوهشگر در رابطه با تسهیل در آزمون پایانی برای دانشآموزانی که ارزشیابی تکوینی برای آنها انجام میپذیرد (گروه آزمایش) چه در سطح منطقه و چه در سطح کشور یا تحقیقی صورت گرفته و یا اینکه به آن دسترس پیدا نشد اما آنچه به نظر نگارنده در تسهیل آزمون پایانی (احساس راحتی در پاسخگویی به سؤالات) میتواند مثمر ثمر واقع شود اجرای ارزشیابی تکوینی میباشد که این امر در واقع نوعی اعتماد به نفس و آرامش در دانشآموزان بوجود میآورد که گویا اینکه نمونه سؤالات را چندین بار دیدهاند و واهمهای نیز درباره سختی و عدم آشنایی با سؤالات نداشته باشند. علاوه بر موارد فوقالذکر در سر جلسه امتحان میتوانیم با ایجاد شرایط فیزیکی مناسب امنیت روانی خاطری را در آنها بوجود آوریم که آزمون و امتحان برای آنها توأم با آرامش باشد. بنابراین این ضرورت احساس میشود که جهت بهینه سازی و تسهیل بیشتر در امر آزمونها بویژه در آزمونهای پایانی و نهایی که همواره دغدغههای اصلی دانشآموزان، دبیران و اولیاء میباشد اجرای ارزشیابی تکوینی بویژه در درس ریاضی و علوم در مقطع ابتدایی میتواند تأثیر بسزایی داشته باشد. در این راستا اجرای ارزشیابی تکوینی در جریان ثلث یا ترم از درس ریاضی برای دانشآموزان پنجم ابتدایی پیشنهاد شده است. برای پاسخ دادن به این پرسش فرضیه که بین کاهش اضطراب از امتحان برای دانشآموزانی که برای آنها ارزشیابی تکوینی در درس ریاضی اجرا میشود و بازخورد دیدهاند با آنهایی که اجرا نمیشود و بازخورد دریافت ننمودهاند تفاوت وجود دارد. از آزمون t مستقل استفاده شده است با نتایج آزمون انجام شده بیانگر مطالب زیر است: 1- در رابطه با مقایسه تفاوت بین میانگینهای اضطراب امتحان فیلیپس گروههای آزمایشی و کنترل همان طوری که در جدول (3) آمده است بیانگر آن است که میانگین پرسشنامه اضطراب امتحان فیلیپس در گروه آزمایش بسیار کمتر از گروه کنترل میباشد. یعنی بین گروهها در اضطراب فیلیپس که اضطراب امتحان را نشان میدهد تفاوت معنیداری دیده میشود یعنی گروه آزمایش که بر روی آنها ارزشیابی تکوینی از درس ریاضی برگزار شده است نسبت به گروه کنترل که در این مدت هیچ گونه آزمونی برگزارنشده و بازخوردی دریافت نکردهاند اضطراب امتحانی کمتری درس ریاضی نشان میدهند. پس میتوان نتیجه گرفت که گروه آزمایش با توجه به اجرای ارزشیابی تکوینی در جریان نیمسال تحصیلی برای آنها نسبت به گروه کنترل اضطراب کمتری در آزمون پایانی دارند. در ارتباط با پرسش مذکور توسط آماد(1387) تحقیقی تحت عنوان تأثیر نحوه برنامهریزی درسی بر کاهش اضطراب و ترس از امتحان انجام شده و نشان داده است که در مجموع از ابتدای سال تحصیلی اگر دانشآموزان را با نحوه برنامهریزی درسی، روش صحیح مطالعه و مرور درسها آشنا سازیم و نیز قبل از امتحانات پایانی، هر موضوع امتحانی که باشد از خودآزمایی و امتحانات به منظور آشنا کردن دانشآموزان با سؤالات و نحوه امتحان دادن استفاده نماییم به نحو قابل توجهی از اضطراب امتحان بویژه در آزمون پایانی میکاهد (آماد، 1387). پژوهش دیگری که توسط وولفلک تحت عنوان بررسی واکنش اضطرابی در برخورد با شرایط امتحانی انجام شده نشان داده است که اگر دانشآموزان با دیدن اوراق امتحانی دچار اضطراب میشوند و این اضطراب عملکرد آنها را تضعیف میکند، ابتدا برای مدتی به طور روزانه تعدادی امتحان که نمره آنها را به حساب نمیآورید از دانشآموزان بگیرید. اگر متوجه شدید که از اضطراب آنها کاسته شد و عملکردشان بهبود یافت امتحان روزانه را به امتحانات هفتگی تبدیل کنید. اگر باز هم متوجه شدید که این تدبیر تدریجاً سبب کاهش ترس و اضطراب دانشآموزان میشود و عملکردشان را به نحو چشمگیری بهبود میبخشد، با این کار ادامه داده و نمره دانشآموزان را در این امتحانات به حساب آورید (وولفلک، 2004). پژوهش دیگری که توسط کاستلو[13] و همکاران تحت عنوان کارتهای واکنشی به عنوان ابزار جهت آزمون تکوینی انجام میپذیرفته و نشان داده است که با انجام این کارتها دانشآموزان تصور میکردند که این کارتها از تأثیر مثبت بر وضعیت کلاس و عدم ترس و دلهره آنان گذاشته و در برقراری ارتباط آنان با مربیان افزایش میدهد ( کاستلو و همکاران، 2002). پس این پرسش با نظریههای وولفلک، کاستلو و همکاران و آماد همسویی دارد. بنابراین میتوان چنین گفت که اگر برگزاری ارزشیابیهای تکوینی مکرر به نحو مطلوب و با توجه به شرایط زمانی و با در نظر گرفتن برنامهریزیهای درون درسی و امتحانی و نیز با هدف بهبود عملکرد آنها و ترمیم آموختههای ناقص آنها صورت گیرد به نحو بسیار مطلوبی میتوان کاهش ترس و اضطراب آنها تأثیرگذار باشد. براساس یافتههای این تحقیق پیشنهادات زیر ارایه میشود: 1- ارزشیابی تکوینی در صورت امکان در هرهفته یکبارتوسط معلمان ابتدایی در تمامی دروس بویژه در درس ریاضی پایه پنجم ابتدایی اجرا شده و نتایج آن به دانشآموزان به صورت کتبی و شفاهی بازخورد داده شود تا دانشآموزان از پیشرفت تحصیلی خود باخبر شوند. 2- معلمان به کمک عوامل اجرایی مدرسه از جمله مدیر و معاونین آموزشگاه محیطی امن و دور از سر و صدا برای دانشآموزان ایجاد کنند تا دانشآموزان بتوانند باخیال راحت و آسوده به سؤالات آزمون جواب دهند یعنی احساس آرامش داشته باشند. و همچنین مدیر سؤالات مورد نیاز را تکثیر و در اختیار معلمان و دانشآموزان قرار دهد.3- معلمان در اجرای آزمون طوری عمل کنند که دانشآموزان هیچگونه ترس و اضطراب از امتحان نداشته و در آنها رغبت و انگیزه بوجود بیاورند. منابع آماد، ف. (1387). روشهای نوین فرآیندیاددهی-یادگیری: نشریه ماهانه آموزشی-تربیتی پیوند. شماره 344. بازرگان، عباس. (1387). ارشیابی آموزشی. تهران: انتشارات سمت. تقیپور ظهیر، علی. (1386). مقدمهای بر برنامهریزی آموزشی و درسی (چاپ بیستوششم). تهران: انتشارات آگاه. خوئینی، ابوالفضل. (1388). آنچه معلمان، دانشآموزان و اولیاء باید بدانند ارزشیابی تکوینی چیست؟. تهران: انتشارات پیوند مردم نو شماره 7668. رستگار، طاهره. (1385). آزمون مستمر و ارزشیابی در تعلیم و تربیت. تهران: نشریه رشد، شماره 4 صفحه32. زهرهالسادات، کبری.(1382).تأثیرارزشیابی تکوینی برپیشرفت تحصیلی سال دوم راهنمایی دردرس علوم تجربی. دانشگاه اصفهان. سپاسی، حسین. (1382). بررسی تأثیر ارزشیابی تکوینی بر پیشرفت تحصیلی دانشآموزان کلاس سوم راهنمایی در درس ریاضیات. پایاننامه کارشناسیارشد، دانشگاه اهواز. سیف، علیاکبر. (1385).اندازهگیری، سنجش، و ارزشیابی آموزشی. تهران: نشر دوران. سیف، علیاکبر. (1387). روانشناسی پرورشی نوین. تهران: نشر دوران، ویرایش ششم. سیف، علیاکبر. (1390). روانشناسی پرورشینوین(روانشناسی یادگیری وآموزش). تهران: انتشارات دوران. شعبانی، حسن. (1383). مهارت های آموزشی و پرورشی. (چاپ نوزدهم)، تهران: انتشارات سمت. شعبانی، حسن. (1390). مهارتهای آموزشی: (روشها و فنون تدریس ). تهران: انتشارات سمت. فتحآبادی، جلیل. (1385). بررسی تأثیر روشهای متفاوت سنجش بر رویکردهای مطالعه و راهبردهای آماده شدن برای امتحان. رساله دکتری، دانشگاه علامه طباطبایی. کدیور، پروین. (1390). روانشناسی یادگیری. تهران: انتشارات سمت. کیامنش، علیرضا. (1387). روشهای ارزشیابی آموزشی. تهران: پیام نور. لطف آبادی، حسین.(1390). روانشناسی تربیتی.تهران: انتشارات سمت. Costello, M. L. & Wddon, A., & Brunner, P. (2002), Assessment & Evaluation inhigher Education, vol. 27, No.1. Carfux Publishing. Child, D. (2004). psychology and the teacher. London: Continuum. Gage, N. L, & Berliner, D. C. (1984,1988,1992). Educational psychology (3rd, 4th, and 5th ed). Hopewell, N j: Houghton milflin. Gronlund, N. E, & linn, R.M. (1990). Measurement and evaluation in teaching. New York: Macmillan. Hopking, C. D. (1987). Classroom Measurement And Evaluation Itasca. I11: F.E, Peacock Riblisher. Irons, A. (2008). Enhancing Learning through formative assessment and feed back. London: Routledge. Nitko, A. j. (2001). Educational assessment of students. Page, E.B. (1958). Teacher comments and student performances. Journal of Educational psychology, 49, 173-181. Ross. C. C. (1974). Measurement in today’s Schools. Englewood, Cliffs NJ: Prentice hall, Inc. Wool folk, A. E. (2004). The study of reaction agitation in examinationsituations. Boston. Woolfolk, A.E. (1987, 1995, 2001, 2004). Educational psychology (5th, 6th, 8th and 9th ed.). Boston: Allyn and Bacon 2- دانشگاه آزاد اسلامی واحد تبریز، گروه علوم تربیتی، تبریز، ایران. 3- دانشگاه آزاد اسلامی واحد تبریز، دانشآموخته کارشناسیارشد برنامهریزیدرسی، تبریز، ایران. [2]- Page [3]- Wool folk [4]- Feed back [5]- Irons [6]- Ross [7]- Hopking [8]- Guge & berliner [9]- Gronlund & Linn [10]- Nitko [11]- Child [12]- Ralf tyler [13]- Cosstello & etal | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
مراجع | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
آماد، ف. (1387). روشهای نوین فرآیندیاددهی-یادگیری: نشریه ماهانه آموزشی-تربیتی پیوند. شماره 344. بازرگان، عباس. (1387). ارشیابی آموزشی. تهران: انتشارات سمت. تقیپور ظهیر، علی. (1386). مقدمهای بر برنامهریزی آموزشی و درسی (چاپ بیستوششم). تهران: انتشارات آگاه. خوئینی، ابوالفضل. (1388). آنچه معلمان، دانشآموزان و اولیاء باید بدانند ارزشیابی تکوینی چیست؟. تهران: انتشارات پیوند مردم نو شماره 7668. رستگار، طاهره. (1385). آزمون مستمر و ارزشیابی در تعلیم و تربیت. تهران: نشریه رشد، شماره 4 صفحه32. زهرهالسادات، کبری.(1382).تأثیرارزشیابی تکوینی برپیشرفت تحصیلی سال دوم راهنمایی دردرس علوم تجربی. دانشگاه اصفهان. سپاسی، حسین. (1382). بررسی تأثیر ارزشیابی تکوینی بر پیشرفت تحصیلی دانشآموزان کلاس سوم راهنمایی در درس ریاضیات. پایاننامه کارشناسیارشد، دانشگاه اهواز. سیف، علیاکبر. (1385).اندازهگیری، سنجش، و ارزشیابی آموزشی. تهران: نشر دوران. سیف، علیاکبر. (1387). روانشناسی پرورشی نوین. تهران: نشر دوران، ویرایش ششم. سیف، علیاکبر. (1390). روانشناسی پرورشینوین(روانشناسی یادگیری وآموزش). تهران: انتشارات دوران. شعبانی، حسن. (1383). مهارت های آموزشی و پرورشی. (چاپ نوزدهم)، تهران: انتشارات سمت. شعبانی، حسن. (1390). مهارتهای آموزشی: (روشها و فنون تدریس ). تهران: انتشارات سمت. فتحآبادی، جلیل. (1385). بررسی تأثیر روشهای متفاوت سنجش بر رویکردهای مطالعه و راهبردهای آماده شدن برای امتحان. رساله دکتری، دانشگاه علامه طباطبایی. کدیور، پروین. (1390). روانشناسی یادگیری. تهران: انتشارات سمت. کیامنش، علیرضا. (1387). روشهای ارزشیابی آموزشی. تهران: پیام نور. لطف آبادی، حسین.(1390). روانشناسی تربیتی.تهران: انتشارات سمت. Costello, M. L. & Wddon, A., & Brunner, P. (2002), Assessment & Evaluation inhigher Education, vol. 27, No.1. Carfux Publishing.
Child, D. (2004). psychology and the teacher. London: Continuum.
Gage, N. L, & Berliner, D. C. (1984,1988,1992). Educational psychology (3rd, 4th, and 5th ed). Hopewell, N j: Houghton milflin.
Gronlund, N. E, & linn, R.M. (1990). Measurement and evaluation in teaching. New York: Macmillan.
Hopking, C. D. (1987). Classroom Measurement And Evaluation Itasca. I11: F.E, Peacock Riblisher.
Irons, A. (2008). Enhancing Learning through formative assessment and feed back. London: Routledge.
Nitko, A. j. (2001). Educational assessment of students.
Page, E.B. (1958). Teacher comments and student performances. Journal of Educational psychology, 49, 173-181.
Ross. C. C. (1974). Measurement in today’s Schools. Englewood, Cliffs NJ: Prentice hall, Inc.
Wool folk, A. E. (2004). The study of reaction agitation in examinationsituations. Boston.
Woolfolk, A.E. (1987, 1995, 2001, 2004). Educational psychology (5th, 6th, 8th and 9th ed.). Boston: Allyn and Bacon | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
آمار تعداد مشاهده مقاله: 5,349 تعداد دریافت فایل اصل مقاله: 2,153 |