فصلنامه پیشرفتهای نوین در مدیریت آموزشی

فصلنامه پیشرفتهای نوین در مدیریت آموزشی

شناسایی عوامل موثر بر ارزیابی تکوینی دیجیتال در آموزش و یادگیری الکترونیکی مبتنی بر روش فراترکیب

نوع مقاله : مقاله پژوهشی

نویسندگان
1 دانشجوی دکتری، گروه مدیریت آموزشی، دانشکده علوم انسانی، دانشگاه آزاد اسلامی واحد پردیسان قم
2 دانشیار، گروه مدیریت آموزشی، دانشکده مدیریت و حسابداری، دانشکدگان فارابی، قم، ایران
3 گروه مدیریت آموزشی، دانشکده علوم انسانی، دانشگاه آزاد اسلامی قم، قم ،ایران
4 استادیار، گروه مدیریت آموزشی، دانشده علوم انسانی، دانشگاه آزاد اسلامی قم ، قم ، ایران
چکیده
فقدان سازوکارهای صحیح سنجش و ارزیابی تحصیلی، در آموزش و یادگیری الکترونیکی، مدیران را به اجرای راه‌کارها و برنامه های زودگذر با هزینة اضافی مواجه کرده است . این امر در نتیجه عدم شناسایی صحیح مولفه‌های ارزیابی در آموزش و یادگیری الکترونیکی است. فرایند ارزیابی تکوینی دیجیتال به سیستم‌های مدیریت آموزش و یادگیری الکترونیکی کمک می‌کند تا با اتخاذ استراتژی مناسب و بکارگیری ‌های فرایند ارزیابی تکوینی دیجیتال به هدف اصلی آموزش که یادگیری می‌باشد جامه عمل پوشانده شود. با وجود مدل ها و چهارچوب‌های مختلفی در حوزه آموزش و یادگیری الکترونیکی تا کنون مدل جامعی ارائه نشده است که ابعاد چندگانة سنجش و ارزیابی تحصیلی را به صورت یکپارچه برای دستیابی به هم‌راستایی ارزیابی برای یادگیری در نظر بگیرد. در این نوشتار به منظور تبیین یک مدل جامع، با مرور سیستماتیک ادبیات و به کمک روش پژوهش کیفی فراترکیب (متاسنتز)، کلیة ابعاد ارزیابی تکوینی دیجیتال شناسایی شده، سپس میزان اهمیت و اولویت هر یک از عوامل موثر به کمک روش کمی آنتروپی شانون، براساس رویکرد تحلیل محتوا تعیین شده است؛ به طوری که این پژوهش هم در روش‌شناسی و هم نتایج به دست آمده دارای نوآوری است.
کلیدواژه‌ها

مقدمه

یادگیری الکترونیکی، یک انگیزه بی­نظیر در امر صنعت و آموزش است، که توانسته فرایند یادگیری را به طور موثر و ساده گسترش‌دهد. بدون شک در دنیای پیشرفته‌ی امروزی، یکی از علائم موفقیت فرد، موفقیت تحصیلی می‌باشد که بدون آن توسعه و ترقی هیچ کشوری امکان پذیر نخواهد بود. ترقی هر کشوری رابطه‌ی مستقیم با پیشرفت علم و دانش و تکنولوژی آن کشور دارد. تحقیقات متعدد در سال‌های اخیر نشان داده که تدریس در محیط وب و به روش الکترونیکی و با استفاد از شبکه‌های اجتماعی، نسبت به روش سنتی در پیشرفت تحصیلی فراگیران تاثیر داشته است و محیط وب و شبکه‌های اجتماعی توانسته در توضیح مطالب، نقد و بررسی آن‌ها، ایجاد هماهنگی بین مطالب به معلم کمک کند و یادگیری را برای دانش‌آموزان غنی‌تر، موثرتر، جالب‌تر و زنده‌تر سازد و در یادگیری بیشتر و بهتر فراگیران کمک کند.

آموزش مبتنی بر وب[1] و شبکه‌های مجازی، رویکردی از یادگیری است، ضمن اینکه می­تواند با افراد در تعامل باشد. در این روش دسترسی وسیع­تری به مواد یادگیری ارائه می­شود و از انواع رسانه­های غنی برای ایجاد انگیزه و روش‌های یادگیری مهیج استفاده­ می­شود.

یکی از مهمترین چالش­های سیستم­های یادگیری­الکترونیکی، ارزیابی سطح یادگیری فراگیران است. در محیط‌های مجازی معلم تسلط کافی بر دانش‌آموز ندارد و در آزمون‌های مبتنی بر وب احتمال  تقلب و تخلف بالا می‌رود. بنابراین دانش‌آموز نباید این ذهنیت را داشته ‌باشد که ارزیابی پایانی ملاک یادگیری خواهد بود بلکه باید درک کند که فعالیتهای کلاسی فردی وگروهی،  معیارهای مهم‌تری برای سنجش یادگیری هستند.

در این پژوهش ضرورت به‌کارگیری نوعی از ارزیابی به نام"تکوینی" به‌عنوان عنصری راه‌گشا برای بهبود آموزش و یادگیری بررسی می‌شود .همچنین به نوع خاصی از ارزیابی‌تکوینی با عنوان "ارزیابی‌تکوینی‌دیجیتال" پرداخته خواهد شد. براین اساس، تحقیق حاضر با هدف بررسی مولفه‌های مورد نیاز برای ارزیابی‌تکوینی، به قوت‌ها، ضعف‌ها ، فرصت‌ها و تهدیدهای این روش می‌پردازد و موانع موجود را بررسی خواهد کرد و در نهایت مدلی از ارزیابی‌تکوینی‌دیجیتال ارائه خواهد نمود که شامل مولفه‌های مورد نیاز در تامین اهداف ارزیابی باشد و تاثیر مولفه‌ها را در فرآیند ارزیابی‌تکوینی اندازه‌گیری خواهد نمود. تمرکز اصلی این پژوهش بر روی موضوعات طراحی و اجرای ارزیابی‌تکوینی با استفاده از فناوری دیجیتال است و سایر موارد فنی، مانند توصیف برنامه‌ها و سیستم‌عامل‌های نرم‌افزاری در پژوهش گنجانده نشده است.

تعریف اصطلاحات

برای درک بهتر مطالب و به کارگیری واژه‌های مناسب ابتدا لازم است تا مروری بر مفاهیم و اصطلاحات به‌کار رفته داشته باشیم و بدانیم چه تفاوت‌هایی بین  عبارت‌های ذیل وجود دارد:   

اندازه‌گیری[2] : اندازه‌گیری عبارت است از فرآیندی برای تعیین میزان برخورداری فردی از یک ویژگی یا توانایی (بیکر, 2001). اندازه گیری عبارت است از شیوه نسبت دادن یک عدد )که معمولا به آن نمره گفته می‌شود) یک صفت یا ویژگی معین به یک شخص نسبت داده می‌شود، به گونه ای که آن عدد درجه‌ای از آن صفت یا ویژگی را که آن شخص از آن برخوردار است را نشان دهد (نیکتو, 2001). اندازه گیری فرایند تبدیل کیفیت به کمیت است.

آزمون[3]: به وسیله‌ای که فرایند اندازه گیری توسط آن انجام می‌شود آزمون می‌گویند. (گرانلاندولین, 1990) آزمون وسیله یا روشی نظا‌م‌مند است که برای اندازه گیری نمونه‌ای از رفتار از آن استفاده می‌شود. رفتارها چون متنوع و فراوان هستند نمی‌توان به اندازه گیری همه آن ها دست یافت، بنابراین نمونه‌ ای از رفتار مورد بررسی قرار می‌گیرد.

ارزشیابی[4] : به یک فرایند نظام‌مند جهت جمع‌آوری، تحلیل و تفسیر اطلاعات بر اساس شاخص‌ها و استاندارد‌های ازپیش تعیین شده ارزشیابی گفته می‌شود (راس, 2004). کیفیت عبارت است از دانش، مهارت‌ها و توانایی‌هایی که از فراگیران پس از آموزش انتظار می‌رود (نیکتو, 2001).

ارزیابی[5] یا سنجش : به فرایند گردآوری اطلاعات مورد نیاز برای تصمیم‌گیری درباره فراگیران، برنامه‌‌های درسی و سیاست‌های آموزشی ارزیابی گفته می‌شود (اگن و گوچاک, 2001). ارزیابی نوعی تحلیل و پیش بینی عملکرد فراگیر است در حالی که آزمون وسیله اندازه گیری است (کرانباخ, 1980). ارزیابی فرایندی برای تشخیص شایستگی‌ها و نقاط ضعف احتمالی به منظور حمایت از فراگیر برای بهبود عملکرد و رشد توانمندی‌های وی است. در رویکرد سنتی،  ارزشیابی انجام می‌شود که ابزار آن آزمون است. در رویکرد مدرن،  سنجش یا ارزیابی انجام می‌گردد که ابزار آن آزمون و ابزارهای جایگزین هستند.

ارزیابی‌تکوینی[6] : به ارزیابی پیشرفت یادگیری که فرایندمدار است و به‌طور مستمر و پویا انجام می‌شود ارزیابی‌تکوینی اطلاق می‌شود. این نوع ارزیابی در تمام مراحل آموزش و یادگیری به کار گرفته می‌شود و در واقع نقش تکوینی دارد و هدف آن اصلاح و بهبود فرایند یاددهی یادگیری است. در شیوه ارزیابی‌تکوینی و پویا، معلم به عنوان قاضی یا داور، فعالیت‌های دانش‌آموزان را در همه‌ی حیطه‌های یادگیری(عاطفی , شناختی , روانی حرکتی) از شروع آموزش تا پایان دوره آموزشی زیر نظر داشته و کلیه اطلاعات لازم را در جهت رسیدن به مهارت، نگرش و دانش مطلوب و مورد انتظار از طریق ابزارهایی مثل چک لیست رفتاری ( مشاهده عملکرد ) پوشه کاری، آزمو‌ن‌های عملکردی  آزمون‌های عینی و غیرعینی دانشی، پرسش‌نامه نگرش‌سنج و ... جمع‌آوری می‌کند.

شیوه‌های یادگیری دانش‌آموز باید کانون توجه فرایند ارزیابی قرارگیرد؛ هر زمان که ارزیابی انجام می‌شود دانش‌آموز باید آن را جزئی از فرایند آموزش تلقی کند و به همان اندازه که می‌داند چه یاد می‌گیرد، بدانند چگونه یاد می‌گیرد و ارزیابی‌تکوینی در مرکز فعالیت‌های کلاسی قرارمی‌گیرد.  بسیاری از کارهایی که معلم و دانش‌آموز در کلاس انجام می‌دهند ارزیابی تلقی می‌شود. پرسش‌هایی که دانش آموز طرح می‌کند و تکالیفی که انجام می‌دهد، میزان دانش و مهارت او را نشان می‌دهد و معلم از طریق تفسیر مشاهدات خود، مرحله‌ی تدریس خود را معیین می‌کند.  این شیوه که در آن معلم و دانش‌آموز در تعامل، بازخورد و تصمیم گیری هستند، جزء اصلی برنامه آموزشی است.

ارزیابی‌تکوینی‌دیجیتال[7]: ارزیابی‌تکوینی دیجیتال همه ویژگی‌های ارزیابی‌تکوینی را دارد و علاوه بر آن با به کارگیری فناوری‌های روز در زمینه محیط‌های یادگیری الکترونیکی و برگزاری آزمون‌های برخط روند یادگیری، بررسی نتایج و بازخورد را تسریع می‌نماید.

رویکردهای ارزیابی تحصیلی

نظام تعلیم و تربیت همانند سایر نظام‌ها دارای اصول و ویژگی‌های خاص خود است.  یکی از ویژگی‌های اساسی و لاینفک آن سنجش و ارزیابی فرایند آموزش و یادگیری دانش‌آموزان است که به واسطه بررسی نتایج ارزیابی می‌توان به تحقق اهداف مهم آموزشی پی برد.

 هدف اصلی ارزیابی فراهم آوردن اطلاعات ضروری برای قضاوت درباره کیفیت عملکرد تحصیلی و یادگیری دانش‌آموز است. بنابراین، قضاوت معلم درباره پیشرفت تحصیلی دانش‌آموزان(میزان دستیابی به هدف‌های آموزشی و پرورشی از پیش تعیین‌شده برنامه درسی) به اطلاعات جمع‌آوری‌شده در این زمینه بستگی دارد. در واقع، قضاوت به‌عمل‌آمده نشان خواهد داد که کدام بخش از آموزش به یادگیری دانش‌آموزان منجر شده است و از کدام بخش از آموزش، بهره لازم را کسب نکرده‌اند و در آن زمینه به توجه و آموزش بیشتری نیاز دارند. به این معنا که هرچه اطلاعات فراهم‌شده دقیق‌تر و کامل‌تر باشد، قضاوت به‌عمل‌آمده بر پایه آنها نیز معتبرتر خواهد بود. جدول 1 رویکردهای مختلف ارزیابی تحصیلی را به همراه پژوهش‌های انجام شده نشان می‌دهد.

ﺟﺪول 1.  روﻳﻜﺮدﻫﺎی ﻣﺨﺘﻠﻒ ارزﻳﺎﺑﻲ تحصیلی

رویکرد

نمونه ای از پژوهش

ارزیابی تراکمی

(مک میلان،2010)؛

ارزیابی تکوینی

(هادسمان و همکاران،2013)

ارزیابی تکوینی دیجیتال

(رحیمی،2017)؛

ارزیابی برای یادگیری

(وانگ و هوانگ،2006)؛

 

در جدول2 پژوهش‌های مرتبط با ارزیابی تکوینی دیجیتال با ابعادی که در پژوهش‌ها مورد بحث و بررسی قرارگرفته‌اند دسته بندی شده‌اند.

جدول 2 .برخی از پژوهش‌های مرتبط با ارزیابی تکوینی دیجیتال با ابعاد پیشنهادی

ابعاد

مطالعات ارزیابی تکوینی دیجیتال

معلم

(رینولز،2020)؛ (ویلسون،2016)؛ (بلک،2017)

دانش آموز

(مک میلان و کالی،2010)؛ (بلک،2004)؛ (تامپسون،2007)

مجتوای آموزشی

(علیزاده،1396)؛ (لونی،2019)؛ (اندرسون،2003)

زیرساخت و ابزار دیجیتال

(ان جی،2012)؛ (سیندی،2020)؛ (کونیچو،2016)

محیط

(چو،2016)؛ (لونی،2019)؛ (کاتالیست،2018)

 

به طور خلاصه، انتقادات مدل‌های ارزیابی تکوینی را می‌توان به صورت زیر بیان کرد: یکی از انتقادات وارد بر ارزیابی‌های به عمل آمده از یادگیری، هماننـد مدل‌های کلی‌تر سیستم‌های اطلاعاتی، مشکلات مربوط به مطالعات مفهومی و عدم ارائة مدل‌های توسعه یافته با استفاده از روش‌های مطالعاتی دقیق است. دیگـر اینکـه برخـی از مدل‌ها، دارای روش ارزیابی کلی مبهم و بدون ارائة نقشة راه بهبود هستند درنهایت، روش‌های مختلف ارزیابی تکوینی دیجیتال  اغلب بر فعالیت‌هـای مجـزا یـا ابعـاد متفـاوت، به ویژه ابعاد یادگیری ارزیابی تکوینی، اشاره دارند. در ادبیات ارزیابی تکوینی دیجیتال، مسئلة هم راستاسازی فعالیتهای ارزیابی و استراتژی‌های فناوارانه چنـدان مـورد توجـه قرار نگرفته و خلأ مدلی سیستماتیک برای ارزیابی و پیـاده سـازی ارزیابی تکوینی هم‌راسـتا بـا فناوری دیجیتال در مطالعات علمی کاملاً مشهود است. بنابراین در پژوهش پیش رو، برآنیم تا بـر ایـن محدودیت‌های مطالعاتی در حوزة ارزیابی تکوینی دیجیتال فائق آییم. به منظور ارائه مدل ارزیابی تکوینی دیجیتال، ابتدا باید مجموعه‌ای از معیارهای مورد نیاز برای تحلیل‌های آتی ایجاد شود. از آنجا که شناسایی عوامل موثر می‌تواند بصیرت گسترده‌ای در رابطـه بـا محتـوای ارزیابی تکوینی دیجیتال فراهم کند در ادامه برای طراحی مـدل ارزیابی تکوینی دیجیتال، عوامل تاثیرگذار و تاثیرپذیر آن بررسی شـده اسـت. گفتنـی اسـت در بخـش یافتـه هـای پژوهش با انجام یک مرور سیستماتیک روی برترین مجله‌های حوزة یادگیری و نیز تحلیل مطالعات اشاره شده در این بخش، اقدام به تفسیر و مفهوم‌سازی مجدد برای صـورت‌بنـدی یـک نظریة جدید در این حوزه شده است.

 

روش‌ پژوهش

 از آنجایی که هدف اصلی پژوهش، طراحی مدل ارزیابی تکوینی دیجتال هم‌راستا با فرایند یادگیری است تا بدین وسیله عملکرد ابتکارات ارزیابی تکوینی دیجیتال ارتقا یابد، لذا براساس هدف، کاربردی است. از سوی دیگر، از آنجا که در پژوهش حاضـر داده‌هـا کـاملاً طبیعـی و بـدون دسـتکاری گـردآوری شده‌اند، در زمرة تحقیقات توصیفی (غیر آزمایشی) شمرده می‌شود. برای حل مسـئلة پـژوهش و طراحی چنین مدلی، رویکرد فراترکیب اسـتفاده شـده اسـت.(کانـالانو ،2013) معتقـد اسـت کـه فراترکیب فرایند جست وجو، ارزیابی، ترکیب و تفسیر مطالعات کمی یا کیفی در یک حوزة خـاص است. هنوز استفادة گستردهای از رویکرد نسبتاً جدید فراترکیب در حـوزة مـدیریت سیسـتم‌هـای اطلاعاتی و به طور خاص در حوزة ارزیابی تکوینی دیجیتال، نشده است. با وجود تـلاش‌هـایی کـه در ایـن حوزه انجام گرفته، رویکرد مطالعاتی فراترکیب تا حدودی مراحل و رویـه‌هـای اجرایـی متنـوع و مبهمی دارد و تمامی نویسندگان متون فراترکیب به پیچیدگی و چالش‌های این روش مطالعـاتی اذعان دارند. گام‌های دنبال شده در این پـژوهش، براسـاس روش هفـت مرحلـه‌ای سندلوسـکی و باروسـو (2007) بوده است که این مراحل عبارت‌اند از:

1- طرح سوال پژوهش 2- مرور سیستماتیک ادبیات موضوع 3- جست‌وجو و انتخاب متون مرتبط و مناسب 4- استخراج اطلاعات متون 5- تجزیه و تحلیل  و ترکیب یافته‌های کیفی 6- کنترل کیفیت 7- ارائه یافته‌ها

به منظور تعیین ضریب اهمیت و اولویت هر یک از مفاهیم کشف شده، از روش کمی آنتروپـی شانون استفاده شده است. با توجه به مطالب اشاره شده در بالا، اولـین گـام در روش فراترکیـب، طرح سؤال‌هایی است که پژوهش‌گر در فرایند انجام پژوهش خود قصد پاسخ‌گویی به آنها را دارد.  سؤال این پژوهش به  شرح زیر مطرح شده‌است:  عوامل موثر بر ارزیابی تکوینی دیجیتال در آموزش و یادگیری الکترونیکی کدامند؟

گام اول: طرح سوال

برای تنظیم سؤال پژوهش، اولین گام برای محققان تمرکز بر "چه چیزی" یا What مطالعه است. در پژوهش حاضر شناسایی، گروه‌بندی ابعاد و مؤلفه‌های ارزیابی تکوینی دیجیتال در آموزش و یادگیری الکترونیکی  مورد بررسی قرار می‌گیرد. این پارامتر از طریق جواب دادن به سؤالات زیر تنظیم می‌شود:

1-Who  یا چه کسی: جامعه مورد مطالعه را مشخص می‌کند. در این پژوهش پایگاه‌های داده، ژورنال‌ها، کنفرانس‌ها و موتورهای جستجوی مختلف مورد بررسی قرار گرفت.

2- When  یا چه وقت: چارچوب زمانی یا"چه وقت" موجب به کارگیری محدودیت در مدت تحقیق می‌شود. مقالات مطالعه شده در این تحقیق از سال 2000 تا 2022 است.

3- How یا چگونگی: "چگونگی " روشی است که برای فراهم کردن مطالعات استفاده شده است. در این پژوهش، روش "تحلیل محتوا"، تحلیل داده‌هایی که به صورت ثانویه می‌باشد، مورد استفاده قرار گرفته است . محقق با درنظر گرفتن معیارهایی، مقالات مناسب که وارد فرآیند فراترکیب و مقالاتی که از فرآیند خارج می‌شوند را شناسایی و مشخص می‌کند.

جدول 3 . سؤالهای پژوهش

سؤالهای پژوهش

مؤلفهها

عوامل تاثیرگذار بر ارزیابی تکوینی دیجیتال

What )چه چیزی(

پایگاه‌های دادة علمی قابل استناد

Who )جامعۀ موردمطالعه(

کلیه پژوهش‌های منتشر شده در سال‌های 2000 تا 2022

When )محدودیت زمانی(

با استفاده از روش تحلیل محتوا داده‌ها تحلیل شدند

How )چگونگی روش(

گام دوم: بررسی متون به صورت نظام‌مند

مرحله جستجو شامل چند وظیفه است: شناسایی پایگاه داده‌های بالقوه ادبیات، اجرای جستجوی اولیه، کاوش اطلاعات درباره موضوع انتخاب شده، شناسایی عبارات کلیدی در دستیابی به موضوع، اجرای جستجوی اصلی. در ابتدای فرایند جستجو محقق به چند پایگاه‌داده مراجعه نموده و با جستجو نمودن درباره موضوع پژوهش اطلاعات اولیه‌ای به دست می‌آورد. بر مبنای مطالعه و تحلیل نتایج اولیه لیستی از واژگان هدایت‌کننده فرایند جستجو آماده می‌شود. یافته‌های پژوهش پس از تعیین سؤال‌های پژوهش، به منظور انجام جست‌وجوی نظام‌مند، پیش از هـر اقـدام، بایـد محدودة جست‌وجو براساس روش فراترکیب مشخص شود. برای این منظور تـلاش شـده اسـت مجموعه مقالات منتشر شده در پایگاه‌های داده، مجله‌ها، کنفرانس‌ها و موتورهای جسـت‌وجـوی مختلف در سال‌های 2000 تا 2022 بررسی شـده و واژگـان کلیـدی آنهـا انتخـاب شـود. بـرای جست وجو، ترکیبی از واژه‌های ارزیابی تکوینی دیجیتال ، سنجش تکوینی، فناوری در آموزش و یادگیری به همراه واژه‌هایی همچون یادگیری الکترونیکی، سیستم‌های مدیریت یادگیری و آموزش، سنجش تحصیلی، ارزیابی‌برخط، سیستم‌های آموزش از راه دور در نظـر گرفتـه شده است.

گام سوم: جستجو و انتخاب مقالات مناسب

در این گام مشخص می‌شود که آیا مقالات یافت شده متناسب با سوال تحقیق مرتبط می‌باشد یا خیر. علاوه بر مرتبط بودن اسناد بر اساس معیارهایی که مشخص‌کننده کیفت اسناد هستند نیز سنجیده شده و ممکن است از مشارکت در نتایج حذف شوند. این گام نیز چندین بار تکرار شده و در هر تعدادی از اسناد حذف گردیده‌اند.

بازبینی به این صورت انجام گرفته که محقق پارامترهای مختلفی را مانند عنوان، چکیده و جامعه مورد مطالعه، روش انجام تحقیق و غیره را مشخص نموده و در هر دور بازبینی بر اساس یکی از آنها به کاهش اسناد پرداخته است. در دور اول اسناد بر اساس عنوان سنجیده شده‌اند. محقق موارد قطعا نامرتبط را حذف نموده و موارد مشکوک را برای بررسی‌های بیشتر حفظ کرده و همراه با موارد قطعا مرتبط گروه‌بندی نموده است. لازم به ذکر است بیشترین کاهش حجم اسناد در این مرحله بوده است. پس از آن موارد باقیمانده بر اساس چکیده بررسی شده‌اند. در این مرحله نیز تعداد قابل توجهی از اسناد کاهش یافته‌اند. در این دو مرحله یعنی بازبینی بر اساس عنوان و چکیده معیار اصلی حفظ یا حذف اسناد، مرتبط بودن بوده است. پس از آن اسناد بر اساس جامعه مورد مطالعه، محتوی و روش مورد ارزیابی قرار گرفته‌اند.

براساس نتایج اولیة حاصل از جست‌وجـو، 217 مقالـة مـرتبط شناسـایی شـد و بـرای انتخاب مقاله های مناسب براساس الگوریتم نشـان داده شـده در شـکل 1، پارامترهـای مختلفـی مانند؛ عنوان، چکیده، محتوا، دسترسی، کیفیت روش پژوهش مورد ارزیـابی قـرار گرفتـه است.

شکل 1 .نتایج جست‌وجو و انتخاب مقالات مناسب

گام چهارم: استخراج نتایج

در سرتاسر فراترکیب، پژوهش‌گر به طور پیوسته مقالات منتخب و نهایی شده را، به منظور دستیابی به یافته‌های درون محتواهای مجزایی که در آنها مطالعات اصلی و اولیه انجام می‌شوند، چند بار می‌خواند .در این پژوهش اسناد مورد بررسی به روش تحلیل محتوا مورد بررسی قرارگرفتند. تحلیل محتوا روش تجزیه و تحلیل برای بررسی دقیق اسناد و منابع می‌باشد.

در این مرحله، محتوای مقاله‌ها به دقت مطالعه می‌شود و شاخص‌های اساسی استخراج می‌شوند. پژوهشگر پس از شناسایی 217 مقاله اولیه در نهایت، 76 مقاله مرتبط می‌یابد که در نتیجه 80 شاخص در قالب 5 بعد و 2 مقوله مورد شناسایی قرار می‌گیرد .

گام پنجم: تجزیه تحلیل و تلفیق یافته‌ها

در این مرحله حقایق به دست آمده از اسناد پذیرفته شده مورد تجزیه و تحلیل قرار می‌گیرند. خروجی این گام می‌تواند از یک دسته بندی ساده تا مفهوم‌سازی‌های عمیق را دربربگیرد و از این رو عنوان فراترکیب بر آن اطلاق شده است. عملاٌ مراتب عمیق فراترکیب نیز از دسته‌بندی‌های ساده شروع شده و با کدگذاری‌ها، مقوله‌بندی‌ها و برچسب‌گذاری‌ها به نتیجه می‌رسد. هدف فراترکیب ایجاد تفسیری جدید و یکپارچه از یافته‌ها‌ و دانش پیشین است. منطق فراترکیب تجزیه تحلیل، مقایسه و سازماندهی محتواهای به ظاهر مجزا و پراکنده در قالب استنتاجات و نقشه‌های مفهومی خلاقانه و قابل انتقال است(کریپندوف[8]،2004). به عبارت دیگر فراترکیب دارای دو بخش آنالیز و سنتز است. این دو فرایندهایی به هم مرتبط اما ماهیتاٌ متفاوت هستند؛ در آنالیز اطلاعات شکسته و اجزا و عناصر آن از یکدیگر تفکیک می‌شوند و در سنتز برخلاف آن اتفاق می‌افتد. یعنی اجزای اطلاعات عامدانه و بر اساس مشابهت‌ها با یکدیگر ترکیب می‌شوند تا مضامین مشترک آنها استخراج گردد(اویگبوزی و فرلز[9]،2016).  برای این کار در طول مطالعه اسناد، کدهای مرتبط با موضوع بر اساس سوالات پژوهش استخراج می‌شود. این کدها در جدول‌هایی جمع‌آوری شده و در مراحل بعد کدها مرور و طبقه بندی می‌شوند. معمولا لازم است کدها در جدول جابجا شده و موارد مشابه در کنار یکدیگر قرارگرفته و با یکدیگر مقایسه شوند. با تکرار این مراحل به تدریج الگوهایی پدیدار می‌شود که امکان مفهوم‌سازی‌های جدید را فراهم می‌کند.

گام ششم: ‌کنترل کیفیت

شاید مهم‌تر از ارزیابی مطالعات برای در برداشتن معیارهای مرتبط بودن، ارزیابی مطالعات برای دربرداشتن معیارهای کیفیتی ‌باشد. در روش فرا ترکیب، محقق رویه‌های زیر را برای حفظ کیفیت در مطالعه خود در نظر می‌گیرد.

1- در سرتاسر تحقیق، محقق تلاش می‌کند تا با فراهم کردن توضیحات و توصیف روشن و واضح برای گزینه‌های موجود در تحقیق گام‌های اتخاذ شده را بردارد.

2- در زمان مناسب، محقق رویکردها و نگرش‌های مستقر را جهت تلفیق مطالعات اصلی در تحقیق کیفی استفاده می‌کند.

3- در زمان مناسب، محقق از برنامه‌های مستقر و محرز( مانند شاخص CASP) برای ارزیابی کیفیت مطالعات اصلی تحقیق کیفی استفاده می‌کند.

4- محقق استراتژی جستجوی الکترونیک را به کار می‌برد تا مقالات مربوطه را پیدا کند.

5- محقق، روش‌های کنترل کیفیت استفاده شده در مطالعات تحقیق کیفی اصلی را به کار می‌برد.

6- در ارزیابی کیفیت تلفیق تحقیق، محقق از ابزار ارزیابی تحقیق کیفی CASP برای ارزیابی فرامطالعات استفاده می‌کند که شامل سوالاتی است که کمک می‌کند تا بررسی‌ها معقول به نظر برسد.

گام هفتم: ارائه یافته‌ها

در این مرحله از روش فراترکیب، یافته‌های حاصل از مراحل قبل ارائه می‌شوند. شیوه ارائه گزارش باید منطقی، روشن و معتبر باشد. معمولا در اینگونه مطالعات ارائه نتایج در قالب جداول رایج‌ترین شیوه است.

 

 

 

 

یافته‌ها

براساس تحلیل‌هـای صـورت‌گرفتـه بـه‌کمـک روش تحلیـل محتـوا روی 76 مقالـة نهـایی انتخاب‌شده، در مجموع تعداد 2 مقوله و 5 ابعاد و 80  شاخص بـرای ارزیابی تکوینی هم‌راستا با استراتژی‌های دیجیتال در این پژوهش کشف و برچسب‌گـذاری شـدند. یافتـه‌هـای حاصل از این مرحله بیانگر آن بوده است که در مطالعات قبلی تا کنون چنین مطالعة نظام‌منـدی انجام نگرفته بوده است و هر یک از مطالعات، فقط به جنبة خاصی از ارزیابی تکوینی توجـه داشته‌اند، بی‌آنکه ابعاد چندگانه را به‌صورت پویا و نظام‌مند در نظر گرفته باشـد. در جـداول 4  الی 8  شاخص های نهایی استخراج‌شدة مرتبط با هر مقوله و ابعاد، به‌همراه منابع استخراج شاخص‌ها نشان داده شده است.

جدول4. مقوله ها و ابعاد استخراج شده

مقوله

ابعاد

انسانی

معلم

دانش آموز

فنی

محتوای آموزشی

زیرساخت و ابزار دیجیتال

محیط

 

جدول5. شاخص های استخراج شده در بعد معلم

ردیف

شاخص

منابع

1

جمع آوری شواهد یادگیری

(بلک،2004)؛ (رینولز،2020)؛ (بلک و دولین،2018)؛ (بنت،2011)؛ (ویلیام تامپسون،2007)؛

2

تصمیم گیری های آموزشی/ زمان آموزش

 (بلک،2004)؛ (شفرد،2010)؛ (بلوم،2010)؛ (مک فاندلینگ و نیکول،2006)؛ (بلک و دولین،2018)؛ (شاولسون،2008)؛ (کاوی،2013)؛

3

توجه به نیازهای یادگیری یادگیرندگان

(شفرد،2010)؛ (بلک،2004)؛ (زی،2019)؛

4

شناسایی قوت و ضعف ها

(ریچاردسون،2017)؛ (نیکول،2006)؛

5

نظارت بر تحقق انتظارات آموزشی و پرورشی

(مک فاندلینگ،2006)؛

6

هدایت مداوم یادگیری یادگیرندگان بر پایه تواناهای شان

 (بلک،2004)؛ ( وانگ،2006)؛

7

اصلاح و بهبود روش های آموزشی اعمال شده در کلاس

(اندرسون،2003)؛

8

کشف راه کارهای متناسب با رشد یادگیرنده

(کاستلونزریز،2020)؛

9

ارائه بازخورد مناسب،در مورد فعالیت ها و کوشش ها، خاص و مفصل، تشویق و انتقاد

(رینولز،2020)؛ (ویلسون،2016)؛ (وانگ،2006)؛ (یوشیدا،2016)؛ (هیمر،2016)؛ (کلیمودا،2015)؛ (کیپل،2010)؛ (مهدوی،2011)؛ (هیر،2016)؛ (حجازی،2006)؛ (یوسف‌وند،2015)؛ (برونینگ،1999)؛ (دینهام،2005)؛ (ویلسون،2016)؛ (زیمرمن،2011)؛ (دیگنات،2008)؛ (بلک،2004)؛ (هادسمن،2013)؛ (مک‌فارلینگ،2006)؛ (مک‌میلان،2010)؛ (ویلیام تامپسون،2007)؛ (هتی،2007)؛ (کاوی،2013)؛ (نیلند،2018)؛ (اسپکتور،2016)؛ (ببلاوی،2019)؛

10

آگاهی از چگونگی تشکیل ساختارهای ذهنی یادگیرنده

(بلک،2018)؛

11

پرورش تفکر انتقادی(رویکرد فناوری)

(چو،2014)؛ (لاوسون،2006)؛ (دیم،2006)،

12

انطباق روش/برنامه/ وسایل و منابع آموزشی با نیاز یادگیرنده

 (زی،2019)؛

13

کشف شکاف بین انتظارات آموزشی با دانش و فهم یادگیرنده

(مک‌فارلینگ،2006)؛

14

توانمند سازی و ایجاد انگیزه / رشد ذهنی

(بلک،2004)؛ (هادسمن،2013)؛ (مک‌میلان،2010)؛ (دوک،2006)؛ (مک فاندلینگ و نیکول،2006)؛ (کیفر،2014)؛

15

کشف شکاف بین آموزش و فهم و مهارت

(بلک،2004)؛ (مک‌فارلینگ،2006)؛

16

آگاهی از پیشرفت یادگیری

(بلک،2018)؛ (هتی،2007)؛

17

تبیین اهداف یادگیری و معیار موفقیت

(رینولز،2020)؛ (بلک،2004)؛ (وانگ،2006)؛ (پیلتر،2012)؛ (تامپسون،2006)؛ (بلک و دولین،2018)؛ (شاولسون2008)؛ (ویلیام تامپسون،2007)؛ (هتی،2007)؛ (ولیانوینسن،2015)؛

18

فن معلمی

(کوهلر و میشرا،2009)،

19

به روزبودن در شیوه های جدید آموزش و تجهیزات آموزشی

(کروئل مایزف2013)؛ ( (کوهلر،2009)؛ (تامپسون،2006)؛

20

ارزیابی تراکمی

(مک‌میلان،2010)؛ (هیوارد،2015)؛

 

 

 

جدول6. شاخص های مرتبط با دانش‌آموز

ردیف

شاخص

منابع

21

دریافت بازخورد

(ویلسون،2016)؛ ( ریچاردسون،2017)؛ (زیمییر،2011)؛ (ویلدکامپ،2015)؛ (مایر،2016)؛ (هتی،2007)؛ (کاوی،2013)؛ (ولیانوینسن،2015)؛

22

یادگیرنده خودکار/ خود تنظیمی

(بلک،2004)؛ (هادسمن،2013)؛ (مک‌میلان و کالی،2010)؛ (نیکول،2006)؛ (بکن،2015)؛ (هتی،2007)؛

23

تمرین و تکلیف/ سوالات

(ویلیام تامپسون،2007)؛

24

تلاش و پشتکار

(بلک،2004)؛ (لویولا، 2010)؛ (کیپل،2010)؛ (مک میلان،2010)؛ (دوک،2006)؛  

25

ارزیابی از خود

(رینولز،2020)؛ (ویلیام تامپسون،2007)؛ (تقی‌زاده،1397)؛

26

ارزیابی از همتایان

(رینولز،2020)؛ (پالفری،2010)؛ (ویلیام تامپسون،2007)؛ (اندرسون،2003)؛ (تقی‌زاده،1397)؛

27

بحث های کلاسی

(رینولز،2020)؛ (گیلبرت،2013)؛ (ویلیام تامپسون،2007)؛

28

شوق یادگیری / اعتقاد به موفقیت

 (گیلبرت،2013)؛ ( بلک،2004)؛

29

انگیزه ذاتی

(گیلبرت،2013)؛ (بلک،2004)؛ (کیفر،2014)؛ (بکن،2015)؛

30

استراتژی یادگیری عمیق / آگاهی از یادگیری

( گیلبرت،2013)؛ (دمولا،2010)؛ (جییونگ،2014)؛ (مک میلان،2010)؛  (دوک،2006)؛ (دوسل،2019)؛ (بنت،2011)؛

31

افزایش رشد ذهنی

(کیفر،2014)؛ (گیلبرت،2013)؛ (آندرمان،1994)؛

32

نگرش به محیط کلاس

(کیفر،2014)؛ (جیونگ،2016)؛ (کریپول،2010)؛ (ییلاق و نیسی،2014)؛ 

33

اعتماد به نفس پایین/ استرس بالا

(تقوی نیا،2017)؛

34

کاهش فشار روانی دانش آموز

(کیمووا،2015)؛

35

تاب آوری

(قیمیوی،2013)؛ (هاندرسون،2006)؛(روبرتز،2006)؛

36

معنای تحصیل

(تقوی نیا،2017)؛ (شینی،2014)؛(قیمیوی،2013)؛ (هاندرسون،2006)؛(روبرتز،2006)؛(مهدوی،2011)؛ (تاوسون،2014)؛ (موسک،2016)؛ (کلیمودا،2015)؛ (کینگ والمیک،2006)؛ (ماو،2017)؛ (کیپل،2010)؛ (لی و برنارد،2011)؛

37

بکارگیری استراتژی یادگیری عمیق

(گیلبرت،2013)؛ (لی،2011)؛ (ویلیام،2019)؛ (ولیانوینسن،2015)؛ (علیزاده،1396)؛

38

درک شکست به عنوان بخشی مفید از فرایند یادگیری

( مک میلان،2010)؛

39

مهارت در انتخاب برنامه و نرم افزار

(پالفری،2010)؛ (پیتلر،2012)؛ (تامپسون،2006)؛

40

زندگی در دنیای دیجیتال

(پالفری،2010)؛ (پیتلر،2012)؛ (پرسنکی،2001)

41

مسئولیت پذیری

(پیتلر،2012)؛ (پرسنکی،2001)؛ (جانسون،2012)؛

 

 

 

 

 

 

 

جدول7. شاخص های مرتبط با محتوای آموزشی

ردیف

شاخص

منابع

42

برنامه درسی

(لاوسون،2006)؛ (دیم،2006)؛ (الشوف،2009)؛ (جانسون،2012)؛ (پالفری،2008)؛ (پینگ،2007)؛ (کوهلر،2009)؛ (شاولسون،2008)؛

43

مواد آموزشی

(اندرسون،2003)؛

44

رسانه

(پالفری،2010)؛ (پیتلر،2012)؛ ((تامپسون،2006)؛

45

روش های تدریس

(کوهلر و میشرا،2009)، (روئیز،2006)؛

46

فرایند ارزشیابی پیشرفت تحصیلی

 (راش،2004)؛ (نیکتو،2001)؛ (اگن،2001)؛ (کرونباخ،1980)؛ (کمیسیون اروپا،2016)؛ (ویلیام تامپسون،2007)؛ (مورلین،2016)؛ (لیسات،2017)؛ (مووس و برهوت،2019)؛ (کلتاش،1394)؛ (علیزاده،1396)؛

47

تفسیر ارزیابی تکوینی و جمع بندی

(لونی،2019)؛ (بلک،2018)؛ (بلک و دولین،2018)؛

48

به اشتراک گذاری

(پالفری،2010)؛ (کاسر،2010)؛ (کاستلونزریز،2020)؛ (ولیانوینسن،2015)؛

49

روایی ارزیابی

(استوبارت،2006)؛ (بنت،2011)؛

50

دسترسی به محتوا  برخط و در زمان های مختلف

(جانسون،2012)؛ (پالفری،2010)؛ (مورگان،2012)؛

 

 

 

جدول8. شاخص های مرتبط با زیرساخت و ابزارهای دیجیتال

ردیف

شاخص

منابع

51

ابزار فناوری اطلاعات / بومیان دیجیتال

(ان جی،2012)؛ (پرسینکی،2001)؛ (پالفری،2010)؛ (پیتلر،2012)؛ (مورگان،2012)؛ (جانسون،2012)؛ (دز،2020)؛ (سیندی،2020)؛ (کونیچو،2016)؛

52

امنیت / ایمنی کودکان

(جانسون،2012)؛ (پالفری،2010)؛ (کروئل مایز،2013)؛ (پالفری و گسر،2008)؛

53

سواد دیجیتال / صلاحیت دیجیتال

(ان جی،2012)؛ (مک کار،2019)؛ (فینلیسون و مک لویین،2017)؛ (ویلیام،2019)؛

54

رویکرد آموزشی/ پیشرفت و انگیزه

 (کیفر،2014)؛(گیلبرت،2013)؛ (فابر،2017)؛ (کینگمور،1993)؛

55

محیط های یادگیری مجازی (معماری)

(سیندی،2020)؛ (زی،2019)؛ (براون،2019)؛ (کاستلونزریز،2020)؛ (زینها،2014)؛ (رینولز،2020)؛ (راسل،2011)؛ (آزودو،2009)؛ (کوکو،2013)؛ (بیتی،2009)؛ (تقی‌زاده،1397)؛ (سالسدو،2005)؛ (کونیچو،2016)؛

56

تحلیل یادگیری / داشبورد داده ها

(فرگوسن،2016)؛ (شوبندیمن،2016)؛ (بازک،2007)؛ (باگات،2017)؛ (نیلند،2018)؛ (سلین،2019)؛ (اسپکتور،2016)؛ (هسو،2011)؛ (ببلاوی،2019)؛

57

 سیستم تدریس خصوصی هوشمند

(زی،2019)؛ (کندی،2013)؛ (رازاک،2005)؛ (کودینگر،2006)، (کرترنر،2000)؛ (کوربت،2010)؛ (کاسورنین،2009)؛ (کوبرت،2013)؛ (آزودو،2009)؛ (تیلور،2019)؛ (کونیچو،2016)؛

58

بازی ها (گیم فیکیشن)

(بیکر،2008)؛ (گمراهی،2012)؛ (شوت،2009)؛(دیچیوا،2017)؛ (کلارک،2019)؛ (کیم،2015)؛ (شوت،2013)؛

59

ابزارهای  دیجیتال

(سیندی،2020)؛ (اندرسون،2003)؛ (کاستون،2016)؛ (رینولز،2020)؛ (زینسکای،2006)؛ (بنت، 2000)؛ (اپل،2017)؛ (کونیچو،2016)؛ (کسادی،2015)؛ (غونیم،2017)؛ (کوکو،2013)؛ (بیتی،2009)؛ (تقی‌زاده،1397)؛

60

سیستم های مدیریت محتوا / داده کاوی

(غونیم،2017)؛ (کاتالیست،2018)؛ (کندی،2013)؛ (سالسدو،2005)؛

61

مدیریت فناوری اطلاعات

(هوکر،2017)؛ (زینها،2014)؛ (رینولز،2020)

 

 

 

 

 

 

 

 

 

جدول9. شاخص های مرتبط با محیط

 

ردیف

شاخص

منابع

62

گنجاندن اقلام جدید/ سازه هایی که قبلا قابل ارزیابی نبودند

(چو،2016)؛(لونی،2019)؛ (رحیمی،2017)؛

63

تعاملات برخط

(کاستلونزریز،2020)؛ (زنیها،2014)؛ (دیچیوا،2017)؛ (کوکو،2013)؛

64

مشاهده سطح یادگیری / نمایش پیشرفت تحصیلی

(ولیانیسن،2015)؛ (هندریکس،2018)؛ (ویلی،2018)؛ (هدکر،2017)؛ (اسمارت،2015)؛

65

مشارکت فعال فراگیران/ تعامل اجتماعی

(بلک،2018)؛  ( بلک ویلیام،2018)؛ (دکرستون،2015)؛ (شاولسون،2008)؛ (پادگان،2000)؛ (کاستلونزریز،2020)؛

66

تهدیدها ( کمبود وقت و منابع جو اعتماد و انگیزه)

(استوبارت،2006)؛

67

عدم پیچیدگی محیط دیجیتال

(چو،2016)؛ (وانگ،2016)؛ (پنگ،2016)؛ (مورگان،2012)؛ (بروان،2018)؛ (لی،2012)؛

68

فرایند بازخورد خودکار دیجیتال / بازخورد برخط

(اسیکتور،2016)؛(لونی،2019)؛ (رحیمی،2017)؛ (موربین،2016)؛ (کندی،2013)؛ (تیلند،2018)؛ (اسپکتور،2016)؛ (ببلاوی،2019)؛ (گوبرت،2013)؛ (کیم،2015)؛ (شوت،2013)؛ (فارل،2016)؛ (بیتی،2009)؛ (آجالود،2015)؛ (رینولز،2018)؛ (هتی،2007)؛ (نیگر،2018)؛ (تقی‌زاده،1397)؛

69

دسترسی دانش‌آموزان معلول

(لونی،2019)؛ (رحیمی،2017)؛

70

پیاده سازی کلاس درس

( موربین،2016)؛ (دکرستون،2015)؛ (غونیم،2017)؛ (کاتالیست،2018)؛ (لی،2012)؛

71

تسهیل یادگیری

(بنت،2011)؛ (بلک ویلیام،2018)؛ (کاتالیست،2018)؛

72

فرصت های بیشتر یادگیری

(لونی،2019)؛ (رحیمی،2017)؛(بلک،2004)؛ (هادسمن،2013)؛  (مک‌‌میلان،2010)؛ (جانگ،2016)؛

73

فرهنگ کلاس( تاکید برتلاش نه تاکید بر توانایی)

(دوک،2006)؛  (مک‌میلان،2010)؛

74

ارزیابی در هر زمان، هر مکان

(لونی،2019)؛ (موربین،2016)؛

75

مشکلات یادگیری هم زمان موارد متعدد

( چو،2014)؛ (پینگ،2007)؛ (وانگ،2006)؛

76

مشکلات برون شخصی ( فرهنگی، اجتماعی، آموزشی)

(حجازی،2006)؛ ( دان مولونن،2009)؛ (بنت،2011)؛ (ویلیام لی،2004)؛

77

فعال سازی شناختی

(دکرستون،2015)؛ (بکن،2015)؛ (بنت،2011)؛ (ویلیام،2019)؛ (تورس،2018)؛ (کاستلونزریز،2020)؛ (هسو،2011)؛

78

عدالت آموزشی

(تقی‌زاده،1397)؛

79

رسانه های اجتماعی

(پالفری،2010)؛ (پیتلر،2012)

80

عدم مقایسه بین دانش‌آموزان

 (مک‌میلان،2010)؛

 

به منظور تعیین ضریب اهمیت و اولویت هر یک از مفاهیم کشف شده، از روش کمی آنتروپی شانون استفاده شده است. با توجه به مطالب اشاره شده در بالا، اولین گام در روش فراترکیب ، طرح سؤال هایی است که پژوهشگر در فرایند انجام پژوهش خود قصد پاسخ گویی به آنها را دارد. سؤال‌ این پژوهش به شرح زیر مطرح شده است: عوامل موثر بر ارزیابی تکوینی دیجیتال در آموزش و یادگیری الکترونیکی کدامند؟

 

در ادامه به کمک روش تجزیه و تحلیل آنتروپی شانون، میزان پشتیبانی مطالعات گذشته از هر یک از کدها و مفاهیم، مشخص شده است. برای محاسبة وزن هریک از مفاهیم نیز، به محاسبة مجموع وزن شاخص‌های آن مفهوم پرداخته شده و براساس وزن‌های به دست آمده در ستون آخر جدول 10، رتبه بندی صورت گرفته است.

تعیین وزن شاخص ها

در مسائل تصمیم گیری چند معیاره و بخصوص مسائل تصمیم گیری چند شاخصه، داشتن و دانستن اوزان نسبی شاخص های موجود، گام مؤثری در فرایند حل مسئله بوده و مورد نیاز است. از جمله روش های تعیین وزن های شاخص ها، می توان به روش های استفاده از پاسخ خبرگان، روش لینمپ، روش کمترین مجذورات، تکنیک بردار ویژه، آنتروپی شانون، روش CRITIC و اشاره کرد

در تصمیم گیری همیشه یکسری شاخص و گزینه دخیل هستند اهمیت شاخص ها قطعا در تصمیم گیری برابر نیست و قطعا اهمیت تمامی معیارها با هم برابر نیست در یکچنین مواقعی باید اهمیت این شاخص ها کشف شود و دانستن ضریب اهمیت یا وزن هر یک از این شاخص ها در تصمیم گیری ضروری است. وزن هر شاخص، اهمیت نسبی آن را نسبت به شاخص های دیگر بیان می‌کند. انتخاب آگاهانه و صحیح وزن‌ها کمک بزرگی در جهت رسیدن به هدف مورد نظر می‌نماید. در چنین مواقعی تکنیک آنتروپی شانون وظیفه وزن دهی را به عهده می‌گیرد.

روش آنتروپی (Entropy) یکی از روش‌های تصمیم‌گیری چند معیاره برای محاسبه وزن معیارها می‌باشد. این روش در سال 1974 توسط شانون و ویور ارائه شد آنتروپی بیان کننده مقدار عدم اطمینان در یک توزیع احتمال پیوسته است. ایده اصلی این روش آن است که هر چه پراکندگی در مقادیر یک شاخص بیشتر باشد آن شاخص از اهمیت بیشتری برخوردار است.

جدول 10. تعیین وزن شاخص ها

ردیف

شاخص

فراوانی از 76مقاله

نرمال سازی

بار اطلاعاتی

ضریب اهمیت

1

جمع آوری شواهد یادگیری

5

0.013736

-0.013440

1.013440

0.01252

2

تصمیم گیری های آموزشی/ زمان آموزش

7

0.019231

-0.017340

1.017340

0.01257

3

توجه به نیازهای یادگیری یادگیرندگان

3

0.008242

-0.009025

1.009025

0.01247

4

شناسایی قوت و ضعف ها

2

0.005495

-0.006525

1.006525

0.01244

5

نظارت بر تحقق انتظارات آموزشی و پرورشی

1

0.002747

-0.003697

1.003697

0.01240

6

هدایت مداوم یادگیری یادگیرندگان بر پایه تواناهای شان

2

0.005495

-0.006525

1.006525

0.01244

7

اصلاح و بهبود روش های آموزشی اعمال شده در کلاس

1

0.002747

-0.003697

1.003697

0.01240

8

کشف راه کارهای متناسب با رشد یادگیرنده

1

0.002747

-0.003697

1.003697

0.01240

9

ارائه بازخورد مناسب،در مورد فعالیت ها و کوشش ها، خاص و مفصل، تشویق و انتقاد

26

0.071429

-0.043017

1.043017

0.01289

10

آگاهی از چگونگی تشکیل ساختارهای ذهنی یادگیرنده

1

0.002747

-0.003697

1.003697

0.01240

11

پرورش تفکر انتقادی(رویکرد فناوری)

3

0.008242

-0.009025

1.009025

0.01247

12

انطباق روش/برنامه/ وسایل و منابع آموزشی با نیاز یادگیرنده

1

0.002747

-0.003697

1.003697

0.01240

13

کشف شکاف بین انتظارات آموزشی با دانش و فهم یادگیرنده

1

0.002747

-0.003697

1.003697

0.01240

14

توانمند سازی و ایجاد انگیزه / رشد ذهنی

6

0.016484

-0.015443

1.015443

0.01255

15

کشف شکاف بین آموزش و فهم و مهارت

2

0.005495

-0.006525

1.006525

0.01244

16

آگاهی از پیشرفت یادگیری

2

0.005495

-0.006525

1.006525

0.01244

17

تبیین اهداف یادگیری و معیار موفقیت

10

0.027473

-0.022535

1.022535

0.01264

18

فن معلمی

1

0.002747

-0.003697

1.003697

0.01240

19

به روزبودن در شیوه های جدید آموزش و تجهیزات آموزشی

3

0.008242

-0.009025

1.009025

0.01247

20

ارزیابی تراکمی

2

0.005495

-0.006525

1.006525

0.01244

21

دریافت بازخورد

8

0.021978

-0.019147

1.019147

0.01259

22

یادگیرنده خودکار/ خود تنظیمی

7

0.019231

-0.017340

1.017340

0.01257

23

تمرین و تکلیف/ سوالات

1

0.002747

-0.003697

1.003697

0.01240

24

تلاش و پشتکار

5

0.013736

-0.013440

1.013440

0.01252

25

ارزیابی از خود

3

0.008242

-0.009025

1.009025

0.01247

26

ارزیابی از همتایان

5

0.013736

-0.013440

1.013440

0.01252

27

بحث های کلاسی

3

0.008242

-0.009025

1.009025

0.01247

28

شوق یادگیری / اعتقاد به موفقیت

2

0.005495

-0.006525

1.006525

0.01244

29

انگیزه ذاتی

3

0.008242

-0.009025

1.009025

0.01247

30

استراتژی یادگیری عمیق / آگاهی از یادگیری

7

0.019231

-0.017340

1.017340

0.01257

31

افزایش رشد ذهنی

3

0.008242

-0.009025

1.009025

0.01247

32

نگرش به محیط کلاس

4

0.010989

-0.011312

1.011312

0.01250

33

اعتماد به نفس پایین/ استرس بالا

1

0.002747

-0.003697

1.003697

0.01240

34

کاهش فشار روانی دانش آموز

1

0.002747

-0.003697

1.003697

0.01240

35

تاب آوری

3

0.008242

-0.009025

1.009025

0.01247

36

معنای تحصیل

13

0.035714

-0.027157

1.027157

0.01269

37

بکارگیری استراتژی یادگیری عمیق

5

0.013736

-0.013440

1.013440

0.01252

38

درک شکست به عنوان بخشی مفید از فرایند یادگیری

1

0.002747

-0.003697

1.003697

0.01240

39

مهارت در انتخاب برنامه و نرم افزار

3

0.008242

-0.009025

1.009025

0.01247

40

زندگی در دنیای دیجیتال

3

0.008242

-0.009025

1.009025

0.01247

41

مسئولیت پذیری

3

0.008242

-0.009025

1.009025

0.01247

42

برنامه درسی

8

0.021978

-0.019147

1.019147

0.01259

43

مواد آموزشی

1

0.002747

-0.003697

1.003697

0.01240

44

رسانه

3

0.008242

-0.009025

1.009025

0.01247

45

روش های تدریس

3

0.008242

-0.009025

1.009025

0.01247

46

فرایند ارزشیابی پیشرفت تحصیلی

11

0.030220

-0.024131

1.024131

0.01266

47

تفسیر ارزیابی تکوینی و جمع بندی

3

0.008242

-0.009025

1.009025

0.01247

48

به اشتراک گذاری

4

0.010989

-0.011312

1.011312

0.01250

49

روایی ارزیابی

2

0.005495

-0.006525

1.006525

0.01244

50

دسترسی به محتوای برخط و در زمان‌های مختلف

3

0.008242

-0.009025

1.009025

0.01247

51

ابزار فناوری اطلاعات / بومیان دیجیتال

9

0.024725

-0.020876

1.020876

0.01261

52

امنیت / ایمنی کودکان

4

0.010989

-0.011312

1.011312

0.01250

53

سواد دیجیتال / صلاحیت دیجیتال

5

0.013736

-0.013440

1.013440

0.01252

54

رویکرد آموزشی/ پیشرفت و انگیزه

4

0.010989

-0.011312

1.011312

0.01250

55

محیط های یادگیری مجازی (معماری)

13

0.035714

-0.027157

1.027157

0.01269

56

تحلیل یادگیری / داشبورد داده ها

9

0.024725

-0.020876

1.020876

0.01261

57

 سیستم تدریس خصوصی هوشمند

11

0.030220

-0.024131

1.024131

0.01266

58

بازی ها (گیم فیکیشن)

7

0.019231

-0.017340

1.017340

0.01257

59

ابزارهای  دیجیتال

13

0.035714

-0.027157

1.027157

0.01269

60

سیستم های مدیریت محتوا / داده کاوی

4

0.010989

-0.011312

1.011312

0.01250

61

مدیریت فناوری اطلاعات

3

0.008242

-0.009025

1.009025

0.01247

62

گنجاندن اقلام جدید/ سازه هایی که قبلا قابل ارزیابی نبودند

2

0.005495

-0.006525

1.006525

0.01244

63

تعاملات برخط

4

0.010989

-0.011312

1.011312

0.01250

64

مشاهده سطح یادگیری / نمایش پیشرفت تحصیلی

5

0.013736

-0.013440

1.013440

0.01252

65

مشارکت فعال فراگیران/ تعامل اجتماعی

6

0.016484

-0.015443

1.015443

0.01255

66

تهدیدها ( کمبود وقت و منابع جو اعتماد و انگیزه)

1

0.002747

-0.003697

1.003697

0.01240

67

عدم پیچیدگی محیط دیجیتال

6

0.016484

-0.015443

1.015443

0.01255

68

فرایند بازخورد خودکار دیجیتال / بازخورد برخط

18

0.049451

-0.033930

1.033930

0.01278

69

دسترسی دانش‌آموزان معلول

2

0.005495

-0.006525

1.006525

0.01244

70

پیاده سازی کلاس درس

5

0.013736

-0.013440

1.013440

0.01252

71

تسهیل یادگیری

3

0.008242

-0.009025

1.009025

0.01247

72

فرصت های بیشتر یادگیری

6

0.016484

-0.015443

1.015443

0.01255

73

فرهنگ کلاس( تاکید برتلاش نه تاکید بر توانایی)

2

0.005495

-0.006525

1.006525

0.01244

74

ارزیابی در هر زمان، هر مکان

2

0.005495

-0.006525

1.006525

0.01244

75

مشکلات یادگیری هم زمان موارد متعدد

3

0.008242

-0.009025

1.009025

0.01247

76

مشکلات برون شخصی ( فرهنگی، اجتماعی، آموزشی)

4

0.010989

-0.011312

1.011312

0.01250

77

فعال سازی شناختی

7

0.019231

-0.017340

1.017340

0.01257

78

عدالت آموزشی

1

0.002747

-0.003697

1.003697

0.01240

79

رسانه های اجتماعی

2

0.005495

-0.006525

1.006525

0.01244

80

عدم مقایسه بین دانش‌آموزان

1

0.002747

-0.003697

1.003697

0.01240

 

شانون نشان داد که وقایع با احتمال وقوع زیاد اطلاعات کمتری در اختیار می‌گذارند و برعکس هرچقدر احتمال وقوع یک رخداد کمتر باشد، اطلاعات حاصل از آن بیشتر است. با به دست آوردن اطلاعات جدید، درواقع عدم قطعیت‌ها کاهش یافته و ارزش اطلاعات جدید برابر با مقداری است که از عدم قطعیت کاسته شده است. درنتیجه عدم قطعیت و اطلاعات پارامترهایی وابسته به هم هستند. در جدول 11 رتبه شاخص‌ها نشان داده شده است که در این جدول شاخص‌ها به ترتیب اهمیت و اولویت مرتب شده‌اند.

جدول 11. درجه اهمیت و اولویت بندی شاخص‌ها

شاخص ها

فراوانی

نرمال

محاسبه Ln

آنتروپی

درجه انحراف

وزن

رتبه

ارائه بازخورد مناسب،در مورد فعالیت ها و .

26

0.0714

-2.6391

-0.0430

1.0430

0.0129

1

فرایند بازخورد خودکار دیجیتال / برخط

18

0.0495

-3.0068

-0.0339

1.0339

0.0128

2

معنای تحصیل

13

0.0357

-3.3322

-0.0272

1.0272

0.0127

3

محیط های یادگیری مجازی (معماری)

13

0.0357

-3.3322

-0.0272

1.0272

0.0127

3

ابزارهای  دیجیتال

13

0.0357

-3.3322

-0.0272

1.0272

0.0127

3

فرایند ارزشیابی پیشرفت تحصیلی

11

0.0302

-3.4993

-0.0241

1.0241

0.0127

3

 سیستم تدریس خصوصی هوشمند

11

0.0302

-3.4993

-0.0241

1.0241

0.0127

3

تبیین اهداف یادگیری و معیار موفقیت

10

0.0275

-3.5946

-0.0225

1.0225

0.0126

4

ابزار فناوری اطلاعات / بومیان دیجیتال

9

0.0247

-3.6999

-0.0209

1.0209

0.0126

4

تحلیل یادگیری / داشبورد داده ها

9

0.0247

-3.6999

-0.0209

1.0209

0.0126

4

دریافت بازخورد

8

0.0220

-3.8177

-0.0191

1.0191

0.0126

4

برنامه درسی

8

0.0220

-3.8177

-0.0191

1.0191

0.0126

4

تصمیم گیری های آموزشی/ زمان آموزش

7

0.0192

-3.9512

-0.0173

1.0173

0.0126

4

یادگیرنده خودکار/ خود تنظیمی

7

0.0192

-3.9512

-0.0173

1.0173

0.0126

4

استراتژی یادگیری عمیق / آگاهی از یادگیری

7

0.0192

-3.9512

-0.0173

1.0173

0.0126

4

بازی ها (گیم فیکیشن)

7

0.0192

-3.9512

-0.0173

1.0173

0.0126

4

فعال سازی شناختی

7

0.0192

-3.9512

-0.0173

1.0173

0.0126

4

توانمند سازی و ایجاد انگیزه / رشد ذهنی

6

0.0165

-4.1054

-0.0154

1.0154

0.0125

5

مشارکت فعال فراگیران/ تعامل اجتماعی

6

0.0165

-4.1054

-0.0154

1.0154

0.0125

5

عدم پیچیدگی محیط دیجیتال

6

0.0165

-4.1054

-0.0154

1.0154

0.0125

5

فرصت های بیشتر یادگیری

6

0.0165

-4.1054

-0.0154

1.0154

0.0125

5

جمع آوری شواهد یادگیری

5

0.0137

-4.2877

-0.0134

1.0134

0.0125

5

تلاش و پشتکار

5

0.0137

-4.2877

-0.0134

1.0134

0.0125

5

ارزیابی از همتایان

5

0.0137

-4.2877

-0.0134

1.0134

0.0125

5

بکارگیری استراتژی یادگیری عمیق

5

0.0137

-4.2877

-0.0134

1.0134

0.0125

5

سواد دیجیتال / صلاحیت دیجیتال

5

0.0137

-4.2877

-0.0134

1.0134

0.0125

5

مشاهده سطح یادگیری / نمایش پیشرفت تحصیلی

5

0.0137

-4.2877

-0.0134

1.0134

0.0125

5

پیاده سازی کلاس درس

5

0.0137

-4.2877

-0.0134

1.0134

0.0125

5

نگرش به محیط کلاس

4

0.0110

-4.5109

-0.0113

1.0113

0.0125

5

به اشتراک گذاری

4

0.0110

-4.5109

-0.0113

1.0113

0.0125

5

امنیت / ایمنی کودکان

4

0.0110

-4.5109

-0.0113

1.0113

0.0125

5

رویکرد آموزشی/ پیشرفت و انگیزه

4

0.0110

-4.5109

-0.0113

1.0113

0.0125

5

سیستم های مدیریت محتوا / داده کاوی

4

0.0110

-4.5109

-0.0113

1.0113

0.0125

5

تعاملات برخط

4

0.0110

-4.5109

-0.0113

1.0113

0.0125

5

مشکلات برون شخصی ( فرهنگی، اجتماعی، آموزشی)

4

0.0110

-4.5109

-0.0113

1.0113

0.0125

5

توجه به نیازهای یادگیری یادگیرندگان

3

0.0082

-4.7985

-0.0090

1.0090

0.0125

5

پرورش تفکر انتقادی(رویکرد فناوری)

3

0.0082

-4.7985

-0.0090

1.0090

0.0125

5

به روزبودن در شیوه های جدید آموزش و تجهیزات آموزشی

3

0.0082

-4.7985

-0.0090

1.0090

0.0125

5

ارزیابی از خود

3

0.0082

-4.7985

-0.0090

1.0090

0.0125

5

بحث های کلاسی

3

0.0082

-4.7985

-0.0090

1.0090

0.0125

5

انگیزه ذاتی

3

0.0082

-4.7985

-0.0090

1.0090

0.0125

5

افزایش رشد ذهنی

3

0.0082

-4.7985

-0.0090

1.0090

0.0125

5

تاب آوری

3

0.0082

-4.7985

-0.0090

1.0090

0.0125

5

مهارت در انتخاب برنامه و نرم افزار

3

0.0082

-4.7985

-0.0090

1.0090

0.0125

5

زندگی در دنیای دیجیتال

3

0.0082

-4.7985

-0.0090

1.0090

0.0125

5

مسئولیت پذیری

3

0.0082

-4.7985

-0.0090

1.0090

0.0125

5

رسانه

3

0.0082

-4.7985

-0.0090

1.0090

0.0125

5

روش های تدریس

3

0.0082

-4.7985

-0.0090

1.0090

0.0125

5

تفسیر ارزیابی تکوینی و جمع بندی

3

0.0082

-4.7985

-0.0090

1.0090

0.0125

5

دسترسی به محتوا  برخط و در زمان های مختلف

3

0.0082

-4.7985

-0.0090

1.0090

0.0125

5

مدیریت فناوری اطلاعات

3

0.0082

-4.7985

-0.0090

1.0090

0.0125

5

تسهیل یادگیری

3

0.0082

-4.7985

-0.0090

1.0090

0.0125

5

مشکلات یادگیری هم زمان موارد متعدد

3

0.0082

-4.7985

-0.0090

1.0090

0.0125

5

شناسایی قوت و ضعف ها

2

0.0055

-5.2040

-0.0065

1.0065

0.0124

6

هدایت مداوم یادگیری یادگیرندگان بر پایه تواناهای شان

2

0.0055

-5.2040

-0.0065

1.0065

0.0124

6

کشف شکاف بین آموزش و فهم و مهارت

2

0.0055

-5.2040

-0.0065

1.0065

0.0124

6

آگاهی از پیشرفت یادگیری

2

0.0055

-5.2040

-0.0065

1.0065

0.0124

6

ارزیابی تراکمی

2

0.0055

-5.2040

-0.0065

1.0065

0.0124

6

شوق یادگیری / اعتقاد به موفقیت

2

0.0055

-5.2040

-0.0065

1.0065

0.0124

6

روایی ارزیابی

2

0.0055

-5.2040

-0.0065

1.0065

0.0124

6

گنجاندن اقلام جدید/ سازه هایی که قبلا قابل ارزیابی نبودند

2

0.0055

-5.2040

-0.0065

1.0065

0.0124

6

دسترسی دانش‌آموزان معلول

2

0.0055

-5.2040

-0.0065

1.0065

0.0124

6

فرهنگ کلاس( تاکید برتلاش نه تاکید بر توانایی)

2

0.0055

-5.2040

-0.0065

1.0065

0.0124

6

ارزیابی در هر زمان، هر مکان

2

0.0055

-5.2040

-0.0065

1.0065

0.0124

6

رسانه های اجتماعی

2

0.0055

-5.2040

-0.0065

1.0065

0.0124

6

نظارت بر تحقق انتظارات آموزشی و پرورشی

1

0.0027

-5.8972

-0.0037

1.0037

0.0124

6

اصلاح و بهبود روش های آموزشی اعمال شده در کلاس

1

0.0027

-5.8972

-0.0037

1.0037

0.0124

6

کشف راه کارهای متناسب با رشد یادگیرنده

1

0.0027

-5.8972

-0.0037

1.0037

0.0124

6

آگاهی از چگونگی تشکیل ساختارهای ذهنی یادگیرنده

1

0.0027

-5.8972

-0.0037

1.0037

0.0124

6

انطباق روش/برنامه/ وسایل و منابع آموزشی با نیاز یادگیرنده

1

0.0027

-5.8972

-0.0037

1.0037

0.0124

6

کشف شکاف بین انتظارات آموزشی با دانش و فهم یادگیرنده

1

0.0027

-5.8972

-0.0037

1.0037

0.0124

6

فن معلمی

1

0.0027

-5.8972

-0.0037

1.0037

0.0124

6

تمرین و تکلیف/ سوالات

1

0.0027

-5.8972

-0.0037

1.0037

0.0124

6

اعتماد به نفس پایین/ استرس بالا

1

0.0027

-5.8972

-0.0037

1.0037

0.0124

6

کاهش فشار روانی دانش آموز

1

0.0027

-5.8972

-0.0037

1.0037

0.0124

6

درک شکست به عنوان بخشی مفید از فرایند یادگیری

1

0.0027

-5.8972

-0.0037

1.0037

0.0124

6

مواد آموزشی

1

0.0027

-5.8972

-0.0037

1.0037

0.0124

6

تهدیدها ( کمبود وقت و منابع جو اعتماد و انگیزه)

1

0.0027

-5.8972

-0.0037

1.0037

0.0124

6

عدالت آموزشی

1

0.0027

-5.8972

-0.0037

1.0037

0.0124

6

عدم مقایسه بین دانش‌آموزان

1

0.0027

-5.8972

-0.0037

1.0037

0.0124

6

 

بحث و نتیجه‌گیری

در بین مفاهیم ارزیابی تکوینی همراستا با ابزارهای دیجیتال، بیشترین تأکید بر ارائه بازخورد مناسب،در مورد فعالیت ها و کوشش ها، و بازخورد برخط بوده است. از این رو در نظر گرفتن ساختار و فرایندهای که مجیط های یادگیری مجازی  را پشتیبانی می کند در تامین اهداف یادگیری همراستا با استراتژی‌های دیجیتال، تأثیر بسزایی دارد. نتیجة دیگر حاصل از این تحلیل کمی، گویای آن بوده که در حال حاضر مطالعات اندکی در زمینة عوامل فردی یادگیری صورت گرفته است و با وجود اهمیت عوامل مرتبط با همراستایی استراتژیک در ادبیات مربوط به ارزیابی تکوینی دیجیتال، همانطور که در این تحلیل به دست آمده، در مدل‌های ارزیابی تحصیلی به آن پرداخته نشده است



[1] computer- based training 

[2] Measurement

[3] Testing

[4] Evaluation

[5] Assessment

[6] Formative Assessment

[7]Digital Formative Assessment

[8] Krippendorff

[9] Onwuegbuzie & Frels

Aldon, G., Cusi, A., Morselli, F., Panero, M., & Sabena, C. (2015). Which support technology can give to mathematics formative assessment? The FaSMEd project in Italy and France. Quaderni di Ricerca in Didattica (Mathematics), 25, 631-641.
Alexander, C., Ishikawa, S. & Silverstein, M. (1977). A pattern language: towns, buildings, construction. New York, NY: Oxford University Press.
Alizadeh, Shahnaz; Salehi, Keyvan; Moghadamzadeh, Ali (2016). Analyzing the quality of classroom assessment of teachers; A mixed research study. Quarterly journal of research in school and virtual learning, number 17, year 5, page 63-84.
American Educational Research Association; Joint Committee on Standards for Educational and Psychological Testing (U.S.); American Psychological Association; National Council on Measurement in Education. (2014). Standards for educational and psychological testing. Washington, DC: American Educational Research Association.
ARG (Assessment Reform Group). (2002). Assessment for learning: Ten principles. http://www.hkeaa.edu.hk/DocLibrary/ SBA/HKDSE/Eng_DVD/doc/Afl_principles.pdf Accessed 4 February, 2020.
ATC21S. (2014). Assessment and teaching of 21st century skills: Collaborative problem solving empirical progressions.http://www.atc21s.org/uploads/3/7/0/0/37007163/collaborative_problem_solving_emprical_progressions_v1.1.pdf Accessed 13 February, 2020.
Baker, R.S., Goldstein, A.B., & Heffernan, N.T. (2011). Detecting learning moment by moment. International Journal of Artificial Intelligence in Education, 21(1-2), 5-25.
Barrett, B.S., Moran, A.L., & Woods, J.E. (2014). Meteorology meets engineering: An interdisciplinary STEM module for middle and early secondary school students. International Journal of STEM Education, 1(6).
Beesley, A.D., Clark, T.F., Dempsey, K., & Tweed, A. (2018). Enhancing formative assessment practice and encouraging middle school mathematics engagement and persistence. School Science & Mathematics, 118(1), 4-16.
Bennett, R.E. (2011). Formative assessment: A critical review. Assessment in Education: Principles, Policy, and Practice, 18(1), 5-25.
Bergin, J., Kohls, C., Köppe, C., Mor, Y., Portier, M., Schümmer, T., & Warburton, S. (2015). Assessment-Driven Course Design - Fair Play Patterns. In Proceedings of the 22nd Conference on Pattern Languages of Programs. The Hillside Group.
Bicer, A., Capraro, R.M., & Capraro, M.M. (2017). Integrated STEM assessment model. EURASIA Journal of Mathematics Science and Technology Education, 13(7), 3959-3968.
Black, P., & Wiliam, D. (1998). Assessment and classroom learning. Assessment in Education: principles, policy & practice, 5(1), 7-74.
Black, P., & Wiliam, D. (2018). Classroom assessment and pedagogy. Assessment in Education: principles, policy, & practice, 25(6), 551-575.
Burkhardt, H., & Schoenfeld, A. (2019). Formative assessment in mathematics. In H. Andrade, R.E. Bennett, & G. Cizek (Eds.), Handbook of formative assessment in the disciplines (pp. 35-67). New York, NY: Routledge.
Burns, M.K., Klingbeil, DA., & Ysseldyke, J. (2010). The effects of technology-enhanced formative evaluation on student performance on state accountability math tests. Psychology in the Schools, 47(6), 582-591.
Canty, D., Seery, N., Hartell, E., & Doyle, A. (2017). Integrating peer assessment in technology education through adaptive comparative judgement. Paper presented at Pupils’ Attitudes Toward Technology (PATT-34) Conference. Philadelphia, PA.
Care, E., Griffin, P., & Wilson, M. (Eds.). (2018). Assessment and teaching of 21st century skills. Research and applications. Dordrecht: Springer.
Cherner, T., & Smith, D. (2017). Reconceptualizing TPACK to meet the needs of twenty-first-century education. The New Educator, 13(4), 329-349.
Cowie, B., Moreland, J., & Otrel-Cass, K. (2013). Expanding notions of assessment for learning inside science and technology primary classrooms. Rotterdam, The Netherlands: Sense Publishers.
Crompton, H., Burke, D., & Lin, Y. (2019). Mobile learning and student cognition: A systematic review of PK-12 research using Bloom’s Taxonomy. British Journal of Educational Technology, 50(2), 684–701.
Czaja, S. J., Charness, N., Fisk, A. D., Hertzog, C., Nair, S. N., Rogers, W. A., & Sharit, J. (2006). Factors predicting the use of technology: findings from the Center for Research and Education on Aging and Technology Enhancement (CREATE). Psychology and Aging, 21(2), 333–352.
Decristan, J., Klieme, E., Kunter, M., Hochweber, J. Büttner , G., Fauth, B., Hondrich, A.L., Rieser, S., & Hardy, I. (2015). Embedded formative assessment and classroom process quality: How do they interact in promoting science understanding? American Educational Research Journal, 52(6), 1133-1159.
Dolin J., Black P., Harlen W., & Tiberghien A. (2018). Exploring relations between formative and summative assessment. In: Dolin J., Evans R. (Eds.), Transforming assessment through an interplay between practice, research and policy. Contributions from science education research (pp. 53-80). Cham, Switzerland: Springer.
Dolin, J., & Evans, R. (Eds.). (2018). Transforming assessment through an interplay between practice, research and policy.Contributions from science education research. Cham, Switzerland: Springer.
Dukuzumuremyi, S., & Siklander, P. (2018). Interactions between pupils and their teachers in collaborative and technologyenhanced learning settings in the inclusive classroom. Teaching and Teacher Education, 76, 165-174.
Dunn, K.,. & Mulvenon, S. (2009). A critical review of research on formative assessment: The limited scientific evidence of the impact of formative assessment in education. Practical Assessment, Research, & Evaluation, 14(7), 1-11.
Duschl, R. (2019). Learning progressions: framing and designing coherent sequences for STEM Education. Disciplinary and Interdisciplinary Science Education Research, 1(4). https://doi.org/10.1186/s43031-019-0005-x Accessed 4 February, 2020.
Economou, A. (2018). ATS2020-Assessment of transversal skills: Reflections and policy recommendations on transversal skills development and assessment. http://www.ats2020.eu/images/documents/ATS2020-Reflections.pdf Accessed 13 February, 2020.
ETS (Educational Testing Service) (nd.). What are learning progressions and why are they important? https://news.ets.org/ stories/what-are-learning-progressions-and-why-are-they-important/ Accessed 4 February, 2020.
European Commission. (2016). FaSMEd summary report. https://cordis.europa.eu/docs/results/612/612337/final1-finalfasmed- summary-report-final.pdf Accessed 4 February, 2020.
Faber, J.M., Luyten, H., & Visscher, A.J. (2017). The effects of a digital formative assessment tool on mathematics achievement and student motivation: Results of a randomized experiment. Computers & Education, 106, 83-96.
Feldman, A., & Capobianco, B.M. (2008). Teacher learning of technology enhanced formative assessment. Journal of Science Education Technology, 17, 82-99.
Finlayson ,O., & McLoughlin, E. (2017) Building teacher confidence in inquiry and assessment: Experiences from a Pan- European Collaboration In M. Peters, B. Cowie, & I. Menter (Eds.). A companion to research in teacher education (pp. 825-838). Singapore: Springer.
Furtak, E.M., Heredia, S.C., & Morrison, D. (2019). Formative assessment in science education: Mapping a shifting terrain. In H. Andrade, R.E. Bennett, & G. Cizek (Eds.). Handbook of formative assessment in the disciplines (pp. 97-125). New York, NY: Routledge.
Gail Morreim, J. (2016). How Digital Formative Assessment Increases student Achievment and Motivation. Saint Paul.Minnesota: Hamline University.
Geer, R., White, B., Zeegers, Y., Au, W., & Barnes, A. (2017). Emerging pedagogies for the use of iPads in schools. British Journal of Educational Technology, 48(2), 490-498.
Gholtash, Abbas; Ojinejad, Ahmadreza; Dehghan Mangabadi, Alireza (2014). Pathology of the descriptive evaluation model in order to provide a suitable model in the elementary school. Quarterly Journal of Research in Educational and Virtual Learning, 10th issue, 3rd year, page 7-16.
Griffin, P., & Care, E. (Eds.). (2015). Assessment and teaching of 21st century skills: Methods and approaches. Dordrecht: Springer.
Griffin, P., McGaw, B., & Care, E. (Eds.). (2012). Assessment and teaching of 21st century skills. Dordrecht: Springer.
Grundschober, I., Ghoneim, A., Baumgartner, P., & Gruber-Mücke, T. (2018). A pattern language remix for ATS2020. Using existing pedagogical patterns to create a new language for formative assessment within the ATS2020 learning model.
Harris, J., Phillips, M., Koehler, M., & Rosenberg, J. (2017). TPCK/TPACK research and development: Past, present, and future directions. Australasian Journal of Educational Technology, 33(3), i-viii.
Haßler, B., Major, L., & Hennessy, S. (2016). Tablet use in schools: A critical review of the evidence for learning outcomes. Journal of Computer Assisted Learning, 32(2), 139-156.
Hatlevik, O. E., Guðmundsdóttir, G. B., & Loi, M. (2015). Examining factors predicting students’ digital competence. Journal of  Information Technology Education: Research, 14, 123-137.
Hattie, J., & Timperley, H. (2007). The power of feedback. Review of Educational Research, 77(1), 81-112.
Hayward, L. (2015). Assessment is learning: the preposition vanishes. Assessment in Education: principles, policy & practice, 22(1), 27-43.
Hickey, D.T., Taasoobshirazi, G., & Cross, D. (2012). Assessment as learning: enhancing discourse, understanding, and achievement in innovative science curricula. Journal of Research in Science Teaching, 49(10), 1240-1270.
Hmelo-Silver, C.E. (2004). Problem-based learning: What and how do students learn? Educational Psychology Review, 16(3), 235-266.
Hondrich, A.L., Decristan, J., Hertel, S., & Klieme, E. (2018). Formative assessment and intrinsic motivation: The mediating role of perceived competence. Zeitschrift für Erziehungswissenschaft, 21, 717-734.
Hooker, T. (2017). Transforming teachers’ formative assessment practices through ePortfolios. Teaching and Teacher Education, 67, 440-453.
http:// www.hillside.net/plop/2015/papers/panthers/4.pdf Accessed 13 February, 2020.
In R. Sickinger, P. Baumgartner, & T. Gruber-Mücke (Eds.). Pursuit of pattern languages for societal change. A comprehensive perspective of current pattern research and practice (pp. 288–317). Krems: Tredition.
Jennings, L.B. (2010). Inquiry-based learning. In T.C. Hunt, J.C. Carper, T.J. Lasley II, & D. Raisch. Encyclopedia of Educational Reform and Dissent. Thousand Oaks, CA: SAGE Publications.
Jönsson, A. (2020). Definitions of formative assessment need to make a distinction between a psychometric understanding of assessment and “evaluate judgements.” Frontiers In Education, 5(2), 1-4.
Khanifar, Hossein; (Spring 2015). Designing an entrepreneurial process model in Iran's food industry. Entrepreneurship Development, 9th, 219-237.
Khodadahosseini, Seyyed Hamid. (Spring 2013). Designing an entrepreneurial branding process model in small and medium businesses in the food industry. Brand Management Quarterly, 1, 13-45.
Kimbell, R. (2012). Evolving project e-scape for national assessment. International Journal of Technology and Design Education, 22(2), 135-155.
Kimbell, R., Wheeler, T., Miller, S., & Pollitt, A. (2007). E-scape portfolio assessment: Phase 2 report. Goldsmiths, University of London.
Kingston, N., & Nash, B. (2011). Formative assessment: A meta-analysis and call for research. Educational Measurement: Issues and Practice, 30(4), 28-37.
Kippers, W.B., Wolterinck, C.H.D., Schildkamp, K., Poortman, C.L., & Visscher, A.J. (2018). Teachers’ views on the use of assessment for learning and data-based decision making in classroom practice. Teaching and Teacher Education, 75, 199-213.
Kirschner P.A., Sweller, J., & Clark, R.E. (2006). Why minimal guidance during instruction does not work: An analysis of the failure of constructivist, discovery, problem-based, experiential, and inquiry-based teaching. Educational Psychologist, 41(2), 75-86.
Kirschner, P.A., & De Bruyckere, P. (2017). The myths of the digital natives and the multitasker. Teaching and Teacher Education, 67, 135-142.
Knowles, T.R., & Kelley, J.G. (2016). A conceptual framework for integrated STEM education. International Journal of STEM Education, 3(11), 1-11.
Koehler, M. J., & Mishra, P. (2009). What is technological pedagogical content knowledge? Contemporary Issues in Technology and Teacher Education, 9(1), 60-70.
Laal, M. (2013). Collaborative learning; elements. Social and Behavioral Sciences, 83, 814-818.
Lai, C. (2019). Trends of mobile learning: A review of the top 100 highly cited papers. British Journal of Educational Technology, 50. doi:10.1111/bjet.12884 Accessed 4 February, 2020
Larson, K.A., Trees, F.P., & Weaver, D.S. (2008). Continuous Feedback Pedagogical Patterns. In PLoP’08 Proceedings of the 15th Conference on Pattern Languages of Programs. New York, NY: ACM. Retrieved from: http://hillside.net/plop/2008/ papers/PLoP2008_26_Larson+Trees+Weaver.pdf
Lashkar-Blouki, (fall and winter 2011). Designing a sustainable strategy process model using a hybrid approach. Strategic Management Thought, 6th, 121-151.
Lee, H., Feldman, A., & Beatty, I.D. (2012). Factors that affect science and mathematics teachers’ initial implementation of technology-enhanced formative assessment using a classroom response system. Journal of Science Education Technology, 21, 523-539.
Looney, J. (2019). Digital formative assessment: A review of the literature.
Looney, J. (2019). Digital formative assessment: A review of the literature. http://www.eun.org/documents/411753/817341/ Assess%40Learning+Literature+Review/be02d527-8c2f-45e3-9f75-2c5cd596261d Accessed 4 December, 2019.
Lysaght, Z., & O’Leary, M. (2017). Scaling up, writ small: using an assessment for learning audit instrument to stimulate site-based professional development, one school at a time. Assessment in Education: Principles, Policy & Practice, 24(2), 271-289.
Maier, W., Wolfe, N., & Randler, C. (2016). Effects of a computer-assisted formative assessment intervention based on multiple-tier diagnostic items and different feedback types. Computers & Education, 95, 85-98.
Marjan Faber, J. (2020). Effect of digital formative assessment tools on teaching quality and student achievement. PhD Thesis, University of Twente.
Martin, M.O., Mullis, I.V.S., & Foy, P. (2017). TIMSS 2019 Assessment Design. In I.V.S. Mullis & M. O. Martin (Eds.), TIMSS 2019 Assessment Frameworks (pp. 79-91).
McGarr, O., & McDonagh, A. (2019). Digital competence in teacher education, Output 1 of the Erasmus+ funded Developing Student Teachers’ Digital Competence (DICTE) project. https://dicte.oslomet.no/ Accessed 13 February, 2020.
McMillan, J; Cauley, K. (2010). Formative assessment techniques to support student motivation and achievement. Educational strategies, 83(1), 1-6.
Meusen-Beekman, K., Joosten-ten Brinke, D., & Boshuizen, H.P.A. (2015). Developing young adolescents’ self-regulation by means of formative assessment: A theoretical perspective. Cogent Education, 2(1), 1071233.
Mishra, P., & Koehler, M.J. (2006). Technological pedagogical content knowledge: A framework for integrating technology in teacher knowledge. Teachers College Record, 108(6), 1017-1054.
Molenaar, I., Horvers, A., & Baker, R. S. (2019). What can moment-by-moment learning curves tell about students’ selfregulated learning?. Learning and Instruction, 101206. https://doi.org/10.1016/j.learninstruc.2019.05.003. Accessed 4 February, 2020.
Moss, C.M., & Brookhart, S. (2019). Advancing formative assessment in every classroom: A guide for instructional leaders.Alexandria, VA: ASCD Publications.
Ng, W. (2012). Empowering scientific literacy through digital literacy and multiliteracies. Hauppauge, NY: Nova Science Publishers, Inc.
Nikou, S.A., & Economides, A.A. (2018). Mobile-based assessment: A literature review of publications in major refered journals from 2009 to 2018. Computers & Education, 125, 101-119.
Nikou, S.A., & Economides, A.A. (2019). Factors that influence behavioral intention to use mobile-based assessment: A STEM teacher’s perspective. British Journal of Educational Technology, 50(2), 587-600.
O’Leary, M., Scully, D., Karakolidis, A., & Pitsia, V. (2018). The state of the art in digital technology based assessment. European Journal of Education, 53(2), 160-175.
Orr, G. (2010). A review of literature in mobile learning: Affordances and constraints. Paper presented at the 6th IEEE International Conference on Wireless, Mobile, and Ubiquitous Technologies in Education, Kaohsiung, Taiwan. https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=5476544 Accessed 13 February, 2020.
Panero, M., & Aldon, G. (2016). How teachers evolve their formative assessment practices when digital tools are involved in the classroom. Digital Experiences in Mathematics Education, 2, 70-86.
Pinger, P., Rakoczy, K., Besser, M., & Klieme, E. (2018). Implementation of formative assessment – effects of quality of programme delivery on students’ mathematics achievement and interest. Assessment in Education: Principles, Policy & Practice, 25(2), 160-182.
promising practices for enhancing accessibility for students with disabilities. Journal of Special Education Technology, 33(4), 219-236.
Quellmalz, E.S., Davenport, J.L., Timms, M.J., DeBoer, G.E., Jordan, K.A., Huang, C., & Buckley, B.C. (2013). Next-generation environments for assessing and promoting complex science learning. Journal of Educational Psychology, 105(4), 1100- 1114.
Reynolds, Katherine;et al. (2020). Digital Formative Assessment of Transversal Skills STEM. Dublin City University: ISBN: 978-1-911669-05-0.
Ruiz-Primo, M.A., & Furtak, E.M. (2006). Informal formative assessment and scientific inquiry: Exploring teachers’ practices and student learning. Educational Assessment, 11(3), 205-235.
Ryoo, K., & Linn, M.C. (2016). Designing automated guidance for concept diagrams in inquiry instruction. Journal of Research in Science Teaching, 53(7), 1003-1035.
Sadler, D.R. (1989). Formative assessment and the design of instructional systems. Instructional Science, 18(2), 119-144.
Scalise, K., Irvin, P.S., Alresheed, F., Zvoch, K., Yim-Dockery, H., Park, S., Landis, B., Meng, P., Kleinfelder, B., Halladay, L., & Partsafas, A. (2018). Accommodations in digital interactive STEM assessment tasks: Current accommodations and
Seery, N., Canty, D., & Phelan, P. (2012). The validity and value of peer assessment using adaptive comparative judgement in design driven practical education. International Journal of Technology Design Education, 22, 205-226.
Shavelson, R.J., Young, D.B., Ayala, C.C., Brandon, P.R., Furtak, E.M., Ruiz-Primo, M.A., Tomita, M.K., & Yin,Y. (2008). On the impact of curriculum-embedded formative assessment on learning: A collaboration between curriculum and assessment developers. Applied Measurement in Education, 21(4), 295-314.
Shute, V.J., & Rahimi, S. (2017). Review of computer-based assessment for learning in elementary and secondary education. Journal of Computer Assisted Learning, 33, 1-19.
Shute, V.J., Leighton, J.P., Jang, E.E., & Chu, M. (2016). Advances in the science of assessment. Educational Assessment, 21(1), 34-59.
Sireci, S.G., & Zenisky, A.L. (2006). Innovative item formats in computer-based testing: In pursuit of improved construct representation. In S.M. Downing & T.M. Haladyna (Eds.), Handbook of test development (pp. 329-348). New York, NY: Routledge.
Spante, M., Hashemi, S., Lundin, M., & Algers, A. (2018). Digital competence and digital literacy in higher education research: Systematic review of concept use. Cogent Education, 5, 1-21.
Spector, J.M., Ifenthaler, D., Sampson, D., Yang, L., Mukama, E., Warusavitarana, A., Dona, K.L., Eichorn, K., Fluck, A., Huang, R., Bridges, S., Lu, J., Ren, Y., Gui, X., Deenan, C.C., San Diego, J., & Gibson, D.C. (2016). Technology enhanced formative assessment for 21st century learning. Educational Technology and Society, 19(3), 58-71.
Stobart, G. (2006). The validity of formative assessment. In Garder, J. (Ed.), Assessment and Learning. Thousand Oaks, CA: SAGE Publications Ltd.
Szendey, olivia;et al. (2020). Virtual Learning Environments and Digital tools impementing Formative Assessment and Transversal Slills in STEM. Dublin City University: ISBN: 978-1-911669-14-2.
Timmers, C.F., Walraven, A., & Veldkamp, B.P. (2015). The effect of regulation feedback in computer-based formative assessment on information problem solving. Computers & Education, 87, 1-9.
Van De Ven, A. (1992). Suggestions for Studying Strategy Process: A Research Note. Strategic Management Journal, 13(S1), 169-188.
van Dijk, A.M., & Lazonder, A. (2016). Scaffolding students’ use of learner-generated content in a technology-enhanced inquiry learning environment. Interactive Learning Environments, 24(1), 194-204.
Vogelzang, J., & Admiraal, W.F. (2017). Classroom action research on formative assessment in a context-based chemistry course. ducational Action Research, 25(1), 155-166.
Wiliam, D. (2016). The secret of effective feedback. Educational Leadership, 73(7), 10-15.
Wiliam, D. (2019). Why formative assessment is always both domain-general and domain-specific and what matters is the balance between the two. In H. Andrade, R.E. Bennett, & G. Cizek (Eds.), Handbook of formative assessment in the disciplines (pp. 243-264). New York, NY: Routledge.
Wiliam, D., & Black, P. (1996). Meanings and consequences: A basis for distinguishing formative and summative functions of assessment? British Educational Research Journal, 22(5), 537-548.
Wiliam, D., & Thompson, M. (2007). Integrating assessment with learning: What will it take to make it work? In C.A. Dwyer (Ed.), The future of assessment: Shaping teaching and learning. New York, NY: Lawrence Erlbaum Associates.
Wiliam, D., Lee, C., Harrison, C., & Black, P. (2004). Teachers developing assessment for learning: impact on student achievement. Assessment in Education, 11(1), 49-65.
Wiliam, D; Thompson.M;. (2007). Integrating assessment with learning: What will it take to make it work? New York: In C.A. Dwyer(Ed.), The future of assessment: Shaping teaching and learning

  • تاریخ دریافت 01 اردیبهشت 1402
  • تاریخ بازنگری 01 خرداد 1402
  • تاریخ پذیرش 05 خرداد 1402
  • تاریخ انتشار 01 فروردین 1402