الا انهم - بحسب ما يُنشر عبر حسابات وسائل التواصل الاجتماعي للمركز - استمروا في النظام التقليدي لاختبار القدرات وانشغلوا في مواضيع ثانوية مثل عملية تنظيم دخول وخروج الطلاب للاختبارات وتصويرها كانجاز للمركز بدلاً من الانشغال في تطوير آلية اختبارات القدرات في الجامعة.
(2/n)
(2/n)
وخلال ازمة كورونا، زاد اهتمام العلماء والباحثين في العالم في مجال القياس والتقويم التربوي في تطوير آلية الاختبارات وطرق تقديمها خلال هذه الازمة، حيث ركزوا على تطبيقات تخص آلية تعتبر قديمة نسبياً في العالم مقارنة بالكويت، وهي آلية الاختبارات التكيفية المحوسبة CAT.
(3/n)
(3/n)
⭐️فما هي الاختبارات التكيفية المحوسبة Computerized Adaptive Testing (CAT)؟
يمكنكم التعرف على هذا النوع من الاختبارات باختصار بالصور المرفقة في هذه التغريدة:
(4/n)
يمكنكم التعرف على هذا النوع من الاختبارات باختصار بالصور المرفقة في هذه التغريدة:
(4/n)
وفي الوقت الذي شلّت فيه هذه الازمة الكويت تعليمياً، سعيت شخصياً في عز انشغالي برسالة الدكتوراه في بداية الازمة في نقل المستجدات في المجال خلال الازمة والتوصيات الاخيرة لجامعة الكويت ومركز التقييم والقياس بالتحديد، الا انه لم يصلني الرد حتى اليوم من تاريخ الارسال قبل سنة.
(5/n)
(5/n)
في نفس الوقت، كنت انتظر من مركز @cemvpaa (اعلى مركز قياس وتقويم بجامعة الكويت) مواكبة هذه المستجدات والتوصيات من العلماء والباحثين في المجال في العالم، وقلت لنفسي، اخيراً، سنتحول الى الاختبارات المحوسبة التكيفية اسوةً في الاختبارات المقننة في العالم المعنية بالقبول الجامعي.
(6/n)
(6/n)
الا انني وبامانة وبعيداً عن اي شخصانية (ويشهد الله على ذلك)، صُدمت بتغريدة مديرة المركز @RawaAljarallah التي اعادت الكويت للمربع الاول في هذا المجال باعادة فكرة تطبيق الاختبارات الورقية وهو ما يجعلنا بمصاف دول العالم الثالث بهذا المجال ان صح التعبير!
(7/n)
(7/n)
⭐️فهل تستحق الاختبارات المحوسبة كل هذا الانتظار ليتم تطبيقها في الكويت؟
لا يمكن بدون شك تطبيقها في يوم وليلة، ولكن من وجهة نظري ان المشكلة ليست في الوقت، انما بالاشخاص والعقليات المسؤولة عن الاختبارات في الكويت، خصوصاً وان مركز مثل @cemvpaa لم يُدار منذ فترة من شخص متخصص.
(8/n)
لا يمكن بدون شك تطبيقها في يوم وليلة، ولكن من وجهة نظري ان المشكلة ليست في الوقت، انما بالاشخاص والعقليات المسؤولة عن الاختبارات في الكويت، خصوصاً وان مركز مثل @cemvpaa لم يُدار منذ فترة من شخص متخصص.
(8/n)
عموماً ومن جانب آخر بعيداً عن الجانب الاداري، فان اكبر تحدي يواجه تطبيقها هو ايجاد اشخاص متخصصين في كتابة بنود الاسئلة وصنع بنوك اسئلة ضخمة، وان وجدوا، فرواتبهم ضخمة جداً.
اما تصميمه وتطبيقه وتحليل النتائج بعد ذلك، فلا يمثلون تحدياً كبيراً مقارنة بالتحدي الاول.
(9/n)
اما تصميمه وتطبيقه وتحليل النتائج بعد ذلك، فلا يمثلون تحدياً كبيراً مقارنة بالتحدي الاول.
(9/n)
⭐️فكيف كانت تجربتي في تصميم الاختبار بطريقة CAT منذ تغريداتي حول الموضوع قبل اسبوع؟
⭐️معلومات عامة:
التكلفة المادية: ٠ دك.
التكلفة الزمنية: ١٦ ساعة بدأت في بناء بنك الاسئلة حتى تحليل نتائج الاختبار.
البرامج والمنصات: Concerto, Rstudio, and Excel.
(10/n)
⭐️معلومات عامة:
التكلفة المادية: ٠ دك.
التكلفة الزمنية: ١٦ ساعة بدأت في بناء بنك الاسئلة حتى تحليل نتائج الاختبار.
البرامج والمنصات: Concerto, Rstudio, and Excel.
(10/n)
⭐️المرحلة الاولى: بناء بنك الاسئلة
- اخترت ٤ فصول من مقرر كيمياء ١٠١.
- حللت الاهداف التربوية المرجوة من كل فصل بحسب توصيف المقرر.
- حضّرت وبنيت الاسئلة مستعيناً بالموقع الالكتروني للكتاب المقرر.
- قمت بتجهيز الاسئلة والاختيارات في ملف اكسل (الصورة) وعددهم ٦٠ سؤالاً.
(11/n)
- اخترت ٤ فصول من مقرر كيمياء ١٠١.
- حللت الاهداف التربوية المرجوة من كل فصل بحسب توصيف المقرر.
- حضّرت وبنيت الاسئلة مستعيناً بالموقع الالكتروني للكتاب المقرر.
- قمت بتجهيز الاسئلة والاختيارات في ملف اكسل (الصورة) وعددهم ٦٠ سؤالاً.
(11/n)
⭐️تابع المرحلة الاولى:
- طبقت البنود على عينة استطلاعية قدرها ١٣٣ طالب، للحصول على معلمي الصعوبة والتمييز ومنهم دالة المعلومات لكل بند.
- تم تحليل البيانات وحذف سؤالين من ال٦٠ لتصبح المحصلة ٥٨ سؤالاً في بنك الاسئلة.
- تم حذف الاستجابات غير الفعّالة من البنود المتبقية.
(12/n)
- طبقت البنود على عينة استطلاعية قدرها ١٣٣ طالب، للحصول على معلمي الصعوبة والتمييز ومنهم دالة المعلومات لكل بند.
- تم تحليل البيانات وحذف سؤالين من ال٦٠ لتصبح المحصلة ٥٨ سؤالاً في بنك الاسئلة.
- تم حذف الاستجابات غير الفعّالة من البنود المتبقية.
(12/n)
⭐️المرحلة الثانية: تصميم وبرمجة الاختبار
- تم استخدام برنامج Rstudio ومنصة Concerto لرفع بنك الاسئلة المحضر مسبقاً في برنامج Excel وبرمجة الاختبار.
- يتكون الاختبار من ٢٠ سؤالاً (بواقع ٥ اسئلة لكل فصل).
- مدة الاختبار ساعتين (بواقع ٦ دقائق لكل سؤال).
(13/n)
- تم استخدام برنامج Rstudio ومنصة Concerto لرفع بنك الاسئلة المحضر مسبقاً في برنامج Excel وبرمجة الاختبار.
- يتكون الاختبار من ٢٠ سؤالاً (بواقع ٥ اسئلة لكل فصل).
- مدة الاختبار ساعتين (بواقع ٦ دقائق لكل سؤال).
(13/n)
⭐️المرحلة الثالثة: تطبيق الاختبار
- تم نشر رابط الاختبار للطلاب المسجلين في مقرر كيمياء ١٠١ هذا الفصل الدراسي حيث يمكنهم معرفة نتيجتهم (القدرة والخطأ المعياري للقياس) بعد نهاية الاختبار.
- شارك في الاختبار ٩٤ طالب توزعت قيم قدرتهم على المنحنى الاعتدالي.
(14/n)
- تم نشر رابط الاختبار للطلاب المسجلين في مقرر كيمياء ١٠١ هذا الفصل الدراسي حيث يمكنهم معرفة نتيجتهم (القدرة والخطأ المعياري للقياس) بعد نهاية الاختبار.
- شارك في الاختبار ٩٤ طالب توزعت قيم قدرتهم على المنحنى الاعتدالي.
(14/n)
⭐️المرحلة الرابعة: تحليل درجات الاختبار
- تم تحليل وتحديث معلمي التمييز والصعوبة لكل البنود التي تم تطبيقها.
- تم التحقق من بعض الخصائص السيكومترية للاختبار.
- تم التحقق من فرضية ان درجات القدرة تتوزع اعتدالياً وطبيعياً على المنحنى.
(15/n)
- تم تحليل وتحديث معلمي التمييز والصعوبة لكل البنود التي تم تطبيقها.
- تم التحقق من بعض الخصائص السيكومترية للاختبار.
- تم التحقق من فرضية ان درجات القدرة تتوزع اعتدالياً وطبيعياً على المنحنى.
(15/n)
مرة اخرى، لا اعتقد ان التطبيق صعب ويتطلب هذا الوقت اذا كان هناك عمل جماعي جاد باشراف من المتخصصين في المجال.
ففي الوقت الذي نرى فيه الدول المجاورة في الخليج تتقدم في المجال، نحن في مكانك قف! والسبب يرجع لعدم وضع الشخص المناسب والمتخصص مهما بلغ اجتهاده في المكان المناسب.
(16/n)
ففي الوقت الذي نرى فيه الدول المجاورة في الخليج تتقدم في المجال، نحن في مكانك قف! والسبب يرجع لعدم وضع الشخص المناسب والمتخصص مهما بلغ اجتهاده في المكان المناسب.
(16/n)
وبدون شك، اعلم بانه هناك هاجس وخوف من الغش واتفهم انها سبب المطالبات الحالية بالاختبار الورقي من غير المتخصصين، الا انه هناك دراسات واسعة في مجال تطبيقات اختبارات CAT منذ التسعينات للتعرف على حالات الغش الممكنة، ومع التكنولوجيا الحديثة يمكنك كشف ذلك بسهولة!
(17/n)
(17/n)
ولذلك اجدد فكرتي الاساسية باسناد هذه الامور لاصحاب التخصص، وخصوصاً في الادارات الحساسة التي تتطلب وجود مختصين ومطلعين على الابحاث الاخيرة والمستجدات في الميدان الاكاديمي ومتابعين جيدين له، وكذلك فعّالين!
—
في التغريدات التالية صور مختلفة لانماط اجابة مختلفة في اختبارات CAT
(18/n)
—
في التغريدات التالية صور مختلفة لانماط اجابة مختلفة في اختبارات CAT
(18/n)
هذه الصورة فيها نمط استجابة غير طبيعي وشاذ للطالب (هناك احتمالية وجود حالة غش) ولابد من النظر في اختباره مجدداً او مراجعة شريط الفيديو ان تم تسجيله.
(19/n)
(19/n)
هذه الصورة فيها نمط استجابة طبيعي للطالب ولا توجد حالة غش ممكنة، نظرياً.
(20/n)
(20/n)
هذه الصورة فيها نمط استجابة طبيعي نوعاً ما، مع احتمالية وجود سؤال او بند يعلمه الطالب مسبقاً (مر عليه سابقاً او يحفظه) وبالتالي لم يأخذ فيه وقتاً طبيعياً للاجابة عليه كما في البنود الاخرى - لا يصنف ضمن الحالات المشكوك بامرها (غش).
(21/n)
(21/n)
ومع تطور العلم، وظهور التكنولوجيا المساندة، اصبح من السهل الاستعانة بمثل هذه النماذج للكشف عن حالات الغش او تسريب الاسئلة عن طريق التطبيقات الاحصائية والنمذجةعلى نتائج الاختبارات، الا ان الامر يتطلب تغييراً جذرياً في بعض القوانين.
ملاحظة: اختبار GRE يعتمد على طريقة CAT.
(22/n)
ملاحظة: اختبار GRE يعتمد على طريقة CAT.
(22/n)
في النهاية، يجب ان اوضح انني بيّنت آلية وهدف الاختبار قبل تطبيقه للطلاب، بعضهم اعجبته طريقة الاختبار وكيفية استخلاص النتائج والبعض الاخر لم تعجبه، فان كنت من الاشخاص الذين جربوا طريقة الاختبار الذي صممته، ما هو تقييمك للتجربة وملاحظاتك؟
(نهاية الثريد)
(نهاية الثريد)
جاري تحميل الاقتراحات...