Assessment and Evaluation of Hybrid Education for Mechanical Engineering by Items Analysis of Summative Examination on Firefighting Systems during Covid-19 Pandemic

الملخص:
أصبحت الأساليب التعليمية الهجينة مستخدمة على نطاق واسع في التعليم الهندسي بعد جائحة کورونا COVID-19. ومع ذلک، لم يتم إجراء تقييم نوعي وکمي لنتائج الإنجاز. يقدم هذا البحث طريقة التعليم الهجين المطبقة حديثًا والمستخدمة لتصميم أنظمة مکافحة الحرائق داخل المباني غير السکنية. تم مراجعة نتائج المقالات المنشورة في العقدين الماضيين للتعرف على مدى الاستفادة من عملية التقييم لرصد آثار التقييم والأساليب التعليمية على تحصيل الطلاب في تعلم العلوم الهندسية عامة والتطبيقية منها بصورة خاصة. وقد تم اختيار مبنى فندقي عالي الارتفاع لإجراء الاختبار النهائي وتقييمه لمنهج مکافحة الحرائق بين طلاب قسم الهندسة الميکانيکية والتي قامت باستخدام أساليب التعليم الهجين لکل من طرق الاتصال المباشر وعبر الإنترنت. يتم استخدام طريقتين للتقييم للتغلب على مخاطر COVID-19، التي أعاقت حضور الطلاب. يتم إجراء تحليل الأسئلة لتحديد کيف تفيد طريقة التعليم الهجينة تعلم الطلاب. وبالتالي قد تم تصميم بنک الأسئلة الآمن بناءً على کل من نوع الأسئلة ذات الإجابات المتعددة، والمسائل الهندسية والمقالية. وقد تم تصنيف الأسئلة ذات الإجابات المتعددة إلى ستة أنواع. يتم عرض الاختبارات النهائية التي يؤديها طلاب المستوى الرابع وتحليلها لتقييم کفاءة عملية التقييم. يتم أيضًا عرض ومناقشة عينات انتقائية من إجابات الطلاب في المقالة الحالية. بعد ذلک، يتم عرض تحليل درجات الطالب ومقارنته، لاکتشاف جودة جميع عناصر الأسئلة المستخدمة في الاختبار النهائي. تم عرض معاملات التحليل في الرسوم البيانية والمنحنيات المعمول بها في مجال القياس ةالتقويم لمختلف العلوم الهندسية والطبية مثل مؤشر الصعوبة، مؤشر التمييز وکفاءة المشتت لتقييم وظائف کل عنصر والمشتت. تؤدي هذه العملية أخيرًا إلى بنک أسئلة يتألف من أسئلة وعناصر ومشتتات عالية الکفاءة. في نهاية هذه الورقة، يتم سرد وإبراز خاتمة وتوصيات لعمليات التعليم والتقييم المستقبلية للدورات المتخصصة في التعليم الهندسي.
Abstract:
Hybrid teaching methods have become widely used in engineering education after the COVID-19 pandemic. However, a qualitative and quantitative evaluation of achievement results was not performed. This paper presents a newly applied hybrid marking method used to design fire fighting systems within non-residential buildings. The results of articles published in the past two decades were reviewed to identify the extent to which the evaluation process was used to monitor the effects of evaluation and educational methods on students ’achievement in learning engineering sciences in general and applied ones in particular. A high-rise hotel building was selected to conduct the final examination and evaluation of the firefighting curriculum among students of the Mechanical Engineering Department, which used hybrid teaching methods for both direct and online communication methods. Two assessment methods are being used to overcome the risks of COVID-19, which has hampered student attendance. Question analysis is performed to determine how the hybrid teaching method benefits student learning. Thus, the secure question bank has been designed based on both the multi-answer question type, and the engineering and essay questions. Questions with multiple answers are categorized into six types. The final tests performed by Level 4 students are presented and analyzed to assess the efficiency of the assessment process. Selective samples of student responses are also presented and discussed in this article. Next, the student's grades are analyzed and compared, to discover the quality of all question items used in the final exam. Analysis coefficients were shown in graphs and curves applied in the field of measurement and evaluation of various engineering and medical sciences such as difficulty index, discrimination index and dispersant efficiency to evaluate the functions of each element and the dispersion. This process finally results in a question bank consisting of highly efficient questions, items, and distractions. At the end of this paper, a conclusion and recommendations for the learning processes and future evaluation of the specialized courses in engineering education are listed and highlighted.