在药理学阶层使用先习牙型书面测试大大提高了医学院在最终书面总结测试中的表现

抽象的

我们希望在药理学课程中测试大学医学生的进展。正式教学被称为全班学生的讲座。我们在一项基本药理学课程之前和之后和第三年医学生的多项选择（MC）问题（单一最佳选择）的非常相同的书面测试。初步的自愿测试（包含30个MC问题）被占合格学生的79％（N = 147), a week before pharmacology lectures had started. Defining a passing grade of 60% of right answers, only 2% of the students passed the test. The range was between 5 and 21 points. The final, now obligatory, written test at the end of the course (one week after the last lecture in pharmacology) was taken by all students in the semester (N = 179) and was passed by 95%, of students, again defined by the same passing score. Here, the points obtained ranged from 12 to 29. Over the time of the semester, the attendance in the lectures dropped dramatically to less than 10% of the students. Hence, progress tests are useful, but they hardly measure the gain in knowledge through attendance in the pharmacology lecture (the intervention); they also measure other sources of knowledge, such as textbook reading or memorizing only the initial questions and looking up the answers.

1.介绍

评估教育知识的收益是一个持续的任务[1]。一种这种可能性在于使用各种形式的进度测试。这已在许多医学院和全球不同国家的医学教育中进行了各种方式。通常给出多项选择（= MC）测试，而不是口头测试，以获取此目的。MC测试与口头检查相比的优点是它们可以高度可靠和目标，它们可以在短时间内标准化以测试大型课程并测试广泛的知识。最后，它们是具有成本效益的，因为计算机可以等级和评估测试，提供诸如难度指数，辨别指标，可靠性，分散的人，测试歧视和其他精神术参数等信息[2那3.]。通常，在一个学期结束时只给出一个MC测试，用于教授某个主题，例如，如果他们选择了这样的话，那么可以参加基础药理学的讲座。从该决定的最终MC测试中，这并不一定是明显的，在该测试结果中有多少测量知识来自讲座或以前的知识。但是，我们想知道先前的知识（学期开始）或外面的工作讲座出席的工作占学期审查结束时的成功。我们假设知识的增加完全是由于学期期间的讲座。

2.相关研究

其他人试图通过在完成课程之前，期间或之后进行相同的测试来评估医学教育的知识的收益[4.那5.]。在其他情况下，重复测试而不学习对于知识保留比在没有测试的情况下更有用[6.]。学习前的测试可能具有优势，例如激励学生在参加讲座或课程之前准备，并且可能让学生意识到他们的特殊知识差距（[7.]）。即使在预目的上的知识取消检索也可能有助于随后从讲座中学习[8.那11.]。

为了排除学生的可能性从内心预测试并因此通过了学期考试结束时，我们没有透露对学生预测的问题。此外，一名左侧学生不知道第二个测试将提供与预测试相同的问题。此外，我们包括在期末考试中给予同一问题的学生控制测试组，但没有可能在预测试中看到问题。

我们的研究假设是给予两次相同的MC试验（在教学时期之前预先测试，在教学时期之后的最终测试）将是评估药理学讲座成功的适当方式，至少对于那些学生来说参加了讲座。

3.方法论

3.1。研究方法

初步的自愿书面测试（预测试），以显示（在本案例中）药理学中的学术成就包含30个多项选择（= MC）问题，具有60％的级别（见图1）。MC问题反映了随后的讲座中的学习目标。通常，构建了两个讲座的两个问题。该内容包括基础和系统药理学，如药效学，药代动力学，自主药理学，抗心律失常药物，降低血压和抗生素的药物。最终考试中基于优秀奖励积分的奖励积极主动的学生采取初步测试以改善其成绩。在过去几年中，我们给出了预测试（不同的问题而不是本研究），而不提供奖励积分的激励，但我们的参与率低（符合条件的学生的10-20％）和绩效差：学生后来告诉我们他们没有采取考试严重并随机回答了许多问题[12.]。

课程结束时的总结试验包含与预测试相同的MC问题（图1）。学生坐在一场演讲厅，由空座位互相分开，并由教师监督。编写了四个版本的书面测试，只有在问题和答案的顺序中不同。

在药理学课程后之前采取相同所需测试的学生，但没有预测试，担任对照组（图1）。在群组1（对照组）中，基线由219名学生组成。在COHORT 2（研究组）中，147名学生采取自愿预测试，179名学生采取预测试和所需的测试。Cohort 3包括37名学生，他们有资格采取预测试，但选择仅坐在最终测试中。相比之下，只有五名学生参加预测试，但没有参加期末考试。

监测两组学生讲座的学生参加（每周讲座，每周有11个讲座）被监测：要求学生填写纸张出勤表。

3.2。数据分析

使用Excel 2010计算平均值（SEM）的算术平均值和标准误差。使用SPSS 25建立相关性（Spearman相关）和参数或非参数或非参数测试[11.]。概率值（值少于0.05被认为是显着的。

3.3。数据可用性

感兴趣的读者可以从任何作者中获取电子格式的所有数据（原始数据和统计分析）。

3.4。评估结果

为了在服用基本药理学课程后建立测试结果的基线分布功能（图1，上车道），书面，强制性检查是给予医学生的1个。在队列1（对照组）中，219名，共219名可能参与学生坐在考试（96％的学生）。达到的平均点（算术平均值和SEM）为20.29±0.27，其中70名是男性和149名女学生。这两个人都达到了类似的观点，即19.9±0.46和20.4±0.42点（ ）。在这个对照组中，在讲座后出席讲座的出勤与讲座的讲座之间没有相关性（根据Spearman）（图2那 ）。

在自愿预测试（图3.），在随后的新生群体（伙伴2股预测试）中，184名可能的学生参加（80％的学生在这个队列中）。达到的平均点数为11.5±0.23，其中65个是雄性，82个是女性，患者再次达到类似的点，即11.9±0.38和11.1±0.28点（ ）。点的分布在图中描绘3.。占据60％作为经过的级别（18分），只有三个坐在考试的147人中，将通过（2％）。最低等级为5分（随后没有参加期末考试的学生）。达到的点范围在5到21点之间。这表明实际上没有关于这些学生的基本药理学的知识，这些学生将被预期，因为它们仅在接下来的几周内暴露于基本药理学的讲座。同一考试再次给予这些学生（图3.）（队列2预测试+强制性测试），现在学生达到25.8±0.31点（图4.）。使用学生T.- 与入学考试相比，讲学（最终考试）后，平均测试评分更好（图3.与图4.那 ）。在队列2（预测试+强制性测试）的所有参与者中，62名学生是男性，80名学生是女性，这再次达到了可比的结果（分别为25.4±0.49和26.2±0.41点 ）。占据60％作为通过级别（18分），多达142名参与者的参与者（95％）。最低等级为12分（一名学生），最高等级为29分（21名学生）。同样在这项研究队列中，在讲座后的讲座的出勤率与讲座中取得的积分没有显着的相关性（根据Spearman）（图4.那 ）。图中达到了平均点4.高于图2（曼 - 惠特尼， ）。而且，图中达到了附图4.高于图3.（曼 - 惠特尼， ）。

尚未参与预先预测试的学生（仅限三个，强制性测试）达到25.3±0.55的平均点（图5.其中10个是男性，27例是女性，达到类似的点23.5±1.39和26.04±0.52点。每次级别（18分）为60％，那么37名参与者的36人将通过（97％）。最低等级为15分（1名学生），最高等级为29分（3名学生）。

有趣的是，一名学生从第一次（预测试）到第二次检查（强制性最终测试）恶化了13至12点。相比之下，最高的改善（一名学生）是6至29分。三名学生从8分到29分，一名学生从7到13分也表现出最贫困的改善。课程讲座结束时的决赛义务测试是由可能参与的学生（N = 179) and was passed by 94.97% (range of points obtained was 12 to 29).

由于课程，这可能被解释为知识的增益，而且由于学生的问题（然而从未正式释放）的议案，也是（与学生的非正式谈判）。

参加初步考试的学生的最终考试点的差异和那些没有，那些没有感兴趣的学生。这些组被分开绘制为数字5.和6.。单面T.- 最低给A.值为0.032，表明意义。此外，显而易见的性别差异，这是令人放心的（数据未显示）。在图中7.，组合每个组（群组1,2和3）的分布函数，以便于组之间的比较。

在临床药理学的强制性检查中（在第六和第七个学期教授同一类医学生，见图1），在第七学期结束时给出（213名参与者= COHORT 4），我们有机会从第五学期从初期的147名队列（预测试+强制性期末考试）进行跟踪。除了147名学生外，还包括仅参加书面，强制性的测试（最终考试的学生）27名学生（最初37名学生）6.，队列3）。在群组4（147个群组2名学生）的子组中，获得的平均点为16.02±0.278。男学生和女学生分别达到了类似的点，即16.54±0.426和16.99±0.368点。范围在7到25点之间。

在第七学期结束时，在本义务考试中获得60％的经过级（18分），从213人才通过了74人（34.74％）。只需在我们的群组第4次，只有47名（19名男性和28名女性），从147名学生才能通过（31.97％）。达到以下平均点数：16.15±0.287，其中54名是男性，85名是达到类似点的女学生，16.69±0.425和17.01±0.391点。该范围在8到24点之间。如上所述，我们能够在仅为必要性测试的37名学生的第七学期后跟进27名学生（最终测试：图6.，队列3）第五学期。这27名学生已达到以下均值：15.89±0.820，其中8名是男性，19名是女性，达到类似的点，14.5±1.647和15.89±0.951点。范围在7到25点之间。在图中8.，对每个队列给予研究武器（群组）通过和失败的学生的百分比和每个队列给出了相应数量的学生的百分比。灰色背景突出显示的预测试组（群组2），并且义务考试由虚线矩形表示，以便于将学生分配给研究组（图8.）。

更多的over, we tried to correlate the findings in the exams in basic pharmacology (fifth semester) with the results of students’ final exam (board exam, Germany-wide, written, MC, comprising all the clinical medicine topics, including basic and clinical pharmacology: = M2 exam). We obtained data from 114 students. Students took the M2 exam in April 2016, when up to 319 points could be obtained, or in October 2016, when up to 317 points were available. Among 96 students (the range was between 210 and 295) who took the pretest and the final exam, 41 male students obtained mean points of 257.17 ± 3.054 and 55 female students obtained 256.29 ± 2.780 points. There was a significant correlation between the points in the final exam in the introductory pharmacology course, the subsequent clinical pharmacology course (Spearman correlation, ），和德国的最终国家考试（称为“M2-考试”，Spearman相关， ）。

4。讨论

除了使用MC测试进行总结考试，许多医学院也使用MC问题进行形成性考试。如果学习者的行为来自外部条件，可以理解为可观察的改变，可以理解为可观察的改变[12.]。有趣的是，知识的检索可能会影响后来的保留。如果所有知识得到测试，那么知识的保留更好，与未坐在任何考试的小组相比（测试效果：用于审查，见[13.那14.]）。例如，在美国的一个八年级科学课堂上，在课程的最终考试中达到了更好的分数，前提是在之前进行了测试：92％的先前Quizzy MC问题被正确回答，与MC问题相比没有以前测试过[15.]。然而，这项研究不是在医学生;考试是在线的，因此可能会进行操纵（学生可能会在其中文发出正确的答案）。

然而，人们可能会使用测试来增强重要临床事实的保留，在我们的上下文中的重要药物中，例如它们的适应症，禁忌症和相关药代动力学参数。虽然在人工心理实验室环境中清楚地证明了测试效果，但了解该测试效果是否也存在于本研究中的医学生的药理学中的当前医学课程中。It has been argued that in real life, medical students also learn outside the classrooms (e.g., during ward rounds and their clerkships), they are exposed to pharmacological knowledge in other lectures and courses (internal medicine, dermatology, etc.), and they do homework on their own or in groups, and get reading assignments or at least suggested papers or textbook chapters in pharmacology (compare [16.]）。

熟悉知识获取进展的良好方法是使用进度测试（通常以电子形式[17.那18.]，就像荷兰的多中心测试一样[19.在德国[20.]）。一些作者得出结论，进展测试可能是对可能需要特别注意的学生的早期识别，并且进步测试可能是自学家的有用工具[21.那22.]。在这些进步测试中，与我们的研究相比，在医学院的整个学期在整个学期中不断考虑典型的决赛委员会考试问题。临床医学的所有特色都经过测试，有大量的问题（问题银行）可用，并且没有问题是两次问题。

其他人反复给出相同的问题，以评估临床检查的能力，但不在药理学[5.]。这些同事每年两次测试32名学生，同样有47个MC问题，以评估药学学生（但不是医学生）在药房治疗学习的收益[4.]。此外，他们的主要目标是比较基于团队的学习与讲座[4.]。

类似于我们的研究，但在不同的环境中最近由加拿大的同事发表[7.]。他们测试了以前（在线）MC测试是否增强了对儿科医生的后续研讨会（教学干预）的知识保留[7.]。他们的对照组没有收到以前的MC测试。在研讨会之后，两组被给予（在线）相同的MC问题[7.]。事实证明，如果预先预先完成，则留下更好（以MC测试在MC测试中测量）[7.]。这是对我们结果的令人鼓舞的相似之处。但是，他们测试了认证的儿科医生;因此，预期某些先前的知识（图2在 [7.]。此外，越来越积极的儿科医生将参加研讨会;因此，参与者可能已经有选择偏见（只有186名参与者的参与者，62％，愿参加该研究[7.]）。因此，他们的结果肯定比在不太积极的参与者（可能包括我们的学生）。与我们的研究相比，预测试中只有五种MC测试不同的在知识测试期间给出了MC测试[7.]。

它可能会令人欣慰的是，在最终测试中坐在预测试的学生更好地表现出来（图4.）比没有坐着预测试的学生（图2）。然而，这种解释明显没有得到数据的完全支持，因为没有坐在第二个学期在第二个学期坐下来的学生更好（图6.）比上一个学期的学生（图2）。因此，人们可以简单地得出结论，更喜欢自己学习的学生从预测试（比较数字4.和6.）。

我们想竭尽全力与相当多的参与者（每学期147-219名学生）有可能与其他参与者数量较低的研究，其中相同的测试是两次相同的测试和平均点的改善被视为教学干预效果的证据。例如，临床学生在重症监护旋转中获得了同样的问题，最初和四周后，32名参与者在基线（65.7）的考试点增加了4.6分[23.]。

人们可以询问我们如何知道控制组是一个有效的控制组，而不仅仅是一般较贫穷的学生的队伍。人们可以争辩说，如果没有随机将学生进行实验和对照组，则需要以其他方式确认对照组与所有相关背景变量的实验组匹配。这是我们研究的限制。但是，我们指出，在临床药理学课程（第七学期结束）后，对照组在临床药理学（第七学期的末期）获得的平均分比与研究队列不同。这反对假设这一假设通常是学习较弱的学生组在此被用作与研究队列相比的控制队列。此外，人们可以提出为什么讲座出席与期末考试不相关。这对我们感到令人惊讶的是：我们预期强烈的正相关。然而，若干国家的许多同事们私下提到了类似的调查结果：出席讲座的医学生（他们不被迫参加全球大多数大学）随着时间的推移大幅下滑。学生通常通过竞争时间来解释这一点，比如其他即将到来的考试。

此外，人们可以争辩，因为那些拿到与那些没有预先预热的人的性能之间的表现差异很小，所以在最终的总结考试表现上，施用预测试的好处是什么。这显然有质疑预测试的有用性。解决这个问题的一种方法可能是在额外的调查问卷中评估后续研究，无论学生是否发现预测的主观有用（更好地了解讲座，教科书或后续测试的准备）。如果据报道，如果学生的强烈愿望保留这一目标，那么学生满意度在课程开发中发挥作用，在大多数院校中都会担任绩效。否则，我们不会在绑定资源时再次使用预测试。

4.1。未来的工作

在未来，由于对我们资源需求较低的原因，我们打算使用本研究的基本格式进行在线测试作为预测试。对于最终书面考试的最终书面考试中，这将是有趣的，看它是否会导致更糟糕，类似或更好的结果而不是书面预测。此外，如果一个人会重复目前的调查，那么了解我们在测试条件下的信息学生在真正使用的情况下提供信息。人们可以在学习工具和习惯上提供开放的问卷，将这些学习习惯与最终测试相关联：然后将预测结果用作最终测试结果的贡献因素。

5.总结

总之，两次给予相同的MC问题以测试两者之间的干预可能会高估干预对知识增益的影响。据我们所知，这是对药理学医学生的第一次研究。

六，结论

通过预测试和最终测试组成的进展测试可用于衡量医学生的知识增益，但他们几乎没有通过出勤方式衡量知识的收益，例如，例如基本药理学讲座（干预）;他们还衡量了新知识的其他来源，例如教科书阅读或仅记忆最初的问题。

数据可用性

所有原始数据都以电子形式提供。

利益冲突

作者声明他们没有利益冲突。

作者的贡献

J. N.设计了研究。S. S.和U. G.进行了研究。S. S.，J.N和U. G.分析了数据。U. G.和J. N.写了这篇论文。

致谢

作者承认PD博士Alp Alp Alp Alp Alp Alp（心理学研究所）与设计，统计测试和对研究的解释的支持。作者感谢州医疗审查员（LandesprüfungsamtHalle），特别是Frau Roscher，用于使我们提供数据。作者承认德国研究基金会（DFG）提供资金计划开放式发布的财务支持。这项工作没有收到任何外部资金。所有内部资金都是通过国有的马丁·路德大学哈勒 - 维滕伯格。

参考

1. A. Krouska，C.Troussas，M.Virvou和C.K.Cragkakis，“应用Skinnerian调理在线辅导在线辅导语言中的技能表现”第9次国际信息，情报，系统和应用会议（IISA）的诉讼程序，pp.1-5，Zakynthos，希腊，2018年7月。查看在：出版商网站|谷歌学术
2. D. Bauer，M. Holzer，V.Kopp和M. R.Fischer，“Pick-N多项选择考试：评分算法的比较”卫生科学教育进展，卷。16，不。2，pp。211-221,2011。查看在：出版商网站|谷歌学术
3. L. W.T.Schuwirth，D. E.Ballmore，E. Mom，F.Van Den Wildenberg，H.E.J.H. Stoffers，以及C.P.M.Van der Vleuten，“如何编写评估问题解决方案的短暂案例，”医学老师，卷。21，不。2，pp。144-150,1999。查看在：出版商网站|谷歌学术
4. B. Bleske，T. Remington，T.Wents，K.Klein，J. Tingen和M. Dorsch，“长期学习成果的团队学习和讲义格式的随机交叉比较”药店，卷。6，不。3，p。81,2018。查看在：出版商网站|谷歌学术
5. R. G. Williams，D. Klamen，T.Clark，S.T. Hingle，G. M. Rull和J. Daniels，“物理发现在医学学校 - 纵向数据分析中进行了进展测试”欧洲医学教育协会的诉讼程序，卷。177，p。4J1，巴塞尔，瑞士，2018年。查看在：谷歌学术
6. D. P. Larsen，A.C.Barler和H.L.L.Roediger III，“反复测试改善了相对于重复研究的长期保留：随机对照试验”医学教育，卷。43，不。12，pp。1174-1181,2009。查看在：出版商网站|谷歌学术
7. M. FELDMAN，O.FENANDO，M. WAN，M.A.Martimianakis和K.Kulasegaram，“测试增强的继续医学教育”，“学术医学，卷。93，没有。11S，PP。S30-S36,2018。查看在：出版商网站|谷歌学术
8. L. E. Grzeskowiak，A. E. Thomas，J.至，E. Reeve和A. J. Phillips，“使用受众响应系统加强继续教育活动：一个单一盲目对照试验”中国持续教育杂志CHINESE CHINESE，卷。35，不。1，pp。38-45,2015。查看在：出版商网站|谷歌学术
9. L. E. Richland，N. Kornell和L. S.Kao，“预示效果：不成功的检索试图增强学习？”实验心理学杂志：应用，卷。15，不。3，pp。243-257,2009。查看在：出版商网站|谷歌学术
10. A. Melzer，U.Gergs，J. Lukas和J. Neumann，“多项选择考试中的评级规模措施：药理学的试验研究”教育研究国际，卷。2018年，第8615746号，12页，2018年。查看在：出版商网站|谷歌学术
11. A.领域，使用IBM SPSS统计信息发现统计信息，贤者边缘，伦敦，英国，2018年。
12. A. Krouska，C. Troussas和M.Virvou，“计算机化自适应评估，基于修订的盛开分类法，”使用累计学习活动“基于知识的软件工程：2018。JCKBSE 2018.智能创新，系统和技术，M.Virvou，F. Kumeno和K. Oikonomou，EDS。，Vol。108，PP。250-258，Springer，Cham，瑞士，2019年。查看在：谷歌学术
13. H.L.Roediger和J. D. Karpicke，“测试记忆力的力量：基本研究和对教育实践的影响，”关于心理科学的透视，卷。1，不。3，pp。181-210，2006。查看在：出版商网站|谷歌学术
14. H.L.Roediger和J. D. Karpicke，“测试增强学习”心理科学，卷。17，不。3，pp。249-255,2006。查看在：出版商网站|谷歌学术
15. M.A.Candaniel，K.M. Wildman和J. L. Anderson，“使用测验”在基于网络的类中提高总结评估性能：实验研究，“内存与认知应用研究杂志，卷。1，不。1，pp。18-26,2012。查看在：出版商网站|谷歌学术
16. K.B.CARWAL，P.K.AGARWAL，L.D'Antonio，H.L.L.Roediger和M.A.Chadaniel，“麦迪亚尼尔，”多项选择和短答案测验“既有多项选择和短答案，就会提高中高中课程的考试表现，”实验心理学杂志：应用，卷。20，没有。1，pp。3-21,2014。查看在：出版商网站|谷歌学术
17. C. Bremers，A.Krouska和M.Virvou，“使用多模块模型来学习分析来预测学习者的认知状态，并提供量身定制的学习途径和评估，”机器学习范式。智能系统参考库，M.Virvou，E.Alepis，G. Tsihrintzis和L. Jain，EDS。，Vol。158，pp。9-22，Springer，Cham，瑞士，2019年。查看在：谷歌学术
18. C. Troussas，A.Krouska和M.Virvou，“Mace：移动人工对话实体，用于调整域名知识并产生个性化建议，”国际期刊人工智能工具，卷。28，不。04，物品ID 1940005,2019。查看在：出版商网站|谷歌学术
19. R. A. Tio，B. Schutte，A.A.Meiboom等，“医学的进展测试：荷兰人体验”医学教育的观点，卷。5，不。1，pp。51-55,2016。查看在：出版商网站|谷歌学术
20. J. Arias，H. Schenkat，S.Fensterer和M. Simon，“学生的学生”指导基于结构化选择，基于组合的总结课程和形成性进展测试结果 - 学生绩效的纵向观点，“欧洲医学教育协会的诉讼程序，赫尔辛基，芬兰，2017年。查看在：谷歌学术
21. R.Gagnon和C. Bourdy，“一个进展测试，以确定具有潜在学习困难的医学生和预测加拿大认证考试的分数”2016年欧洲医学教育协会的诉讼程序，卷。262，巴塞罗那，西班牙，2016年。查看在：谷歌学术
22. A. Krouska，C. Troussas和M.Virvou，“基于社交网络的学习系统的文献综述，使用基于新的ISO的框架”智能决策技术，卷。13，不。1，pp。23-39,2019。查看在：出版商网站|谷歌学术
23. D. Piqute，R. Brydges，A. Goffi，C. Lee，B. Mema和C. Walsh，“评估亚特写居民的竞争性在关键护理临床推理中：有效证据支持脚本的统一测试，”欧洲医学教育协会的诉讼程序，卷。177，p。3i7，巴塞尔，瑞士，2018年。查看在：谷歌学术

版权

版权所有©2020 joachim neumann等。这是分布下的开放式访问文章创意公共归因许可证如果正确引用了原始工作，则允许在任何媒体中的不受限制使用，分发和再现。