大学英语教师线上评估实践与评估素养：一项质性研究

大学英语教师在线评估实践与评估素养：质性研究

徐跃亭邱旭言

摘要：这项重要研究基于对中国 12 名大学英语教师的三轮访谈，探索教师的在线评估实践并分析他们的在线评估素养。 结果表明，教师充分利用在线平台进行语音反馈、作业收集和调用、考试成绩反馈等，提高了在线评估的效率。 教师在网上课堂参与评分、考试、反馈、评分标准制定等方面遇到了诸多挑战。 他们采取多种策略应对挑战，展现了自发而实用的教师评价素养。 本文探讨了在线评估的独特性以及教师在线评估素养的现状，对于提高在线评估实践的有效性具有一定的启示。

关键词：教师评价素养； 在线评估练习； 大学英语教师； 定性研究

1 简介

新型冠状病毒肺炎疫情发生以来，全国教师纷纷卷入一场以教育科技驱动的逆向在线教学的教学改革（徐跃亭、陶健，2020）。 疫情之下，在线教学成为新常态，其效果亟待研究。 由于在线外语教学具有自由性、技术性、交互性的特点（高晓等，2021），在线教学效果问题在外语学科中尤为突出。

由于评估连接着教与学，教师能否有效地评估学生的学习过程和结果，以及能否利用评估反馈和结果来改进学生的学习，是在线教学成功的关键。 然而，关于在线评估的实证研究较少，学术界对外语教师在线评估实践及其背后的评估素养现状知之甚少。

在线测评的一大特点是教育技术的融合。 教师如何利用教育技术进行考核也是我国教育政策的一大关注点。 《新时代深化教育评价改革总体方案》（以下简称《方案》）鼓励“充分利用信息技术，提高教育评价的科学性、专业性、客观性”（中央中国共产党，国务院，2020）。 《大学英语教学指南（2020年版）》也强调了信息技术的重要性和混合式教学模式的形成（教育部高等学校外语教学指导委员会2020）。 鉴于在线评估的重要性和复杂性，本研究探讨大学英语教师在线评估实践和评估素养，以提高在线教学和评估的有效性。

2。文献综述

2.1 教师在线评估实践

评估者是在线教师扮演的多重角色之一。 然而，教师既不熟悉辅助评估的技术手段，也没有给予足够的重视（Adedoyin & Soykan 2020）。 徐金芬等. （2021：15）对教师在线评价技巧进行了初步的理论探讨，提出外语教师需要学会“基于过程、表现和反思，实施动态多样的教学评价”。

在线评估也具有信度和效度。 其中，信度是指评估结果的一致性，效度是指评估内容覆盖教学内容的程度（Messick 1989）。 为了确保在线评估的可靠性和有效性，教师需要利用在线平台设计评估任务，根据明确的评分标准对学生的学业表现进行评分，并提供即时反馈以促进学习（García-Peñalvo et al. 2021） 。 但由于网速等限制，教师无法通过同步视频直接观察学生的学习过程或考试表现，难以保证在线测评的可靠性、有效性和公平性。

现有研究大多从学生的角度探讨在线评估对学习成果的影响（Jopp & Cohen 2020）。 例如，在线文本演讲可以激发学生深入思考（Traphagan et al. 2010）并减少学生焦虑（Satar & Özdener 2008），但对教师在线评估实践的关注较少。 只有少数研究探讨了教师在线评估的挑战，例如在线讨论任务评估（Rovai 2000）和在线学习需求调查（Watson et al. 2017）。

2.2 语文教师评价素养及语文教师评价实践

评估实践的底层逻辑是教师评估素养。 教师评估素养不仅包括教师对评估理论知识的掌握（姜锦林，2019），还包括教师在特定社会文化情境和工作环境下的动态评估决策（宋亚男等，2020）。 本文采用“教师评估素养实践”框架（Xu & Brown 2016）来指导研究结果的分析。 该框架包括知识基础、教师评价理念、微观和宏观环境、实践中的教师评价素养、教师学习与认同等概念。其核心理念“实践中的教师评价素养”将教师评价素养视为教师的能力。来执行某项任务。 在具体的评估情境下做出的妥协方案，是教师现有的评估理念与外部环境斗争、协商、妥协的结果。 因此，要拥有更好的“实践中的教师评价素养”，教师需要不断学习、反思和建构评价者身份。

在语言教师评估素养领域，金艳（2018）提出，中国教师需要掌握大规模测试、学术测试和课堂评估三个情境下的评估知识和技能。 除了评估理论，外语教师还需要掌握实践评估素养（潘明伟，2020）。 在课堂评估中，具有合格评估素养的教师可以根据教学目标设计评估任务，制定评分标准，并根据评分标准进行评分（Cheng & Fox 2017）。

教师评价素养的重要性毋庸置疑，但教师评价素养的现状仍不容乐观，如大学英语教师评价策略储备不足（Guo & Xu，2021）、教师信息缺乏等。读写能力（Moorhouse 2021）。 因此，研究我国大学英语教师的在线评估实践和评估素养对于混合教学情境下的评估改革和教师评估素养的发展具有重要意义。

3 研究方法

3.1 研究问题

本研究探讨教师如何在外部环境与自身评估理念和知识储备的互动中做出动态评估决策，并回答以下两大研究问题：1）教师如何利用在线教学平台进行在线评估？ 2）在线评估面临哪些挑战？ 老师们如何回应？ 其中，便利条件和挑战是教师评估素养的外部环境。 教师利用便利条件和应对挑战的策略可以被视为教师的动态评估决策，即“实践中的教师评估素养”（Xu＆Brown，2016）。

3.2 参赛教师

笔者通过有目的抽样，从南方某所大学招募了12名自愿参与本研究的大学英语教师（见表1）。 这些教师年龄分布均匀，教学经验、性别、最高学历、职称的比例符合我国高等学校外语教师的整体情况（教育部发展规划司中华人民共和国 2021）。 为了保护他们的身份，本文在提及参与教师（如T1）时用T后跟数字。

3.3 数据收集与分析

数据收集分为三个节点：课程开始前、课程开始后1个月、课程结束后。 第一次访谈是为了了解教师对在线教学和评估的理解，访谈平均持续30分钟。 第二次访谈旨在了解教师对在线教学和评估的新认识、在线平台的使用情况、在线评估面临的挑战和应对策略。 平均持续时间为60分钟； 第三次面试的内容与第二次类似，要求老师对整个学期的在线评估进行反思，平均耗时80分钟。 所有采访均以中文进行，并进行完整录音并转录成文字。

作者使用内容分析对转录文本进行多级编码（Cohen et al. 2011）。 第一级是开放编码。 通过反复阅读抄写的文本，对文本中与研究问题相关的句子（段落）进行标记，并用短语对代码进行总结，如“聊天框交互很难评分”等，共94条一级代码。 然后根据研究问题进行轴向编码，总结在线平台的四种便利性以及在线情境中的四大评估挑战和应对策略。

4 研究结果

4.1 利用网络平台进行教师评估实践

研究发现，教师可以利用网络平台的特点进行评估，具备一定的在线评估知识和技术素养。 老师们提到使用四个在线平台：1）直播和录课软件，如雨课堂、钉钉等； 2）MOOC平台，例如SPOC； 3）即时通讯软件，如微信、QQ等； 4）教学管理软件，如二分法、在线文件共享等。 受访教师利用网络平台提供的四种便利条件进行在线测评。 首先，利用网络平台为学生提供自主实践机会（51）。 T3允许学生利用SPOC学习系统完成评估任务并自行批改。

在SPOC测试中，系统会生成学生的答案……学生就会知道他们的表现。 (T3-I3)2

其次，利用网络平台为学生提供语音反馈（4）。 例如，T8结合了语音和书面反馈，提高反馈效率。

我在平台上反馈。 可以记录或输入评论。 (T8-I2)

三是利用网络平台征集招聘岗位（8）。 T8提到，在线平台可以提高作业收集的效率以及课堂调用作业的便利性。

课堂讲课时，一些学生的作业会随时拿出来与大家分享，并当场进行口头反馈。 (T8-I2)

四是利用网络平台及时反馈检测结果（12）。 例如，T2采用问卷调查的方式对学生进行调查，并以此作为课堂上分层提问的基础，这比线下评估有明显的优势。

问卷之星会将测验结果服从正态分布。 我知道谁高于和低于两个标准差，并且对学生有很好的了解。 有困难的问题，请教更好的学生； 容易的问题就问差的学生，让每个学生都有存在感和成就感。 (T2-I3)

综上所述，教师可以利用互联网技术和在线平台来提高评价效率，这体现了一定程度的在线评价素养。 但这些策略都是教师应对突发教学改革的自发行为，尚未成为教师有计划的自主行为。

4.2 在线测评的实际挑战及应对策略

以下几点介绍了教师在在线评估实践中遇到的四种挑战及其应对策略。

4.2.1 网课参与评分及应对策略

在线评估实践的第一个挑战是对学生在线课程的参与程度进行评分 (12)。 在线课堂上，老师和学生无法面对面互动线上英语老师，而且由于网络和硬件限制，无法进行视频互动。 根据交互频率的不同，音频交互具有不同的便利性。 因此，网课参与评分首要问题是学生参与方式发生变化，即以文字参与为主，语音、视频参与为辅。

他们的言语确实比打字少。 但回答的人数比面对面的还要多。 (T1-I2)

然而，基于文本交互的课堂参与使得学生很容易复制粘贴文本，导致教师难以判断学生的真实参与情况。 这是对网课参与度进行评分的第二个难点。 例如，T3描述了由于将她的文字语音纳入评分而导致的“刷屏”现象。

有一次我想把大家都吸引过来，让他们在聊天框里回答问题……我说我看看哪些同学比较投入……但结果发现那次屏幕很给力。 (T3-I3)

网课参与评分的第三个难点是，有些学生参与是为了获得课堂表现的加分。

学生没有线下那么积极……（我）一直跟学生说，做志愿者会加分。 后来，很多同学还没有拿到奖励分，就着急了，开始举手要分数。 (T6-I3)

第四个难点是网课参与的评分标准缺失或不明确，老师只能统计发言次数。 例如，T8意识到聊天框中的评论数量可能只代表学生的学习倾向，并不能完全代表他们的学习投入，但他们无奈只能止步于此，因为没有更好的评分方法。

我正在数数量。 有些学生打字很积极。 但有些学生喜欢用麦语说话。 只是学习习惯和倾向不同而已。 (T8-I3)

针对上述挑战，老师们汇报了四种应对策略。 首先，基于公平性考虑，课堂参与分数不计入课程整体评价（如T12）。 这种做法虽然从源头上避免了评分不公平的问题，但无法发挥课堂参与促进学习的作用。

我取消了课堂表演，因为它不太现实。 我也登记了谁要发言，有时很多人想发言。 (T12-I3)

二是取消聊天框评论作为课堂参与评分依据。 正如T3所说，聊天框交互的便捷程度参差不齐，很容易分散学生的注意力，导致学生发言的粘贴和复制。

有学生表示，评估有问题。 学生的设备不同。 手机使用聊天框，中间有一个转换过程，所以听不到老师的声音。 他们的注意力会极度分散，手机打字速度会很慢，这对他们来说是不公平的。 那堂课还存在严重的屏幕垃圾问题。 因此，作为一种考核，效果并不理想，也影响了教学效果。 他说的很有道理，所以我取消了这一项，作为我平时成绩的参考。 (T3-I2)

第三，教师详细记录学生发言的次数，规范课堂参与的评分规则。 例如，T5将学生发言进行登记，进行最终统计，但人工排序也带来了很大的负担。

我每节课都会报名。 他今天发了多少条信息或者回答了多少次问题，最终将成为他的最终成绩。 (T5-I3)

第四，学生自主登记课堂参与次数。 例如，T7调动了学生的积极性，允许学生自主登记参与人数。 但这种做法很难突破注重“质”和“量”的局限性。

我使用二分法来记录课堂上谁在使用麦克风。 将输入的文本导出为 PDF 并将其发送给全班同学。 每个话题的讨论不得超过3分，每个班级聊天框的最高分是8分。 让他们在线注册。 (T7-I3)

上述“取消”策略均不能从根本上解决在线课堂参与评估的问题，反而凸显了教师在线评估素养的不足。 具体体现在，教师在网上评价中大多沿用线下评价的目标、内容、方法和标准，却很少思考网上评价的独特性。

4.2.2 在线考试面临的挑战及应对策略

在线评估实践的第二种挑战是在线考试 (7)。 首先，网络考试作弊很难杜绝。 受访教师提出了三种应对策略。 第一个是通过摄像头进行在线监考。 但在线监考并不能保证考试的公平性（如T9）。

期中考试时被要求打开摄像头，防止作弊，但这只是形式，根本无法控制……太难公平了。 (T9-I3)

二是将试题格式由以客观题为主改为以主观题为主（如T3）。 三是改变考试形式，将考试改为大作业考试。 两者都是为了减少考生作弊的可能性。

我们取消了听力中的多项选择题，因为学生很容易抄袭。 后来我们让学生把第二大题写了一些东西，变成了主观题，尽量防止学生作弊。 (T3-I3)

其次，在线考试缺乏统一平台，不同课程、教师做法不同，难以保证考试的可靠性和有效性。 T6对此表示无奈，希望学校能够统一解决。

考试制度不是个人能解决的。 公司或学校必须开发一个相对成熟的系统，可以支持更大规模的考试。 (T6-I3)

可见线上英语老师，教师在在线考试的设计和实施上缺乏相应的支持。 此外，在线考试受软硬件条件限制，其评价动态决策存在很大局限性。 因此，难以保证其可靠性、有效性和公平性。

4.2.3 反馈实践中的挑战与应对策略

第三类挑战来自在线反馈（6），体现在在线反馈中师生互动的缺乏（如T8）以及教师在线反馈功能趋于单一（如T6） 。 教师反馈主要用于鼓舞士气，但很少用于指出学生的不足，从而难以提高学习成果。 教师虽然意识到了这个问题，但没有及时丰富反馈功能，体现了他们在线反馈素养的缺乏。

网上下课后，学生们赶去另一个班级，他们不会在钉钉上问我“老师线上英语老师，我今天哪里做得不好？” (T8-I3)

我确实让学生在网上更加合规。 只要学生说了一句话，我就会大力表扬他们，特别是那些主动举手发言的学生。 我尽力鼓励和表扬他们。 (T6-I3)

面对师生反馈互动不足的挑战，教师可以利用机器批改辅助教师批改，提高反馈效率； 或者他们可以评估学生的作业样本，以帮助学生了解他们的学习目标之间的差距，并帮助他们掌握消除差距和提高成绩的方法。 学生反馈素养。 例如，T4的以下做法虽然不能完美应对在线反馈的挑战，但它尽力提高了反馈效率，在一定程度上提高了学生的反馈素养。

我给他评分，并在评论框中给他简单的评论。 中间有一些我认为可以反映评论的例子，我将突出显示它们。 (T4-I3)

可见，教师虽然利用技术手段提高反馈效率，但并没有解决反馈互动不足、功能单一的问题，在线反馈素养有待提高。 教师需要提高对在线评估特点（包括评估工具及其功能）的理解，并能够根据评估情况和学生需求设计反馈路径。

4.2.4 评分标准的挑战及应对策略

第四类挑战来自在线评分标准的定义（4）。 教师需要关注在线评分标准及其结构的问题。 研究结果显示，受访教师对在线评估标准的理解仍然模糊，评估时缺乏标准。 面对这一挑战，有的老师口头上调整了评分标准，但也有老师认为线上和线下的考核任务是一样的，没有必要调整评分标准。

线下，我要求眼神交流，但线上，我删除了这个标准……线下，我要求他们与观众互动，我也删除了这个标准。 我的评分标准基于两个方面：内容和交付。 (T3-I3)

例如，T3虽然明确提出了两级评分标准，但缺乏相应的评分级别描述，评分时很难保证自身作为评分者的内部一致性。 可见，评分标准制定部门能力中教师的评价素养亟待提高。

此外，虽然教师在网络情境下有意识地调整考核计划和练习策略，但其在线评估素养仍有待提高。 教师需要学习如何改进在线评估目标设定、任务设计、实施方法、反馈模型等，并根据情况和学生需求进行动态调整。 此外，教师还需要高度关注宏观政策环境和微观软硬件环境。

5 讨论

基于上述发现，下面讨论两个主要问题：在线评估的独特性和教师在线评估素养的现状。

5.1 在线测评的独特性

在线评估有四个独特的特点。 教师需要充分了解这些独特的特点，才能提高在线评估素养。 首先，在线测评高度依赖软件和硬件。 在线测评尤其是考试的顺利实施，不仅需要学生有良好的硬件设施，还需要师生之间、学校之间的网络连接畅通，提供统一的在线考试系统。 这就需要上级部门从宏观层面参与规划，开发在线考试系统，保证网络畅通。 学校从中观层面全力支持和协调教师培训和网络平台的使用（吴大光、李文，2020），教师从中观层面结合网络平台的特点设计评价任务（范一洲等，2018）。

其次，在线评估的独特性在一定条件下可以转化为促进学习的天然优势。 线上平台可以及时反馈，语音反馈功能也提高了反馈效率，丰富了反馈方式。 在线平台协助教师收集和查阅学生作业，减轻教师负担，让教师专注于反馈内容。 但教师利用网络平台进行评价仍属于自发行为，并未上升为自觉行为。 为了充分发挥在线平台和技术在语言教学和评估中的辅助作用(McLaughlin & Yan 2017)，教师需要更充分地了解在线平台的评估和促学功能。

第三，教师需要考虑评估任务的环境转移对评估结构有效性的影响。 教师需要分析线上和线下评估任务的异同，根据课程目标、评估任务特点和学生参与情况修改评分标准及其结构。 如果将学生的在线口头报告作为评估任务，教师需要考虑如何将任务中体现的学生技术素养与内容、结构、口语表达等核心能力区分开来（García-Peñalvo et al. 2021），并根据评分结构重要性排序并分配评分比例。 教师重构在线评分标准是提高在线评估信度和效度的关键。

最后，在线评估放大了学生社会经济背景的差异，因此教师需要关注学生的家庭背景，消除弱势群体在评估中的劣势（Lee & Butler 2020）。 例如，T3提到学生没有电脑，这阻碍了他们参与在线互动。 因此，教师需要在在线评估过程中提前了解学生的社会经济背景，并制定计划以减轻这种差异对评估公平性的不利影响。

5.2 教师在线评估素养现状

教师利用网络平台和应对评估挑战的策略反映了教师因地制宜的能力，也体现了“实践中的教师评估素养”的一部分（Xu＆Brown，2016）。 首先，各种策略可以看作是教师根据具体情况的动态决策。 例如，T3根据学生的建议反思了将文本互动纳入课堂参与评分的利弊，并取消了纳入评分，以避免评分不公平。 其次，这些策略的存在是合理的，但它们只是特定评价情境下的“权宜之计”。 也就是说，教师的在线评估素养还有很大的提升空间。 例如，教师不仅要根据课堂发言的数量来评价学生的课堂参与度，还要充分考虑发言的质量。 教师要想提高在线评估素养，就需要及时反思评估实践，学习评估理论，在实践中产生新的知识来调整评估决策，力求每一个动态决策都比上一个更好。

本研究还发现，教师在线情境下的评分能力并不令人满意。 如果老师不能从课程一开始就确定网课参与的评分标准，评分就会混乱。 又如，教师无法确定在线评估任务是否遵循原来的标准，评分标准的模糊或缺失影响了在线评估的信度和效度（Gikandi et al.，2011）。 因此，教师应加强评分标准制定和与学生沟通的培训（Xu & Qiu 2020），并提高评分一致性（Cheng & Fox 2017）。

研究还发现，教师具有一定的反馈素养，但反馈互动不足、功能单一、赋能功能缺失。 虽然教师可以利用平台提高反馈效率，但反馈促进学习的方式仍有改进的空间。 此外，只有少数教师利用作业样本来提高学生的反馈素养，大多数教师未能为学生创造对话式反馈环境，未能赋能学生的反馈素养（Han & Xu 2020）。

此外，本研究还暴露了教师在出题过程中的技能盲点。 虽然老师们提到了线上试题的难度、可靠性等问题，但除了改变试题格式外，老师们大多是根据线下经验编写试题。 因此，教师的试题能力是未来评估素养研究的重点和难点。

六线上英语老师，结论

这项研究对教师的在线评估实践和评估素养进行了初步实证研究和理论讨论。 根据研究发现，本文提出了在线评估中教师评估素养的五个新要求：首先，技术素养是在线评估素养的重要组成部分。 尽管教师迫切需要技术培训，但应根据课程特征，评估目标和在线平台功能进行技术培训。 因此，大学和大学的外语教学经理应承担相应的技术培训研究的责任，以提高教师技术培训的有效性。 其次，教师需要根据课程的特征，调整评估任务并阐明评分标准中的构造，分析和修改在线课程目标和评估目标。 教师课程小组应扮演学习社区的角色，合作构建在线评分标准，并向学生充分说明对等级标准及其原因的调整（Xu＆Qiu 2020）。 第三，在线反馈的时间和空间有限，反馈效率可能很低。 教师应使用多种模态反馈方法来增强教师和学生，学生和学生之间的反馈互动，培养学生的反馈素养，并增强学生了解反馈和参与反馈的能力（Han＆Xu 2020）。 第四，为了确保大规模在线考试的公平性，外语教师可以通过反思评估实践中的“道德困境”来改善自己的评估伦理和道德标准，并在特定情况下分析道德规范。 第五，大学和大学中的外语教学经理应团结教师教育者和外语评估专家，以加深对外语教师的在线评估的实践，并通过针对性的基于学校的培训来维护在线评估大学英语教师线上评估实践与评估素养：一项质性研究，并得到平台和机构支持的补充。

（省略参考）

（本文最初发表在“外语教育研究的边界”第3期，2022年）