ETS 反作弊

除了ETS 自己没有人比我们更了解ETS。

ETS的反作弊措施主要分为以下五个措施。可以说招招致命，但幸运的是你有ELIPS。

| 视线追踪 | 系统监控 | 真人监考 | 回溯复查 | 回溯复查 |

以下内容完全100%独家勘察，文档的创立时间已保存，可以查阅。同行请适当抄袭，不要完全Copy了，我们就光打字也不容易，谢谢！

〰️

以下内容完全100%独家勘察，文档的创立时间已保存，可以查阅。同行请适当抄袭，不要完全Copy了，我们就光打字也不容易，谢谢！ 〰️

“一个可靠的系统，一定是要做完整的逆向工程的”

— 如果你不确定某个考试平台是否靠谱，可以询问他们逆向工程具体原理 (一般都会说保密，因为他们就是二道贩子)

第一招：视线追踪

视线追踪监测时ETS联合ProctorU开发的关于High-stakes Exams的反作弊措施之一。其原理是通过考生电脑的摄像头，结合计算机视觉领域的算法，对考生考生瞳孔进行捕捉，进而通过测算考生面部的俯仰角，得出概略的视线落点。

ELPIS通过对ETS Secure Browser的拆解，得知了ETS为了做到视线追踪而搜集了哪些信息。虽然ETS将实际的视线监测模型部署在云端，但是我们仍然可以通过ETS所搜集的信息了解云端背后的视线监测模型的奥秘。

ETS在pre-check步骤中要求考生将面部对准一个绿色的人形框拍照，以此大致测算出考生与屏幕间的距离。同时，通过调取考生电脑摄像头的视场信息，ETS可以得知该摄像头的视野范围极限以及有无广角，用于校准误差。接下来，依靠摄像头的画面进行实时的CV检测：通过定位面部特征点捕捉瞳孔位移和人脸俯仰角。为了进一步测算视线落点，ETS需要将“电脑摄像头视角”和“人眼视角”做一次仿射变换(Affine transformation)，建立一个新的，以摄像头为原点的齐次极坐标（又名投影坐标/Homogeneous coordinates）。

值得注意的是，单纯通过摄像头实现的视线追踪是存在些许误差的，所以ETS并不能非常准确的把考生的视线落点定位出来。ETS采取的策略是，将考生的屏幕分为8个区块，即使无法测算出视线的准确落点，但是足以测算出考生的视线落在哪个区块内。如果考生长时间注视着没有题目的区块，即便考生没有Looking Off Screen，ETS也会认为该考生有作弊嫌疑。

第二招：系统监控

考试存取期间内，ETS会持续的监控和搜集考生电脑运行时（Runtime）信息。简单的说，即监控计算机内的一切活动。包括但不限于：磁盘读写，网络上下行流量，内存占用，CPU占用，堆栈dump信息，系统函数调用，DLL加载，活跃进程信息，USB设备信息，驱动信息，等等。其中一部分信息会被实时的解读和分析，而剩下的信息则会被上传到ETS的数据库做进一步的调查，并保留两年的时间。

一般情况下，保留至服务器的信息不会被深入调查。但如果考生被review，ETS则会把所有考试相关数据转交至OTI部门，然后组织专家评审每一个case。这也是使用远程保分的考生难过的坎：有可能考试中甚至复查后并没有查到远程木马的踪迹，但是考生因其他原因被怀疑作弊，所以OTI启动了详尽的调查程序，这才导致远控木马暴露。ELPIS把这种“详尽的调查”称为“强检测”，技术实力不过关的远程木马软件，几乎无法通过强检测。

在考试期间，还有一种类似运动员飞行检查的反作弊措施：监考可以随时呼叫技术人员对觉得可疑的学生的电脑当场做检测，俗称“尿检”。细心的考生可能会注意到，考试结束时的考官和开始时的考官不是同一个人，并且在和考官的聊天对话框上显示考官曾在考试中呼叫过技术人员（technician）对考生的电脑做检测。“尿检”主要检查了重要的系统文件是否被篡改，或考试软件是否受到干扰。相当一部分远程木马无法通过“尿检”，被检测后考试软件会关闭并且提示“Due to security reasons, your exam’s integrity has been breached.”而后终止考试，取消成绩。或当场看似平稳的完成考试，实则会被标记，在后续复查中取消成绩。

第三招：真人监考

对抗魔法的，还得是魔法。通过实时的真人监考，ETS可以更加准确的判断学生是否在考试期间内受到协助。考试期间内，监考人员会通过摄像头不间断的检查考生状态，并对不规范行为做出记录，并在考试结束后生成考生的Incident Report。在Academic Integrity目录中，有18种监考官可能给出的flag，分别为：

  • Deliberate Disconnection

  • Did Not Erase Whiteboard

  • Disconnection No Reconnection

  • Imposter Test-Taker

  • Looking Off Screen

  • Out of Camera View

  • Person In Room

  • Reading/Speaking Aloud

  • Copying Exam Content

  • ID Not Presented

  • Unacceptable ID

  • Unpermitted Break

  • Using Unpermitted Resource

  • Unpermitted Virtual Assistance

  • Failed to Follow Instructions

  • Unpermitted Testing Area

  • Extended Time Loss

  • Verbal Exam - Security Threat

以上任何一flag都会导致成绩under review或cancel。真人监考给出flag的力度会比AI模型给出的flag力度大的多。ELPIS的考前培训人员都在疫情期间在北美高校做TA，接受过ProctorU的监考培训，是ProctorU认可的考官。

第四招：回溯复查

ETS考试的承办商ProctorU（隶属于Meazure Learning）在每场考试结束后都会生成Incident Report供分析人员查阅。如下图所示，考生一切有作弊嫌疑的行为将会上报至ETS，再由ETS OTI部门负责判断有无违规现象。

OTI部门的判断依据主要有二：

  1. 通过经验丰富的监考官根据考试录像判断

  2. 通过由已经确认作弊的考生的录像训练出的大模型进行判断：ETS将已经确认作弊的考生的录像，作为素材，喂入人工智能模型中，用以训练可以在考试中监测某些作弊行为的检测模型。比如托福口语是“临场发挥”的，还是“照着读的”，或者是“提前准备”的；GRE的作文是“现场构思”的，还是“照着打的”。

有些时候，明明考生是正常考自己考试，但也会出现成绩莫名其妙被cancel的现象。原因是一些个人的习惯被误判成有作弊嫌疑。

对于考生计算机的回溯复查：

通过ETS Secure Browser和LogMeIn（与考官沟通的软件）监测和上报考生计算机的行为，并留档。假设考生使用了某些劣质或不安全的远程软件，即便当场没有被检测，这些软件的运行信息也会一并被上传至ETS数据库。每当反作弊技术升级后，ETS会抽取数据库中的考生电脑数据进行回溯性复查，有可能时隔很久依旧取消成绩。

第五招：数据分析

ETS OTI部门的复查，在数据分析方面主要分为三种：

  • 考生在本次考试中的行为表现是否和自己之前的行为表现相符

  • 考生在本次考试中的错题和用时是否与平均值有较大出入

  • 考生所参与的场次可能是业内称为“机经场”的场次，从而被无差别review或cancel

举一个简略的例子：假设考生之前考过TOEFL，根据之前的答题记录，该生阅读题的平均花费时长是85秒，正确率是67%。而本次考试阅读题的平均花费时长减少到60秒，正确率提高到90%。如果两次考试之间相隔不久，则明显是不正常的提分速度。自然的，会触发ETS的review机制。

以上只是一个简单化的实例用于帮助理解，ETS真正的复查机制明显要比其复杂得多。除了时长和正确率，还会将所有题目以难度（1～5分）和类型分门别类再一一统计。

额外的，将考生的统计数据与平均数据做对比也是ETS复查的常用手法之一。考生在考试中是较难准确判断一道题目的难度分，即使拿到机构给的答案，花多久把答案填上去就成了一个问题。如果遇到的是难题，但是考生只花费20秒选择答案，或者遇到简单题，但考生却花费1-2分钟。这明显是不正常的用时倒挂情况。同样的，多次类似行为也会触发ETS的review。