AI 剽窃检测

在招聘过程中,抄袭破坏了评估的完整性,使得难以准确评估候选人的能力。抄袭检测工具有助于维护公平,营造一个公平竞争的环境,从而作出更好的招聘决策。

代码抄袭的类型

我们遇到三种代码抄袭类型:

  • 在明确禁止的情况下使用 AI 工具。

  • 抄袭来自互联网等其他外部来源的内容。

  • 复制他人在相同考试中使用的代码。

抄袭检测模型类型

标准抄袭检测

标准抄袭检测 默认对所有测试启用。它使用 Moss(软件相似度测量)用于比较候选人的代码与我们数据库中的其他代码。此方法能够有效识别来自外部来源的抄袭或复制的测试用例(如上文代码抄袭类型所述)。然而,它可能会产生误报,具体取决于代码长度和相似度阈值等因素。

高级 AI 抄袭检测

为了应对包括 AI 辅助不端行为在内的三种代码抄袭类型,我们开发了一个先进的机器学习(ML)模型。该模型分析多个因素,例如:

  • 代码编写模式

  • 解决问题所需时间

  • 复制粘贴活动

  • 标签切换行为

ML模型预测可疑行为,并将测试中的候选尝试分类为 "高" 或 "中". 此检测尤其有助于在使用受限时识别像ChatGPT这样的AI工具的使用。

在候选人报告中突出显示被标记的尝试,允许招聘团队审查原因并做出明智的决定。人工监督仍然至关重要,因为机器学习模型目前的整体精确度为 85%,这意味着被标记的会话正确率为 85% 的时间。

注意:AI 抄袭检测功能目前仅支持编程题目。

限制

在评估需要最少努力即可获得满分的问题或解决方案只有极少代码行的情况时,AI 抄袭检测受限。这些情形往往缺乏足够的数据点以实现准确检测。然而,如果大量外部内容被复制粘贴,系统仍会将该响应标记为潜在抄袭。

注意: 鉴于它是机器学习模型,我们遵守其中提到的审计要求 AEDT / NYC AI law.  

为测试启用高级抄袭检测

此功能可以在测试设置中启用。

步骤

  • 点击 设置 在测试中并选择 测试完整性 在 测试管理 部分。

  • 向下滚动至 抄袭 并打开 AI 抄袭 开关。

  • 点击 同意并启用 来自以下弹窗。

7c6722ef-474f-4575-86f8-7df538645a7a.gif

候选人同意

当启用 AI 抄袭检测时,候选人必须在开始测试前同意。

7bf3e75d-b7ec-434b-9965-65858e62a65e (1) (1).png

用于检测的信号

以下是考虑因素的非完整列表:

  • 复制粘贴: 代码的大量片段来自外部来源。

  • 编码模式: 代码的结构相似性和不同的编码风格。

  • 迭代: 在处理分层任务时代码中出现多次迭代。

  • 标签切换: 执行期间切换离活动的测试标签页。

查看标记的抄袭尝试

当考生的测试尝试因抄袭被标记时,它被归类为 \"高\" 或 \"中\" 基于模型预测的置信水平。请按照以下步骤查看这些标记的尝试。

步骤

  1.  导航到候选人列表,并选择已被标记的测试尝试的候选人。

  2. 您可以在候选人概览报告的 表现 选项卡下查看可疑活动。

  3. 要查看有关抄袭信号的更多细节,请点击已标记的问题。

  4. 在问题详情中,按键代码播放器 可让您快速了解为何候选人因抄袭被标记。您可以导航到其编码过程中的相关部分,以查看可能发生的可疑活动。

CodeSimilarity.gif

了解标记的原因

有两个主要类别,候选人的尝试可能被标记:

代码相似性:候选人的代码与一个或多个候选人的提交相似,表明可能存在抄袭。

编码模式:在测试期间通过候选人的击键模式检测到异常行为。这可能涉及:

  • 代码迭代

  • 写作模式或

  • 标签切换实例

编码行为中的子模式: 以下子模式在以下情况下常被检测到,编码模式 引起对候选人行为的担忧:

  • 可疑代码重置:大量先前编写的代码被删除并替换,同时伴有不规则的输入或光标移动。

  • 外部复制粘贴:大量代码直接从外部来源复制。

持续模型改进

HackerRank 的专职机器学习团队通过学习新出现的代码抄袭模式和误分类,持续改进抄袭检测模型。当取得统计显著的改进时,模型的新更新会自动部署。

常见问题

在外部 IDE 而不是 HackerRank 平台上编写代码会触发潜在的作弊标记吗?

如果候选人使用项目(支持离线工作流程,即在自己的 IDE 中编码并将代码推送到 HackerRank 平台),则不会触发作弊标记。

然而,如果候选人在外部 IDE 中解决标准的编码题目,然后将代码复制粘贴到 HackerRank 平台,系统可能会将此行为标记为可疑活动。

相关文章