文章介绍了Thalamus平台提供的Cortex核心实习成绩和成绩单标准化功能，旨在帮助医学院管理实习生的评分和成绩单处理，优化实习管理流程。

文章主要内容重述：

标题：Cortex核心实习成绩与成绩单标准化 | Thalamus
发布时间：2025年10月13日

Thalamus作为一家由医生创立的组织，针对Cortex核心实习成绩单标准化功能在住院医师招聘季中收到的反馈进行了公开说明。以下是核心内容：

1. 问题背景

   • 少数用户报告Cortex平台自动提取的成绩数据存在误差，但原始成绩单和申请文件始终准确无误。
   • 问题确认后，团队已立即修正提取结果，并向相关院校提供解释和指导。

2. 工具功能说明

   • 数据完整性：Cortex完整保留原始成绩单、MSPE（医学生表现评估）等文件的未修改版本。
   • 自动化处理：通过OCR（光学字符识别）和NLP（自然语言处理）技术解析成绩数据，生成可视化报告（如百分位分布图），但仅用于参考，不影响筛选算法。
   • 设计原则：禁止基于提取成绩进行自动筛选或排序，平台内明确提示需核对原始文件。

3. 用户建议

   • 项目方：应以原始成绩单和MSPE为准，可使用“隐藏成绩”功能避免偏见。
   • 申请者：无需主动联系项目方，官方文件已完整呈现。
   • 医学院：协助优化复杂评分系统的映射规则，并引导学生减少焦虑。

4. 承诺与改进

   • Thalamus强调该功能旨在辅助综合评估，未来将通过更多验证持续优化工具。
   • 创始人Jason Reminick表示，团队将保持透明沟通，推动招聘流程的公平与高效。

相关链接：
- 成绩单标准化工具方法论

（注：原文中的导航菜单、产品推广及重复性内容已删减，保留核心声明与操作指南。）

评论内容总结：

1. 对AI提取成绩准确性的担忧

   • 主要观点：使用LLM（如“GPT-5o-mini”）从非标准化PDF中提取医学成绩存在严重问题，尤其是“幻觉”导致错误（如虚构“不及格”成绩）。
   • 关键引用：
     • “Some programs have noticed there is a discrepancy between extracted vs reported grades (often in the direction of hallucinating ‘fails’).”
     • “Using a mini model for this seems grossly irresponsible... guaranteed to get this sort of thing happening.”（评论9）

2. 对模型名称和技术可靠性的质疑

   • 主要观点：评论者指出“GPT-5o-mini”是虚构名称，质疑技术文档的严谨性。
   • 关键引用：
     • “There is no such thing as GPT-5o-mini... Concerning that the methodology seems to repeat the same error.”（评论3）
     • “The irony is sweeeeet... Not only did the AI hallucinate the applicant grade, but also the model name!”（评论8）

3. 关于“幻觉”术语的争议

   • 主要观点：部分人认为“幻觉”一词不准确，应称为“生成错误”，因模型本质是概率生成。
   • 关键引用：
     • “LLM can’t hallucinate... Everywhere you see word hallucinate... it should be replaced with generate.”（评论12）
     • “It comes across like the model did something wrong. It did not, as factually wrong outputs happen per design.”（评论2）

4. 对人工验证必要性的讨论

   • 主要观点：工具若需人工核验，则失去效率意义；建议结合截图辅助或分阶段验证。
   • 关键引用：
     • “If they’re doing that, why use the tool at all? Maybe... show a screenshot for a human to interpret.”（评论5）
     • “You really have to double check when researching information that really matters.”（评论6）

5. 替代方案与技术改进建议

   • 主要观点：传统文本解析或更高级模型（如GPT-5-pro、VLMs）可能更可靠；需多模型交叉验证。
   • 关键引用：
     • “Why is GPT being used in this scenario? Text parsing has been mastered long before AI.”（评论10）
     • “Using both HTML and Markdown as an LLM input format... VLMs excel at visually interpreting the long tail.”（评论14）

6. 对申请人影响的关切

   • 主要观点：系统错误加剧了医学实习匹配过程的压力，可能损害申请人利益。
   • 关键引用：
     • “Residency match is stressful as it is... adding systems like these just make the experience even worse.”（评论7）

总结：

评论普遍批评LLM在关键场景（如成绩提取）中的不可靠性，尤其针对模型选择、技术术语和验证流程。部分人认为传统方法或更严格的技术方案（如多模型验证）更合适，同时强调人工核验的必要性与局限性。争议焦点还包括“幻觉”的表述是否合理，以及错误对申请人的潜在影响。