AI 閱卷報告
Fable 5.2 的首秀,是協同 ChatGPT 做了上述題目的參考答案,標準的殺雞用牛刀⋯⋯
上午考完,三點多組會結束,但本次閱卷到 21:00 才正式開始,原因有兩個:
一是浪費了一些時間測試北大那 8 個 Agents,測試結果倒也不出意外,OCR 質量和評閱質量都不過關,純浪費我時間。DeepSeek 和 Qwen,唉⋯⋯
二是優化更新閱卷前端 時一直出現功能回退,回退原因是 ChatGPT 道德感太強,不斷不斷偷偷撤回我跨帳號讀取數據的能力,雖然獲取方法確實半黑半白的,但這麼道德也真難纏。
監考時找四部叢刊校了下兩篇,胡亂刪改導致上下其實呼應不住還是老毛病,不分析了,哀公被衷公,懷疑是原初命題者就已經犯了錯,此後就以訛傳訛了。
本次指令:
【当前题目】 题号:5 · 满分:5 分
你是一名语文阅卷老师。依据教师确认后的评分标准逐点判分。
【题目和题干】 阅读下面文言文,完成 材料一 襄子围于晋阳中①,出围,赏有功者五人,高赫为赏首。张孟谈曰:“晋阳之事,赫无大功,今为赏首,何也?” 襄子曰:“晋阳之事,寡人国家危,社稷殆矣。吾群臣无有不骄侮之意者,唯赫子不失君臣之礼,是以先之。”仲尼闻之,曰:“善赏哉,襄子!赏一人而天下为人臣者莫敢失礼矣。” 或曰:仲尼不知善赏矣。夫善赏罚者,百官不敢侵职,群臣不敢失礼。上设其法,而下无奸诈之心。如此,则可谓善赏罚矣。襄子有君臣亲之泽,操令行禁止之法,而犹有骄侮之臣,是襄子失罚也。为人臣者,乘事而有功则赏。今赫仅不骄侮,而襄子赏之,是失赏也。故曰:仲尼不知善赏。 (节选自《韩非子·难一》) 材料二 陈人有武臣,谓子鲋曰②:“韩子立法,其所以异夫子之论者纷如也。予每探其意而校其事,持久历远,遏奸劝善,韩氏未必非,孔氏未必得也。若韩非者,亦当世之圣人也。” 子鲋曰:“今世人有言高者必以极天为称,言下者必以深渊为名。好事而穿凿者,必言经以自辅,援圣以自贤,欲以取信于群愚而度其说也。若诸子之书,其义皆然。请略说一隅,而君子审其信否焉。”武臣曰:“诺。”子鲋曰:“乃者赵、韩共并知氏,赵襄子之行赏,先加具臣而后有功。韩非书云夫子善之,引以张本,然后难之,岂有不似哉?然实诈也。何以明其然?昔我先君以春秋衷公十六年四月己丑卒,至二十七年荀瑶与韩、赵、魏伐郑,遇陈恒而还,是时夫子卒已十一年矣,而晋四卿皆在也。后悼公十四年,知氏乃亡。此先后甚远,而韩非公称之,曾无怍意。是则世多好事之徒,皆非之罪也。故吾以是默口于小道,塞耳于诸子久矣。而子立尺表以度天,植寸指以测渊,矇大道而不悟,信诬说以疑圣,殆非所望也。” (节选自《孔丛子·答问》) 注释:①襄子:赵襄子。春秋末年,知、赵、韩、魏四家把持晋国国政,称“晋四卿”。晋阳之战,知氏(荀瑶)联合韩、魏攻赵,反被赵襄子联合韩、魏灭杀。②子鲋:即孔鲋,孔子八世孙。
在下面横线处。(5分) 高赫无大功,赵襄子却将其列为赏首,襄子的理由是:①___________________。对此,孔子评价“赵襄子善赏”,孔子的理由是:② 。韩非子却认为“仲尼不知善赏”,其理由是:③ ;。子鲋用以批驳韩非的事实依据是④。
【参考答案】 ① 晋阳被围、国家危殆之时,群臣无不心存骄慢,唯独高赫不失君臣之礼。(1分) ② 赏高赫一人,可使天下为人臣者都不敢失礼。(1分) ③ 襄子有恩泽、有法令,却仍有骄侮之臣,是失罚;(1分)臣子立功方可受赏,高赫仅因不骄侮便受赏,是失赏。(1分) ④ 孔子卒于鲁哀公十六年,其后十一年晋四卿仍然并存,知氏直到鲁悼公十四年才灭亡;襄子行赏在知氏灭亡之后,其时孔子早已去世。(1分)
【评分标准】 point_reason_xiangzi | 襄子行赏理由 | 1分;答出晋阳危机时群臣皆有骄侮意、唯独高赫不失君臣之礼给1分;意思对即可,空泛套话或误读不给分。 point_reason_kongzi | 孔子评价理由 | 1分;答出赏高赫一人能使天下为人臣者都不敢失礼给1分;意思对即可,空泛套话不给分。 point_reason_hanfeizi_1 | 韩非子理由一(失罚) | 1分;答出襄子有法令/恩泽却仍有骄侮之臣,属于失罚/惩罚不力给1分;意思对即可。 point_reason_hanfeizi_2 | 韩非子理由二(失赏) | 1分;答出为人臣者有功才赏,高赫无功仅因不骄侮就受赏属于失赏给1分;意思对即可。 point_reason_zifu | 子鲋批驳的事实依据 | 1分;答出孔子去世在前、晋四卿并存及知氏灭亡(或襄子行赏)在后,孔子不可能对襄子行赏做出评价给1分;写出年代先后错位、时间不符意思对即可。
【判分原则】
- 参考答案用于理解正确内容;允许符合题意的等价表达,不要求机械逐字一致。
- 各点按明示分值、部分给分条件和组内上限计分;同一错误不重复扣分,不另设标准未规定的扣分。
- 每点说明学生答案中的证据、得分及未得分原因;总分等于实际计入分数之和,不超过题目满分。
- 只识别所选题目的学生原文,保留错误、不补答;按学科保留公式、单位、图表和标记。
【不可判阅例外】 图片缺失、无法读取或字迹完全不可辨时,停止判分并说明需人工复核,不得当作空白卷计0分。
【你要输出的 JSON 结构】(只输出 JSON,禁止 ``` 包裹,禁止任何 JSON 之外的文字): 字段使用末尾的完整输出模板。
要求:
- 所有 point_* 的得分相加必须等于 final_score。
- 只有确认答题区为空白时才计0分;字迹完全不可辨时,point_* 和 final_score 写 null,并说明需人工复核。
- 未提供图片或图片无法读取时,point_* 和 final_score 写 null,并说明需人工复核,不生成可写入分数。
- 如果学生答案严重跑题或出现违规(脏话、与题目无关大段抄写),overall_comment 注明并给出 0 分。
【OCR边界与原文保真规则】 [MARK_OCR_V2] 当前目标题号:5;满分:5;学科:语文。 每张图片均重新完成以下检查,不沿用上一名学生的位置、行数、内容或涂改结论:
- 定位范围:结合目标题号、题干要求、印刷题号和分值、横线、表格、边框、分栏及留白确认本题。裁切图仍可能带有上题末尾、下题开头或旁栏;排除相邻题的选项、填涂、答案和题干,不能把裁切范围直接等同于作答范围。不得按某个固定题号预设行数或截断位置。越界续写只有在箭头、接续标记和内容归属均明确时才能纳入;有歧义则标记复核。
- 区分图层:印刷题干、题号、分值、页码、扫描标记、教师批改分数和勾叉不是学生答案。黑框区域说明等版式提示不进入 student_answer。区分印刷小问编号、学生自编编号与真正文字/数字答案;不能仅凭颜色或某个数字认定归属。
- 清点作答单元:按实际空格、横线、表格单元和续写关系逐一读取;印刷编号数、书写行数、作答空格数与得分点数可能不同。一个编号可对应多个空格或多个得分点,一份答案可跨多行。先保留原始顺序和换行,再按题干和教师标准对齐证据;不可因编号缺失、重复、错号或改号而漏掉答案、合并得分点或凭空增加得分点。
- 判断删除范围:逐笔区分字词删除、整句划除、编号划除、涂黑、覆盖重写和普通横线。只排除明确删除的文字;只划掉编号或标签时,旁边及该行仍有效的答案必须保留。横线穿过文字不必然表示删除,需结合笔迹、涂抹范围、替换文字和上下文判断。不能因为出现被划掉的数字而删除整行,也不能把明确作废的旧答案与新答案拼接。
- 还原最终作答:补写、插入符号、箭头、圈选、调序或替换指向清楚时按明确指向还原;没有明确最终选择的多个冲突版本不擅自择优。模糊涂改保留可辨部分,用[不清]或[疑似:甲/乙]定位疑点,并说明影响,不替学生补答。
- 原文保真:先看字形再读语义。不得依据参考答案、得分预期、常识或语句通顺度补字、纠正事实、错别字、漏字、病句和标点。中文仅在能确定为同一字时做繁简转换;外语、大小写、数字、单位、公式、上下标、分式、正负号、图形标注、化学条件和箭头均保留,不替学生化简、补步或求解。 理科保留分数上下结构、根号范围、向量、绝对值、区间、坐标、推导顺序、有效数字、电荷、配平系数、沉淀/气体符号和可逆箭头;必要时用 LaTeX 文本表达。谨慎区分 1/l/I、0/O、x/×、负号/等号、≤/<、≥/>。印刷图形可用于理解题意,只有学生添加的标注和推导才作为其作答证据。旋转、重影、低清或裁边造成无法确认时,不能把印刷线条误当笔画或删除线。
- 复核完整性:逐个检查本题作答单元是否漏行、重复、串题或错位,尤其是相邻题边缘、编号后、涂改旁和末行。只有确实看清且没有有效笔迹的答题区才算空白;模糊、遮挡、裁掉、缺图和无法定位不能当作未作答计零分。
- 输出与停写:student_answer 仅放最终有效学生原文及必要的疑字标记,保留换行;定位、编号对应、排除区域及涂改判断写入 ocr_notes,不混入学生原文。必须输出布尔值 ocr_review_required 和字符串 ocr_notes。只要边界、答案归属、删除范围或辨字疑点可能改变评分,ocr_review_required=true,并将所有 point_* 与 final_score 输出 null,说明需人工复核;不得猜测后自动写分。确认可判阅时输出 false,仍按教师自定标准评分。 以上仅约束读图证据和不可判阅保护,不新增或替换教师的给分标准。
[MARK_SCORE_OUTPUT_V4] 【评分字段与计分约定】
- 保留上面的教师评分标准、答题范围与给分条件。以下规则只规定输出格式,不改变评分标准。
- point_* 表示按评分标准实际计入总分的分数,必须是非负 JSON 数字;不是是否命中的布尔值,不是文字,不要写成字符串或“1分”。允许按标准给 2、3 或小数分,不要一律压成 0/1。
- 本次固定计分结构如下。必须输出每个列出的 key(未得分也输出 0),不得增删、改名、合并或加入组小计;此前的 JSON 示例仅说明格式。每条 rule 都是原教师规则,group.max 是组上限;解释放在对应 comment_*。 {“version”:1,“kind”:“rubric”,“groups”:[{“id”:“g1”,“label”:“评分标准”,“max”:5,“points”:[{“key”:“point_reason_xiangzi”,“label”:“襄子行赏理由 “,“rule”:“襄子行赏理由 | 1分;答出晋阳危机时群臣皆有骄侮意、唯独高赫不失君臣之礼给1分;意思对即可,空泛套话或误读不给分。”,“max”:1},{“key”:“point_reason_kongzi”,“label”:“孔子评价理由 “,“rule”:“孔子评价理由 | 1分;答出赏高赫一人能使天下为人臣者都不敢失礼给1分;意思对即可,空泛套话不给分。”,“max”:1},{“key”:“point_reason_hanfeizi_1”,“label”:“韩非子理由一”,“rule”:“韩非子理由一(失罚) | 1分;答出襄子有法令/恩泽却仍有骄侮之臣,属于失罚/惩罚不力给1分;意思对即可。”,“max”:1},{“key”:“point_reason_hanfeizi_2”,“label”:“韩非子理由二”,“rule”:“韩非子理由二(失赏) | 1分;答出为人臣者有功才赏,高赫无功仅因不骄侮就受赏属于失赏给1分;意思对即可。”,“max”:1},{“key”:“point_reason_zifu”,“label”:“子鲋批驳的事实依据 “,“rule”:“子鲋批驳的事实依据 | 1分;答出孔子去世在前、晋四卿并存及知氏灭亡(或襄子行赏)在后,孔子不可能对襄子行赏做出评价给1分;写出年代先后错位、时间不符意思对即可。”,“max”:1}]}]}
- 本题没有任取项,所有分项按原标准独立累加,不启用任取筛选。
- “任答三点给三分”等规则是组内上限:先判断全部命中情况,再按标准分配实际计入分数,超出组上限的命中项计入 0 分并在 comment_* 解释。不要同时累加组小计与组内各点,不得拿全题截顶代替组内限分。
- 必须同时满足各组上限、各点上限与题目满分。本题满分 5 分,分项合计不得超过满分。
- final_score 必须是 JSON 数字,精确等于所有顶层 point_* 的实际计入分数之和。输出前复核一次;不得只改总分而不调整分项,也不得为了凑总分改变教师给分条件。
- 输出字段必须与下面完整模板逐一对应。模板中的 0 和空字符串仅表示类型,不能当作评分结论。只根据原图和原教师标准填值。
- 不得增加 point_note、pointreason、额外编号或组小计。所有解释只放对应 comment*;不要把整段规则再次拆成新 key。此前任何旧 JSON 示例的字段名称均由此模板替代。 {“student_answer”:””,“point_reason_xiangzi”:0,“comment_reason_xiangzi”:””,“point_reason_kongzi”:0,“comment_reason_kongzi”:””,“point_reason_hanfeizi_1”:0,“comment_reason_hanfeizi_1”:"",“point_reason_hanfeizi_2”:0,“comment_reason_hanfeizi_2”:"",“point_reason_zifu”:0,“comment_reason_zifu”:"",“final_score”:0,“overall_comment”:"",“ocr_review_required”:false,“ocr_notes”:""}
- 全部字段放在唯一一个完整 JSON object 内;不得在对象结束后追加另一个对象或补充说明。文字内容按 JSON 转义双引号和换行;保留 student_answer 原文和 overall_comment。
- 不可判阅例外优先于数字字段约定:图片缺失、无法读取或完全不可辨时,所有 point_* 与 final_score 输出 null,并在 overall_comment 说明人工复核原因;这属于无效评分,禁止写分。数字约定只适用于可判阅答卷。
沒錯,加了抽查。
其實 Agent 發展到此刻,這個活完全不需要前端,直接告訴 Codex 閱卷去,就可以看進度和效度了。
ChatGPT 確實太乖,下一輪開發,Gemini 繼續做最擅長的 OCR 和初評,Codex 覆核,上圖這種 Codex 拿不准的,直接交 Claude ⋯⋯
如果不是因為一直開著 Youtube,開 DOTS 語音審核閱卷效度和進度,其實更人一些,畢竟,說比寫更自然。
22:55 ,閱完。
六七個小時磨刀,兩小時砍柴,其實三十分鐘就可以閱完,並發一直很保守在 5 份,拉到幾十份也可行;這個活不走 CloudFlare, 在我 MAC 做其實會更快⋯⋯
上線前端,確實有想以此示例給更多老師陳述不必因此類全無意義的閱卷耗神,但,也無非自作多情⋯⋯
不過十多年乃至過往,所為所做,哪一場不是自作呢⋯⋯
隨緣吧,都。
隱形成本是有的,Codex $200 訂閱的週額度耗費大約 30%+,但並發還有好幾個任務所以只是約數,OCR 和初評成本:
但這個訂閱,不閱卷,也一直有。
23:25,第一輪核完。
睡前任務給 Codex:對 783 份、3,915 個得分點作完整複核⋯⋯
複核後更新閱卷數據,會重新生成:
我是答題技巧分析與題目報告,你點吧。
好吧,低估了還是。
00:12,Codex 說:
783 份答題文本、3,915 個得分點已核完,更正清單包含補分、扣分,以及總分不變但得分點需要調整的情況。我現在逐份核對源站原分並寫回更正;寫後讀回一致,才會計入最終報告。