免费获取学习方案
ARTICLE DETAIL

资讯详情

深耕编程基础知识与建站技术分享的一线实战洞察。

AI 题解没通过别急着重试:先解析输出再跑验证链

AI 题解没通过别急着重试:先解析输出再跑验证链 AI 题解没通过别急着重试先解析输出再跑验证链AI 修题时我更愿意让它给候选 Patch而不是重写整段算法。数组下标这类局部缺陷一旦被改成另一套状态设计验证范围反而扩大补丁必须经过编译、测试和人工复核。先缩小修复目标以“数组越界”为例输入应包含报错位置、最小复现用例、允许修改的文件与范围而不是只给出题目全文。提示词可以明确要求返回 unified diff并说明不得修改函数签名、测试和依赖。模型无法确认的信息应以“不确定”返回而非猜测。目标修复 tests/case_01 的越界错误。 允许修改 solution.py 中报错行附近的索引判断。 禁止新增依赖、改动测试、重写算法结构。 输出仅返回 unified diff无法确认时说明原因。验证链比“自动通过”更重要候选 Patch 至少经过语法解析、变更范围检查、单元测试和受限执行环境。循环层数不是通用的质量指标某些算法本来就需要多层循环。更可靠的规则是限制补丁大小、禁止危险 API、设置 CPU/内存/时间上限并用该题的正确性用例判断结果。Python 示例先解析再执行下面的示例仅演示基础检查subprocess本身不是安全沙箱。处理不可信代码时应使用容器或专用沙箱并由运行时限制网络、文件系统、CPU 和内存。import ast import subprocess import sys def check_syntax(code: str) - None: ast.parse(code) def run_test(command: list[str], timeout: float 2.0) - subprocess.CompletedProcess[str]: return subprocess.run( command, textTrue, capture_outputTrue, timeouttimeout, checkFalse ) def validate_patch(code: str) - tuple[bool, str]: try: check_syntax(code) except SyntaxError as exc: return False, fsyntax error: {exc.msg} result run_test([sys.executable, -m, pytest, -q]) return result.returncode 0, result.stdout result.stderr记录实验而非替实验下结论如果要比较不同提示策略应固定题目集和模型版本记录首次通过率、补丁大小、超时数、引入回归的数量及人工审核成本。报告中应附上样本来源和失败样例。这样得到的结论才是“该条件下的观察”而不是对所有自动修复工具的承诺。
返回列表