为什么需要 Harness
直接把模型接入终端往往会带来权限过大、输出不可追踪和失败难以复现的问题。Harness 的价值是把模型、插件、权限和验收条件组织成一条可审计的流程。
建立第一个安全工作流
- 为项目建立独立工作目录,并明确模型可以读取哪些文件。
- 先接入搜索代码、读取文件和生成报告等只读工具。
- 为每个工具定义固定输入、输出和错误格式。
- 给任务设置超时、最大输出长度和重试次数。
- 通过几次成功运行后,再增加写入文件等能力。
权限与日志
插件只应获得完成任务所需的最小权限。路径、命令参数和网络地址要做白名单校验;日志记录任务 ID、步骤和错误类型即可,不要记录密钥、Cookie 或完整环境变量。
上线前验收
- 人为确认所有写入、删除和执行命令操作。
- 失败时可以回滚到任务开始前的状态。
- 同一输入能够复现相近结果。
- 敏感文件不会被模型或插件读取。
实际任务示例
可以从“扫描项目并生成升级建议”开始:先允许 Harness 读取目录和搜索代码,要求输出带文件路径的报告;人工检查报告后,再单独授权修改一个测试文件。每一步都保留差异记录,确认无误后再合并。
上线前检查
测试无权限访问的目录、错误参数、超时和网络断开场景,确认插件会返回可理解的错误而不是继续执行。涉及删除、发布或支付的操作必须保留人工确认。