构建一个不仅能自信地产生幻觉，而且实际上能编写安全、可靠代码的人工智能代理是一项巨大的挑战。当你希望完全在本地运行该代理，而不将你的专有代码发送到闭源应用程序接口时，这一挑战变得更为艰巨。
这正是我构建 Mitii 的原因，这是一款人工智能编程助手，拥有独特的多模式架构，旨在赋予开发者绝对的控制权。
为了验证这种架构的实际效果，我最近对 Mitii 进行了一项严苛的手动基准测试，其中包括 515 个不同的任务，范围从简单的错误修复到对抗性安全注入。在这次严酷的测试中，我使用通过 Ollama 在本地运行的 qwen3-coder:30b 为 Mitii 提供动力。
以下是对该架构及结果的深入探讨。
设置：完全本地化执行
- 代理框架： Mitii
-
模型：
qwen3-coder:30b - 运行时环境： Ollama（兼容 OpenAI 的提供商）
- 每个任务的平均令牌数： 9,329
- 处理的总令牌数： 约 480 万
架构：三种工作方式
Mitii 不会强迫你采用单一的交互方式。其软件开发工具包提供了不同的模式来处理不同级别的复杂性：
- 代理模式： 这是标准的、基本的提示与响应循环，专为快速任务和即时执行而设计。
- 计划模式： 此模式将高层战略推理与底层执行解耦。这使得代理能够可靠地处理复杂任务，而不会陷入困惑或无限循环。
- 询问模式： 这是一种安全的协作模式，代理会暂停并请求确认，而不是擅自执行任务。在更改任何代码之前，代理会自动生成影响分析并明确呈现给用户。
500+ 任务严酷测试：基准测试结果
我们在所有三种模式下，让 Mitii 经历了一套全面的真实场景测试。任务范围从修复损坏的 Next.js 路由到处理提示注入安全攻击。
最终得分： 515 个任务中有 400 个通过（78%）。
以下是使用 Qwen3-Coder 模型时，不同模式在不同难度级别下的表现细分：
| 模式 | 严重程度 | 通过数 | 总数 | 胜率 |
|---|---|---|---|---|
| 代理 | 简单 | 72 | 82 | 88% |
| 代理 | 困难 | 66 | 81 | 81% |
| 代理 | 中等 | 65 | 92 | 71% |
| 询问 | 简单 | 26 | 37 | 70% |
| 询问 | 困难 | 27 | 31 | 87% |
| 询问 | 中等 | 21 | 37 | 57% |
| 计划 | 简单 | 45 | 52 | 87% |
| 计划 | 困难 | 35 | 46 | 76% |
| 计划 | 中等 | 43 | 57 | 75% |
关键要点
1. 本地大型语言模型已具备用于代理的生产就绪能力
使用一个 300 亿参数的本地模型实现了近 80% 的总体通过率，这证明你无需依赖庞大的云服务提供商即可获得顶级表现
免责声明：本文内容来自互联网，该文观点不代表本站观点。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，请到页面底部单击反馈，一经查实，本站将立刻删除。
