AI任务优化讨论：代理层模型路由优于网关层

如果您想优化任何端到端任务的精度/成本，在代理层而非网关层优化模型路由是有意义的。

如果您想优化任何端到端任务的精度/成本，在代理层而非网关层优化模型路由是有意义的。 每个任务都由模型混合和代理 harness 的组合解决。每个任务需要不同的模型混合（+harness逻辑）以达到精度和成本的帕累托前沿。 * 如果您只在网关层优化模型混合，您会失去在 harness 中编码的更广泛上下文，只优化在 LLM 完成层。 * 如果您在 harness 层优化模型混合，您可以预选“最优”模型选择并在代理循环中进行。 对于任何给定任务，模型和 harness 可能是共同优化的，因此模型混合只能存在于这种特定的 harness 形状中，反之亦然。