AI 产品

开源项目aimock旨在破解大模型API测试成本困局

首次出现 8月18日 03:30·最近更新 8月18日 03:30

根据社交媒体讨论，开发者常通过调用本地模拟服务器来避免在测试中支付高昂的大模型API费用，但模拟的固定响应会导致测试与生产环境脱节。为解决此问题，CopilotKit团队开源了aimock项目。该项目方案的核心是每日在CI中向真实API发送少量请求，同时向模拟服务器发送相同请求，并进行比对验证。这旨在以可控的成本动态更新模拟响应，确保测试的有效性。该方案目前处于讨论阶段，旨在解决行业普遍存在的测试成本与准确性平衡难题。

多来源证据

Twitter/X AI List·twitter·8月17日 20:49

Anthropic不会喜欢这个开源仓库，它将为LLM提供商节省大量资金

Anthropic不会喜欢这个开源仓库。它将为LLM提供商节省大量资金。如今，每个AI应用的CI运行都会向OpenAI或Anthropic等提供商发送真实请求。与任何其他LLM调用一样，这些请求也按实际API费率计费。因此，对于提交量大的团队，这会累积成一笔可观的API开销。开发者常用的一种变通方法是不调用LLM API，而是让测试调用一个讲相同API协议的假本地服务器并返回一个虚拟响应。但问题是，这个虚拟响应是基于提供商上次返回的保存数据副本，而提供商会不断增加新字段和改变类型。因此，测试会在一个已过时的Schema上持续通过，而真正的集成在生产环境中却会出问题。现在，@CopilotKit

事件时间线

8月17日 20:49
Twitter/X AI List
Anthropic不会喜欢这个开源仓库，它将为LLM提供商节省大量资金