AI 产品

Superlinked开源SIE，自托管大语言模型成本降低约75%

首次出现 8月9日 00:05·最近更新 8月9日 00:05

Superlinked公司开源了Superlinked Inference Engine (SIE)，这是一个Apache 2.0许可的服务器，可通过单一API运行超过85个模型。传统自托管大语言模型采用每个模型一个服务器的方式，导致GPU内存闲置时仍计费，成本高昂。SIE通过动态加载和卸载模型，根据流量管理资源，减少了闲置成本，使得总费用降低约75%。该技术优化了代理管道，覆盖嵌入、重排序、提取和生成等任务，但具体性能和适用性需进一步验证。

多来源证据

Twitter/X AI List·twitter·8月6日 16:20

重大突破！自托管大语言模型成本降低约75%：

重大突破！自托管大语言模型成本降低约75%：大多数代理管道现在运行4-5个小模型：一个用于检索的嵌入模型、一个用于精度的重排序器、一个用于实体的提取器，以及一个用于常规生成的小型大语言模型。标准服务方式是每个模型一个服务器。vLLM用于大语言模型，TEI用于嵌入模型，其他模型使用自定义FastAPI包装器。每个服务器保留自己的GPU内存切片，无论流量是否到达都保持占用。GPU按小时计费，因此空闲时间与忙碌时间成本相同。这就是为什么切换到小型模型很少能减少账单。成本从来不在于调用，而在于服务器。结构性修复是从一个进程中为每个模型服务，根据流量加载和卸载模型。Superlinked刚刚开源了这个技

事件时间线

8月6日 16:20
Twitter/X AI List
重大突破！自托管大语言模型成本降低约75%：