开发工具
大语言模型体积是否随知识库增长而持续增大?
用户在V2EX平台讨论了一个关于大语言模型(LLM)的理论问题。讨论指出,随着新模型不断发布并标记知识库的更新时间点,模型的知识库似乎持续累积。用户提问,在不考虑通过剪枝等方式降低模型性能的前提下,LLM的体积是否会只增不减。讨论也提及,未来可能出现颠覆现有Transformer架构的新理论,这或许能大幅压缩模型体量。目前这属于用户基于当前技术趋势的推测性讨论,并非已确认的技术发展路径。
多来源证据
事件时间线
- V2EX AI 用户与重大信号随着知识库的增长, LLM 理论上体积是不是只会越来越大?