文章
训练即压缩，部署即遗忘：LLM后部署需参数级持续学习
本文论证大语言模型需要持续学习能力。当前LLM存在「永久现在」的缺陷——训练后知识冻结在参数中，只能依靠外部脚手架（聊天历史、检索系统）补偿，无法真正内化新经验。LLM本质是压缩算法，训练时将互联网压缩进参数，这种有损压缩正是其强大的根源，但部署后我们阻止了这种压缩机制改用外部记忆。上下文学习虽有效，但受限于：1)长任务中上下文膨胀导致20-100步后失连贯；2)无法表达高维隐性知识（如医学影像纹理、音频特征）；3)仅能回忆而非真正学习。持续学习将压缩能力扩展到部署后，让模型直接更新参数而非依赖外部检索。
核心要点
- LLM存在类似《记忆碎片》主角的「永久现在」困境：知识冻结在参数中，无法形成新记忆
- 上下文学习(ICL)是当前主流方案，通过增加上下文窗口解决长程依赖，但仍是瞬态的表层压缩
- LLM本质是有损压缩算法，压缩使模型发现结构、泛化推广；部署后阻止参数级压缩是核心矛盾
- 上下文学习无法编码高维隐性知识（如医学影像纹理特征），这类知识只能存在于参数权重中
- Ilya Sutskever观点：人类并非AGI，依赖持续学习积累知识；部署后的学习试错过程不可跳过
关键判断
- LLM存在‘永久现在’缺陷，训练后知识被冻结在参数中，无法在部署后形成新记忆或更新参数，只能依赖外部脚手架补偿，但这些外部手段无法让模型真正内化新信息。
- 上下文学习（ICL）虽然是当前主流的补救方式，但本质上仍是瞬态、表层的压缩；它在上下文窗口受限、无法编码高维隐性知识、以及缺乏真正学习能力方面存在根本局限。
- LLM本质是有损压缩算法，训练阶段将互联网压缩进参数，压缩产生的结构化泛化是其强大能力的根源；部署后阻止参数级压缩是核心矛盾所在。
- 真正的学习需要压缩机制将新经验压缩进模型权重，而非仅依赖外部检索或上下文记忆；这要求模型能够在部署后继续压缩和更新参数。
- Ilya Sutskever指出，预训练的模型在某些方面已超过人类基础技能，但人类仍依赖持续学习积累知识，部署本身必须包含学习、试错的过程，不能仅是交付完成的产品。
未来推演
判断：未来 6-12 个月，企业 AI 采购会更快从试点预算转向平台化和治理导向的正式采购。
时间跨度：未来 6-12 个月
为什么是现在：文中已经出现采购、治理、交付和预算协同成熟的信号，说明企业买方正在进入更系统化阶段。
重点信号：是否出现统一采购平台、是否更强调治理和可维护性、试点项目是否转成组织级部署
置信度：中