AWS 与 i14 披露 Laplace 3B 实验,每序列状态固定为 29.5 MB
AWS 技术报告介绍了在线性注意力模型 Laplace 3B 上使用 Trainium2 和原生 PyTorch 进行训练、推理的实现。其循环状态保持每序列 29.5 MB,与上下文长度无关;压缩历史也意味着需要针对实际任务评估检索质量。
推荐理由:Codex 来源核对 · 关注成本与内存机制,同时保留硬件条件和任务质量的限制。
AWS 技术报告介绍了在线性注意力模型 Laplace 3B 上使用 Trainium2 和原生 PyTorch 进行训练、推理的实现。其循环状态保持每序列 29.5 MB,与上下文长度无关;压缩历史也意味着需要针对实际任务评估检索质量。
推荐理由:Codex 来源核对 · 关注成本与内存机制,同时保留硬件条件和任务质量的限制。
量子位介绍记忆张量团队的模型路线,在注意力旁加入记忆计算分支,训练经验的写入、更新与读取。文章提供论文入口,模型内记忆与外部检索方案的取舍需结合任务评估。
推荐理由:Codex 来源核对 · 原始技术资料,附实现与评估入口。
Swiss AI 团队整理 8B 与 70B 模型的训练、图像音频理解、可选思考模式和评估资料。文中说明权重已在 7 月发布,本次收录的是 10 月更新的技术解读。
推荐理由:Codex 来源核对 · 原始技术资料,附实现与评估入口。