AWS 与 i14 披露 Laplace 3B 实验，每序列状态固定为 29.5 MB
AWS 技术报告介绍了在线性注意力模型 Laplace 3B 上使用 Trainium2 和原生 PyTorch 进行训练、推理的实现。其循环状态保持每序列 29.5 MB，与上下文长度无关；压缩历史也意味着需要针对实际任务评估检索质量。
推荐理由：Codex 来源核对 · 关注成本与内存机制，同时保留硬件条件和任务质量的限制。
技术方向
数据与训练 最新动态
大模型是怎么练出来的：数据集构建、合成数据、预训练与后训练方法、算力与训练成本。
6 条精选近 30 天 6 条共收录 6 条
更新
数据与训练的精选
AWS Machine Learning Blog精选 AWS Machine Learning Blog精选 AWS 对比 SFT 与 GRPO，演示多语言推理微调
教程基于 GPT-OSS-20B 与 SageMaker HyperPod，比较监督微调和 GRPO 在推理语言一致性上的作用。文中的提升来自特定数据和评测，适合学习实验设计与路线选择。
推荐理由：Codex 来源核对 · 原始技术资料，附实现与评估入口。
量子位精选 MemT 1.0 把经验写入模型内可更新状态，探索原生记忆
量子位介绍记忆张量团队的模型路线，在注意力旁加入记忆计算分支，训练经验的写入、更新与读取。文章提供论文入口，模型内记忆与外部检索方案的取舍需结合任务评估。
推荐理由：Codex 来源核对 · 原始技术资料，附实现与评估入口。
Hugging Face Blog精选 Reflection Beam 开放权重，面向编程与智能体任务
Hugging Face 介绍 Beam 的 501B 总参数、每 token 23B 激活参数与长上下文设计，采用 Apache 2.0 许可。文章附推理、微调及硬件要求，适合评估自托管条件。
推荐理由：Codex 来源核对 · 按原文范围整理，保留案例及数据的适用边界。
Hugging Face Blog精选 Apertus 1.5 发布技术说明，补充多模态与可复现评估细节
Swiss AI 团队整理 8B 与 70B 模型的训练、图像音频理解、可选思考模式和评估资料。文中说明权重已在 7 月发布，本次收录的是 10 月更新的技术解读。
推荐理由：Codex 来源核对 · 原始技术资料，附实现与评估入口。
Hugging Face Blog精选 Muse Spark Open 开放权重，Hugging Face 整理推理与微调入口
官方生态文章介绍 Meta 多模态 MoE 模型的文本、图像、音频与视频能力，并列出 Transformers、MLX 等推理支持和微调示例。使用前需核对模型许可与硬件门槛。
推荐理由：Codex 来源核对 · 按原文范围整理，保留案例及数据的适用边界。