AWS 与 i14 披露 Laplace 3B 实验,每序列状态固定为 29.5 MB
AWS 技术报告介绍了在线性注意力模型 Laplace 3B 上使用 Trainium2 和原生 PyTorch 进行训练、推理的实现。其循环状态保持每序列 29.5 MB,与上下文长度无关;压缩历史也意味着需要针对实际任务评估检索质量。
推荐理由:Codex 来源核对 · 关注成本与内存机制,同时保留硬件条件和任务质量的限制。
AWS 技术报告介绍了在线性注意力模型 Laplace 3B 上使用 Trainium2 和原生 PyTorch 进行训练、推理的实现。其循环状态保持每序列 29.5 MB,与上下文长度无关;压缩历史也意味着需要针对实际任务评估检索质量。
推荐理由:Codex 来源核对 · 关注成本与内存机制,同时保留硬件条件和任务质量的限制。
教程基于 GPT-OSS-20B 与 SageMaker HyperPod,比较监督微调和 GRPO 在推理语言一致性上的作用。文中的提升来自特定数据和评测,适合学习实验设计与路线选择。
推荐理由:Codex 来源核对 · 原始技术资料,附实现与评估入口。
Hugging Face 介绍 Beam 的 501B 总参数、每 token 23B 激活参数与长上下文设计,采用 Apache 2.0 许可。文章附推理、微调及硬件要求,适合评估自托管条件。
推荐理由:Codex 来源核对 · 按原文范围整理,保留案例及数据的适用边界。
Swiss AI 团队整理 8B 与 70B 模型的训练、图像音频理解、可选思考模式和评估资料。文中说明权重已在 7 月发布,本次收录的是 10 月更新的技术解读。
推荐理由:Codex 来源核对 · 原始技术资料,附实现与评估入口。
官方生态文章介绍 Meta 多模态 MoE 模型的文本、图像、音频与视频能力,并列出 Transformers、MLX 等推理支持和微调示例。使用前需核对模型许可与硬件门槛。
推荐理由:Codex 来源核对 · 按原文范围整理,保留案例及数据的适用边界。