AWS 与 i14 披露 Laplace 3B 实验，每序列状态固定为 29.5 MB
AWS 技术报告介绍了在线性注意力模型 Laplace 3B 上使用 Trainium2 和原生 PyTorch 进行训练、推理的实现。其循环状态保持每序列 29.5 MB，与上下文长度无关；压缩历史也意味着需要针对实际任务评估检索质量。
推荐理由：Codex 来源核对 · 关注成本与内存机制，同时保留硬件条件和任务质量的限制。
技术方向
部署工程 最新动态
怎么把模型跑得更快更省钱：推理加速、显存与成本、服务部署与基础设施选型。
13 条精选近 30 天 13 条共收录 13 条
更新
部署工程的精选
AWS Machine Learning Blog精选 AWS Machine Learning Blog精选 AWS 给出供应链对话分析方案，连接业务数据与工具
教程使用 Amazon Quick 和 Bedrock AgentCore，把 ERP、采购、监控等分散系统组织成受治理的工具层。读者可参考部署步骤与权限设计，再用自身供应链数据验证。
推荐理由：Codex 来源核对 · 原始技术资料，附实现与评估入口。
AWS Machine Learning Blog精选 AWS 演示运行时发现 MCP 服务器与 A2A 智能体
教程通过 AWS Agent Registry 的语义检索实现工具发现、实例化与执行，减少大型工具目录的硬编码。适合工具数量增长的团队参考，并核对运行时授权边界。
推荐理由：Codex 来源核对 · 原始技术资料，附实现与评估入口。
DeepSeek 官方仓库精选 DeepSeek 开源 DeepInfer 推理框架，首批支持 V4.1-Flash
DeepSeek 发布其大规模推理框架 DeepInfer 的开源代码，采用 Apache 2.0 许可，当前支持 DeepSeek-V4.1-Flash。公开版本提供离线推理及多项运行时优化，不等于可直接替代完整在线服务的全部基础设施。
推荐理由：Codex 来源核对 · 国内一手工程发布；按代码范围介绍，不把第三方利润估算当成官方经营数据。
量子位精选 TokenFleet 探索国产推理集群调度，优化首 token 延迟
量子位介绍是石科技的推理调度框架，围绕集群资源组织和请求处理降低等待时间。文中的延迟提升有测试环境前提，适合研究推理基础设施的团队跟踪。
推荐理由：Codex 来源核对 · 原始技术资料，附实现与评估入口。
Hugging Face Blog精选 PyTorch 2.15 的 MPS 更新聚焦 Mac 本地模型性能
Hugging Face 的 PyTorch 团队介绍 MPS 的 FP8、解码路径、Metal 内核与内存优化。不同模型收益不同，可按文中工作负载在自己的 Mac 上复测。
推荐理由：Codex 来源核对 · 原始技术资料，附实现与评估入口。
Hugging Face Blog精选 Hugging Face 介绍 TorchTPU，让 PyTorch 原生运行于 TPU
官方开发文章介绍以原生 PyTorch 后端连接 TPU，并支持 Transformers、Diffusers 与 Kernels。适合计划使用 TPU 的团队了解生态集成和迁移路径。
推荐理由：Codex 来源核对 · 原始技术资料，附实现与评估入口。
AWS Machine Learning Blog精选 Deepgram 分享把语音转写模型迁移到 Trainium2 的工程实践
AWS 客户文章介绍 Nova-3 离线批量转写的移植、内核优化和 Rust 数据并行运行时。适合参考迁移过程与成本评估方式，吞吐和成本表现具有硬件与工作负载前提。
推荐理由：Codex 来源核对 · 按原文范围整理，保留案例及数据的适用边界。
AWS Machine Learning Blog精选 AWS 为 vLLM 分离式推理介绍推送式 KV 传输
教程讨论预填充与解码分离时的 KV 缓存传输，通过 NIXL 连接器减少关键路径上的协调。性能数据来自特定 EC2 与 EFA 环境，部署前应复现实测。
推荐理由：Codex 来源核对 · 原始技术资料，附实现与评估入口。
Hugging Face Blog精选 TorchNeuron 为 Hugging Face 模型提供 Trainium 原生后端
官方文章介绍 PyTorch 插件对 eager mode、torch.compile 和分布式 API 的支持，并说明 Transformers、Diffusers 的集成路径。公开测试版的环境要求应在原文核对。
推荐理由：Codex 来源核对 · 原始技术资料，附实现与评估入口。
Hugging Face Blog精选 IBM Granite Switch 4.1 以模块化端点覆盖对话、决策和语音
IBM 团队介绍通过适配器组合对话、专门决策和语音识别能力，并提供库与使用资源。适合需要多类能力的企业应用参考模块化设计及部署条件。
推荐理由：Codex 来源核对 · 按原文范围整理，保留案例及数据的适用边界。
NVIDIA Blog精选 NVIDIA 扩展 Nemotron 家族，发布 Super VL 与端侧 Bolt 模型
NVIDIA 官方介绍新的开放模型，覆盖持续运行的智能体、多模态理解和本地推理。选择时应结合模型许可、显存要求及自己的任务测试，官方基准不能替代部署验证。
推荐理由：Codex 来源核对 · 按原文范围整理，保留案例及数据的适用边界。
Microsoft Research精选 研究回看：微软用 StudentSim 模拟学习者，评估 AI 辅导系统
微软研究院在 10 月 12 日介绍 StudentSim，尝试在真实学生测试前模拟学习反馈，帮助研究人员改进 AI 辅导系统。该系统属于研究用途，尚未作为课堂产品部署，也不用于替代教师。
推荐理由：Codex 来源核对 · 历史研究背景，保留原日期，不放入今天新消息的统计。