「并行扩展」共找到 674 篇相关文章
AI Infra 工程师们如何应对大模型流水线里的“暗涌”？
InfoQ《极客有约》X AICon 直播邀请华为、蚂蚁集团等专家探讨大模型 Infra 工程师实战日常。涉及大模型工程高频问题、版本迭代冲突处理、推理部署成本优化、开源项目挑战及 GPU 虚拟化趋势等内容。
SGLang 推理引擎的技术要点与部署实践｜AICon 北京站前瞻
SGLang 是开源推理引擎，截至 2025 年 6 月，在 GitHub 获近 15K Stars，月均下载超 10 万次，被多家行业巨头采纳。InfoQ 专访其核心开发者尹良升，他分享技术、挑战等，6 月 27 - 28 日他将在 AICon 演讲。
训练MoE足足提速70%！华为只用了3招
Scaling Law下，MoE成扩展模型能力法宝，但训练难题凸显。华为构建Adaptive Pipe & EDPB优化方案，还打造DeployMind仿真平台，解决了MoE训练中通信等待、负载不均等问题，使训练吞吐提升72.6%。
LLM的“记忆外挂”来了！Supermemory新API：一行代码让LLM记忆“无限+省钱90%”
Supermemory公司发布Infinite Chat API，能让任何LLM有近乎无限上下文长度。用户一行代码就能切换，可扩展上下文、省90%成本、提性能，已上线，有免费试用额度，后续有固定费用和用量计费。
一个提示攻破所有模型，OpenAI谷歌无一幸免！
HiddenLayer研究发现一种「策略傀儡」提示，将危险指令伪装成配置片段，配上角色扮演，能让ChatGPT等主流大模型开启「无限制模式」。此策略利用训练弱点，难修复且可扩展，厂商需智能监控。
国货之光！全球AI存储基准测试MLPerf Storage 3.0结果发布，斩获九项第一｜甲子光年
9月1日，MLPerf Storage 3.0基准测试结果发布，XSKY星辰天合旗下MeshFS首次参赛，在并行文件存储赛道获九项第一。该测试覆盖多类负载，可多维度衡量存储系统性能，MeshFS兼顾性能与成本效率。
Fable 5.1 官方提示词指南
Anthropic 发布 Fable 5.1 后，同步发布《Prompting Claude Fable 5.1》提示词指南，列出 15 个 5.1 跟 Fable 5 在行为上的差异，并附修正提示词。还介绍了 Fable 5 提示词变化，以及 Fable 5.1 的新特性和应对建议。
刚刚，马斯克终极大招Grok Bot来了！
SpaceXAI发布Grok Bot早期测试版及将发布4.6版本。它是云原生AI Agent，能24小时工作、多Bot并行协作，还能跟班学习。它是600亿收购Cursor的成果，对标Anthropic的Claude Cowork。
智源悟界·RoboBrain Orca：多模态表征世界模型
智源研究院悟界·RoboBrain Orca团队发布技术报告，探索让模型学习世界表征，从‘预测下一个词’走向‘预测下一状态’。它通过多模态数据学习，经实验验证有效，虽处早期阶段，但提出值得扩展的方向。
国内首套：港中文团队发布7模态人体动作数据集，揭开大模型理解能力短板
港中文邢国良教授团队博士生蒋思阳完成 CUHK-X 多模态人体动作数据集，成果被 ACM MobiSys 2026 接收。用其测试主流大模型，发现理解人类动作平均正确率仅四成。该数据集数据收集方法反常规，还开展了基准测试。