搜索：大模型推理加速

「大模型推理加速」共找到 8576 篇相关文章

AI玩具和AI眼镜爆火，端侧市场或将超越云端？

当下AI难形成商业闭环，端侧AI或为落地答案。芯原股份戴伟民看好端侧AI市场，认为未来端侧推理需求或超云端训练，还指出AI眼镜、玩具、智能汽车等增量市场，同时介绍了芯原布局。

DeepAnalyze是面向自主数据科学的大语言模型，能自动完成数据科学任务，支持完整流程、开放式研究且完全开源。还提出两项关键技术。微舆 - BettaFish是舆情分析系统，四类智能体协同工作，有六大核心优势。

全球AI代码生成竞争格局生变，Anthropic地位动摇，一是OpenAI GPT - 5崛起，二是自身迷之操作。此时国产大模型发力，如Kimi - K2 - 0905、Qwen3 - Max - Preview，性能和价格有优势，有望改变竞争格局。

近年来交互式数字人视频生成受关注，但实时处理多模态输入有挑战。快手可灵团队提出MIDAS框架，基于LLM驱动的自回归模型，结合轻量级扩散头，实现低延迟、交互式多模态控制，还构建大规模数据集等。

图灵奖得主Geoffery Hinton与姚期智对谈AI相关话题。Hinton认为人脑可给AI借鉴，还探讨人类未来与AI道德，强调训练善良AI重要；他觉得大模型有理解能力，将人类意识特殊化是危险无稽之谈。

英伟达CEO黄仁勋访华期间，在高密度采访交流中对中国公司、技术赞不绝口。他夸雷军和小米，评蔚小理、华为、DeepSeek等，还看好中国大模型、机器人等领域，此外也谈及英伟达合作、AI发展等问题。

国内独角兽月之暗面发布并开源 Kimi K2 模型，推出两天就在 OpenRouter 平台 token 使用量超 xAI 的 Grok 4。它成本低、性能强，编码能力追平 Claude 4，架构与 DeepSeek 相似，技术研究也多次‘撞车’。

作者对比 Google I/O 大会上谷歌的表现，认为苹果在 WWDC 上的表现令人失望。苹果更新设计语言，其 AI 侧重端侧模型，有数据安全等优势，虽目前参数量小，但端侧 AI 或成新战场。

多跳问答（MHQA）任务有挑战，现有方法依赖LLM，计算成本高、延迟显著。TreeHop研究提出新方案，摒弃LLM，通过嵌入空间动态更新，降低延迟、减少模型参数量，还在主流数据集表现佳，适合工业应用。

本文是腾讯混元团队针对大模型强化学习规模化训练的研究，聚焦万卡级算力下Batch Size优化问题，拆分样本效率与系统效率的影响，给出可落地的调优框架，实测可缩短29%训练时间。