「大模型推理加速」共找到 8385 篇相关文章
C端热战，B端暗涌：大模型真正的战场才刚刚开始 | 《中国大模型落地应用研究报告 2025》正式发布
InfoQ研究中心联合中欧AI与管理创新研究中心发布《中国大模型落地应用研究报告2025》，从驱动因素、C端产品现状到B端落地现状，勾勒大模型应用转折期的图景，分析应用难的原因及各端现状。
新玩法！Karpathy周末手搓“大模型智囊团”应用：各大LLM同台互评，代码已开源
Andrej Karpathy周末手搓Web应用llm - council，让多个大模型像顾问般提供建议。查询通过OpenRouter分发给多个大模型，它们互评后由‘大模型主席’生成最终回复，代码已开源。
阿里电影级视频模型万相2.6系列上线，功能比Sora2还全，人人都能当导演
12月16日，阿里发布通义万相2.6系列模型，5款新模型同时上线，覆盖图像到视频多环节。它是国内首个支持角色扮演的视频模型，功能比Sora2全，已上线阿里云百炼和万相官网。
DeepSeek最新模型意外泄露~
DeepSeek最新模型DeepSeek-V3-0526疑似泄露，消息源于https://docs.unsloth.ai/basics/deepseek-v3-0526-how-to-run-locally ，其性能媲美GPT - 4.5 / Claude Opus，或成最强开源模型，信息若属实将很快发布。
马斯克新模型背后算法来自英伟达？？？
Grok-4-fast降本增效表现出色，其背后或许关联英伟达算法论文。论文推出Jet-Nemotron模型，靠PortNAS框架降本提效，还开源代码。网友猜测Grok-4-fast基于此模型，也有人认为是营销手段。
大模型私有化火了：百万一台的一体机卖疯，最赚钱的一层却没人愿干
文章指出大模型私有化部署虽因合规、开源模型及国产算力发展而兴起，但利润结构呈哑铃状。算力层规模大但毛利低，模型层因开源难盈利，交付层最赚钱却因项目制难规模化，国际市场也类似。
所有环节都上最强模型，这可能是做 AI 智能体最贵的错误
开源项目 AgentOpt 指出，很多团队做 AI 智能体默认把最强模型塞进各环节，既贵效果也未必好。真正决定智能体效果和成本的是将合适模型放合适位置，智能体需要能找最优解的模型优化器。
多模态“卷王”阶跃星辰：如何利用 JuiceFS 打造高效经济的大模型存储平台
有“多模态卷王”之称的阶跃星辰，自研多模态模型，早期商业存储系统难满足需求，后引入 JuiceFS。文章介绍大模型各环节存储需求，详述 JuiceFS 企业版与社区版优化实践，含模型分发、读性能等优化。
英伟达放弃GPU上LPU：新推理芯片被曝Groq即买即用，OpenAI第一个吃螃蟹
英伟达将在GTC大会发布新AI推理系统，核心芯片基于Groq的LPU架构，首位大客户是OpenAI。选择外部架构与时间窗口有关，推理场景中LPU更适配。同时，英伟达推理芯片面临诸多威胁。
揭秘千卡 GPU 集群如何高效训练多模态大模型：vivo AI 团队实战经验分享｜AICon
在 InfoQ 举办的 AICon 大会上，vivo AI 架构师王兆雄分享多模态大模型训练经验。介绍了 LLaVA 和 DiT 模型训练挑战，从数据处理、模型计算等方面提出优化策略，还展望 AI Infra 未来发展方向。