「类LLM机制」共找到 1979 篇相关文章
无需训练，即插即用，2倍GPU端到端推理加速——视频扩散模型加速方法DraftAttention
高质量视频生成任务中，扩散模型成主流，但DiT模型注意力机制计算量大，成推理瓶颈。现有加速法效果不佳，为此美国东北大学等团队提出DraftAttention，可2倍加速推理且不损画质。
揭秘千卡 GPU 集群如何高效训练多模态大模型：vivo AI 团队实战经验分享｜AICon
在 InfoQ 举办的 AICon 大会上，vivo AI 架构师王兆雄分享多模态大模型训练经验。介绍了 LLaVA 和 DiT 模型训练挑战，从数据处理、模型计算等方面提出优化策略，还展望 AI Infra 未来发展方向。
灵初智能陈源培：一个 00 后的机器人之梦
00 后陈源培是灵初智能联创，本科土木工程专业，大二因比赛对机器人感兴趣。他研究灵巧手，参与开源项目，灵初发布相关模型。他认为强化学习对灵巧手重要，还谈了模型、创业、落地等看法。
谷歌之后，英伟达入局扩散大语言模型，Fast-dLLM推理速度狂飙27.6倍
大语言模型领域，推理效率制约实际应用。谷歌Gemini diffusion曾展扩散模型并行潜力，但开源扩散LLM推理慢。近日，NVIDIA等推出Fast - dLLM，无需训练即插即用，推理速度狂飙27.6倍，兼顾速度与精度。
ICML 2025 | 无需训练，即时对齐大模型偏好
上海人工智能实验室提出TPO方案，可让大模型在推理时快速对齐人类偏好，无需更新模型权重。TPO类似文本形式的梯度下降，在多个基准数据集评测中表现出色，还提供“宽深结合”推理拓展策略。
通义实验室新研究：大模型自己「扮演」搜索引擎，提升推理能力无需搜索API
阿里通义实验室开源ZeroSearch，提供无需与真实搜索引擎交互的强化学习框架。它用模拟搜索环境和渐进式抗噪训练，让LLM自给自足，节省API成本，在多问答数据集表现优，为智能化检索提供新思路。
RAG系统设计：揭秘语义搜索被低估的核心价值与KG驱动的架构选型策略
在AICon大会上，Hugging Face的尹一峰探讨基于语义搜索的RAG系统重要性，揭示其被低估原因，分析本质与作用，分享设计高效架构方法，还讨论KG驱动的RAG系统及范式选择。
AI辅助编码将如何改变软件工程：更需要经验丰富的工程师
文章指出生成式AI改变软件开发方式，LLM在编码领域成果显著。但AI辅助编码有局限，如‘70%问题’。还介绍有效模式，提及软件工程智能体兴起，最后认为未来对经验丰富工程师需求或增加。
Reasoning的最终答案可能不是模型想要的答案！
大型语言模型解决复杂问题有推理过程和答案，传统评估只看最终答案。论文提出最终答案可能不佳，中间步骤更值得研究。还介绍通过切割推理过程发现中间步骤藏玄机，提出‘分步检查法’提升模型表现，实验表明准确率最高提升13%等。
估值 20 亿美元的语音输入法，开源平替已经 3 万 star
文章指出语音输入随着 AI 发展价值重估，介绍了开源工具 OpenLess，分析了商业订阅、开源桌面工具、大厂输入法三类玩家，给出四层评估框架，也提及开源风险，并对不同需求给出选择建议。