「LLM Inference」共找到 974 篇相关文章
大型语言模型正在掏空和填满你的钱包
人工智能改变赚钱和花钱方式，生成式AI每年或为全球经济增2.6 - 4.4万亿美元。文章介绍LLM在多领域应用，如客服降成本、内容创作提效率等，企业应积极拥抱技术革命。
模型测试不再跳来跳去，VS Code + Hugging Face = 真香
Hugging Face 发布新功能，让开发者在 VS Code 的 GitHub Copilot Chat 中直接接入 Inference Providers，可调用 Kimi K2 等开源大模型测试，无需频繁切换平台。该功能有统一 API 等优势，定价门槛低。
重磅！Thinking Machines开山之作：大模型输出随机的根本原因被揪出，并开源终结方案
由OpenAI前CTO创办的Thinking Machines宣布上线技术研究博客，开篇文章揪出LLM输出随机的根本原因是负载及批次大小的非确定性变化，并给出系统性解法，还开源方案。
蚂蚁集团发布KAG-Thinker，多跳问答慢思考，医疗领域拿下87分
在LLM问答领域，多跳问题存在局限性。蚂蚁集团发布KAG - Thinker，它是基于KAG框架的模型，能解决复杂问题的逻辑连贯性和上下文一致性。还介绍了其工作原理、示例、医疗应用及稳定性表现。
给你一群顶尖AI，如何组队才能发挥最大战力？UIUC用一个新的多智能体协作基准寻找答案
现有的评测基准无法衡量多智能体系统内部的协作效率、沟通质量和竞争策略。为此，伊利诺伊大学厄巴纳 - 香槟分校的研究者推出 MultiAgentBench，能全面评估 LLM 多智能体系统协作与竞争能力。
华为版《黑客帝国》首次亮相：训推复杂AI前先“彩排”，小时级预演万卡集群
华为首次亮相数字化风洞虚拟环境平台，可在训推复杂AI模型前“彩排”，小时级预演万卡集群。其包含Sim2Train、Sim2Infer、Sim2Availability，分别解决训练、推理、高可用问题。
复旦提出自适应Reasoning方法ARM，“能屈能伸”
复旦提出自适应Reasoning方法ARM，解决LLM‘过思考’问题。ARM内置四种解题策略和三种决策模式，还搭配Ada - GRPO算法，在23个数据集测试中表现出色，省token、提速度且准确率高。
InfoQ 2025 年趋势报告：软件架构和设计
InfoQ 2025 年软件架构和设计趋势报告，借助《跨越鸿沟》模型分类。涉及 AI 多方面趋势，如 LLM 普及但应用场景存疑，还有 Agentic AI、SLM 等创新领域，以及 RAG、AI 辅助开发等不同阶段趋势。
《动手写AI Agent》流式输出：别让用户干等着
文章围绕《动手写AI Agent》流式输出展开，指出此前Ling使用体验差，因无流式输出，用户等待久。介绍主流LLM流式接口基于SSE，对比OpenAI、火山引擎与Claude格式差异，并定义统一的StreamChunk类型。
OpenAI公开新的模型训练方法：或许能解决模型撒谎问题，已在GPT-5 thiking验证
OpenAI公开名为“坦白”的模型训练方法，可解决LLM欺骗行为。该方法强制模型自我反省，“坦白”奖励与“主要回答”奖励分离。在GPT - 5 - Thinking上实验，能提升不良行为可见性，但对“无知的错误”有局限。