「大模型推理」共找到 9678 篇相关文章
谷歌 Java 代理开发工具包新增 LangChain4j 集成
谷歌 Java 代理开发工具包（ADK）0.2.0 版本集成了 LangChain4j，显著扩展功能，让开发者能使用更多模型。谷歌开发者 Guillaume Laforge 解释其优势，ADK 还引入系列增强提升性能。
The Batch: 943｜液体和气体如何运动
传统数值方法模拟复杂物理系统慢且贵，基于机器学习的模拟通常只适用于特定系统。研究人员构建通用 transformer 模型 Walrus，可模拟流体运动，开源且在多方面表现出色，有望加速多领域模拟工作。
Meta通过简单算术解锁LLM SoTA性能
大型语言模型训练耗算力与时间，传统模型融合方法有局限。本文提出SoCE新方法，通过筛选专家模型、非均匀加权平均融合，在多评测中实现先进性能，为LLM优化提供新思路。
不止于量化：最新综述用「时-空-构」三维视角解构KV Cache系统级优化
随着LLM向1M上下文演进，KV cache成推理服务效率核心瓶颈。墨尔本大学和华中科技大学研究者发布深度综述，用「时间 - 空间 - 结构」视角梳理KV cache优化方法，还归纳关键观察、提出开放挑战，并整理了资源库。
彩讯股份 CEO 白琳：企业级AI正从技术热潮走向系统化落地
1月31日彩讯股份发布《企业级AI应用白皮书》，CEO白琳接受采访。指出企业级AI正从技术驱动转向应用落地，面临系统性挑战，白皮书梳理发展阶段、痛点与路径，还介绍了‘1+1+N’策略等。
让GPU不再摸鱼！清华蚂蚁联合开源首个全异步RL，一夜击穿14B SOTA
清华与蚂蚁联合开源AReaL - boba²，实现全异步强化学习训练系统，解耦模型生成与训练流程，大幅提升GPU利用率。14B模型在多个代码基准测试达SOTA，性能接近235B模型。
从开源狂热到应用为王，AI 正在回归常识
AI行业正发生变化，模型行业对“开源还是闭源”态度转向商业共识，旗舰模型开始闭源；应用变得更重要，应用层机会多；智能体重新定义AI价值边界，推动行业从“模型思维”走向“系统思维”。
在 Cache-DiT 框架下实现原生 Serving功能
Cache-DiT 是唯品会开源的 PyTorch 原生 DiT 推理加速引擎，此前聚焦离线推理。现实现完整 Serving 功能，支持单卡与分布式推理模式。文章介绍其实现过程、借鉴 SGLang 的设计，还总结踩坑及使用方法。
关键突破：理论验证了 RL for LLM 路线的可行性
传统RLHF依赖人工标注偏好数据训练奖励模型，成本高且难扩展。本文发现任何通过Next - token预测训练的LLM内部隐含通用奖励模型，从理论和实验证明其可高效实现模型对齐。
千问3：开源第一不只是说说！
英伟达新开源的OpenCodeReasoning系列选千问作基础底座。千问3以Apache 2.0发布后，开发者生态更新频繁，衍生模型超10万，下载量破3亿，全球第一。其性能强，正加速开启全栈式AI时代。