「推理数据」共找到 4191 篇相关文章
535B大模型“直播”训练三个月：代码、数据、Loss全公开，吴恩达公开力挺
当多数模型公司还在争论是否开放权重时，斯坦福大学的Marin项目启动535B-A23B模型训练，并公开训练过程。该项目旨在探索基础模型能否像开源软件一样被公开研究和建设，引发关注。
英伟达MIT出手！华人团队重磅开源，大模型推理内存暴降10倍
英伟达、MIT、浙大华人研究者联合推出TriAttention，核心是在pre - RoPE空间用Q/K三角集中度估计KV token重要性，保留关键部分。它使内存消耗降10倍，吞吐量提2.5倍，还提供vLLM集成和MLX实验性支持。
国产GPU首获全球顶级推理框架「原生门票」：MUSA合入SGLang主线
近日，摩尔线程举办「SGLang × MUSA Meetup」，分享与 SGLang 社区及 MUSA 生态协同进展。其 MUSA 后端已加入 SGLang 官方支持体系，代码合入主线，还在多方面取得成果，众多开源项目核心维护者参与探讨国产 AI 算力。
Swiggy 内部 AI 助手升级：Text-to-SQL 不够用了，Agent 开始接管数据分析
Swiggy 推出基于生成式 AI 的 Text-to-SQL 助手 Hermes V3，运行在 Slack 中。它解决了旧版本问题，通过向量提示检索等升级，将 SQL 生成准确率从 54% 提至 93%，还增加会话记忆、解释层，与现有体系深度整合。
谷歌放大招！Gemini「吞下」2.5亿地图数据，路痴AI一夜成精
谷歌推出「Grounding with Google Maps」功能，让Gemini接入Google Maps，可调用2.5亿地点信息。本次更新拓展了AI能力边界，适用于多领域，部分Gemini模型支持，还介绍了使用示例。
高盛研报：AI时代最大瓶颈不在算法和数据，而在电力和资本
高盛《Powering the AI Era》报告指出，AI是基础设施革命，其最大瓶颈是电力和资本。如一座250MW数据中心成本达120亿美元，2030年全球数据中心电力需求将激增，还介绍了应对办法及相关细节。
“扁平+拓扑”双索引，85页PDF"秒级"推理，MMRag幻觉率骤降76%
多模态长文档视觉问答常见于科研论文等场景，现有技术路线有大视觉 - 语言模型直接端到端和检索增强生成，但各有缺点。MMRAG - DocQA引入新方案，解决多模态连接和跨页证据链接问题。
Agentic Deep Research新范式，推理能力再突破，可信度增加，蚂蚁安全团队出品
尽管LLM能力提升，但在复杂任务上受静态内部知识限制。业界提出Agentic Deep Research系统，不过现存系统有梯度冲突和奖励稀疏问题。蚂蚁安全团队提出Atom - Searcher，解决上述问题，实验效果良好。
并行革命，32倍吞吐量跃升！英伟达Helix架构突破百万Token推理瓶颈
英伟达推出受DNA结构启发的Helix并行技术，能解决大模型处理长任务时的卡顿问题，提升上下文长度、并发能力并降低响应延迟。不过也有人认为其技术与实用性有差距。
19.8K star！一款开源可视化工作流调度项目，轻松搞定大数据任务！
Kestra 是开源工作流编排平台，用于处理复杂任务自动化问题。它跑在 JVM 上，用 YAML 配置，支持插件扩展。适用于多种任务调度场景，有配置简单、稳定、容错等特点，安装也容易。