「高效推理框架」共找到 3696 篇相关文章
从数据分布视角，重新认识下CoT
本文从数据分布视角重新审视大语言模型的思维链（CoT）推理。指出CoT并非真正推理，而是模仿，其效果受训练与测试分布差异影响。通过实验揭示CoT在分布偏移时性能退化，提醒勿过度依赖。
Mini-SGLang，30万行代码浓缩为5000行，大模型推理高性能教学与研究模版
SGLang发布Mini-SGLang，将30万行代码缩至5000行，保留核心特性，为大模型推理提供高性能教学与研究模版，解决教育门槛高和科研原型开发难的痛点，还经测试验证了性能。
上海AI Lab发布混合扩散语言模型SDAR：首个突破6600 tgs的开源扩散语言模型
上海人工智能实验室提出全新范式SDAR，通过‘训练 - 推理解耦’融合AR模型高性能与扩散模型并行推理优势。实验证明，SDAR性能与原版AR模型持平或超越，还能加速推理，且已全面开源全系列模型。
地球级AI智能体爆诞！谷歌地球开外挂，一夜为20亿人洪水预警
谷歌结合世界建模经验与Gemini推理能力，升级Earth AI。它是地理空间AI模型和数据集，可自动连接不同地球AI模型。谷歌还推出新成果，如新一代影像与人口基础模型、空间推理智能体，可用于灾害预警等。
用两个简单模块实现分割理解双重SOTA！华科大白翔团队等推出多模态新框架
华中科技大学和金山办公团队联合提出语义增强特征提取器（SEFE）和交错局部视觉耦合（ILVC）模块，构建多模态大模型LIRA，解决现有模型分割不精确和理解有幻觉问题，在分割和理解任务上达SOTA。
欢迎 GPT OSS —— 来自 OpenAI 的全新开放模型家族！
OpenAI推出GPT OSS开放模型家族，含117B参数的gpt‑oss‑120b和21B参数的gpt‑oss‑20b。采用Apache 2.0许可证，资源占用低、推理快，适多场景，已接入Hugging Face服务，还介绍了推理、部署等内容。
3个月手搓Gamma架构，这个团队打造出了场景白盒化推理的“下一代内容OS”
AI应用从生成范式转向任务执行范式，Pi团队3个月手搓Gamma架构，打造出场景白盒化推理的“下一代内容OS”。Pi将AI生成与人的编辑能力结合，解决传统创作难题，实现创作全流程系统内闭环。
AI七个月突破数学家“围剿”反超人类！14位数学家深挖原始推理token：不靠死记硬背靠直觉
大模型o3 - mini - high在7个月内，于FrontierMath基准测试中，答题得分从2%提升到22%，超人类团队平均水平。数学家分析其推理记录，发现它靠直觉而非死记硬背解题，但也存在缺乏创造力等局限。
统计可控数据合成！新框架突破大模型数据生成局限，麦吉尔大学团队推出LLMSynthor
麦吉尔大学团队提出新方法LLMSynthor，让大模型成结构感知的数据模拟器，为隐私敏感、数据稀缺场景生成不泄密的高质量替代数据。它通过结构推理、统计对齐等步骤实现，有理论保障，多场景实测效果佳。
看似无害的提问，也能偷走RAG系统的记忆——IKEA：隐蔽高效的数据提取攻击新范式
研究聚焦RAG系统，提出全新黑盒攻击方法IKEA。它不依赖异常指令，通过自然查询提取私有信息。经多数据集测试，其效率和成功率高，还证实提取知识实用，揭示RAG系统潜在脆弱性。