「低延迟推理」共找到 2954 篇相关文章
G2ConS将微软GraphRAG的成本被打下来了~
传统Text - RAG处理多跳推理表现不佳，GraphRAG虽能提升准确率，但成本高。作者提出G2ConS方案，在3个多跳QA基准全面SOTA，平均节省30%费用，EM提升31.44%，整体流程仅3步。
让AI生成视频「又长又快」：Rolling Forcing实现分钟级实时生成
南洋理工大学与腾讯ARC实验室联合研究，由博士生刘坤昊等完成，提出Rolling Forcing方法，通过滚动窗口联合降噪等创新设计，突破实时长视频生成瓶颈，实现分钟级实时生成，还支持交互控制，但仍有优化方向。
1.58bit不输FP16！微软推出全新模型蒸馏框架，作者全是华人
微软推出蒸馏框架BitNet Distillation，实现几乎无性能损失的模型量化。它含三阶段，经实验在多下游任务表现近全精度模型，降内存开销、提推理速度，作者全是微软研究院华人。
北大彭一杰教授课题组提出RiskPO，用风险度量优化重塑大模型后训练
北大彭一杰教授课题组提出 RiskPO，解决大模型后训练陷入「均值陷阱」问题。它将风险规避理念融入优化目标，用「关注奖励分布左尾」替代「追求整体均值」，在多领域数据集上表现超越 GRPO 等。
100美元、8000行代码手搓ChatGPT，Karpathy最新开源项目爆火，一夜近5k star
AI大神Andrej Karpathy发布开源项目nanochat，可教你100美元自建ChatGPT，覆盖LLM训练和推理。项目有8000行代码，不到12小时获超4500 star，功能丰富，但他认为它不适合个性化应用。
大模型追逐星辰大海，GPT和Gemini国际天文奥赛夺金
新论文以国际天文学和天体物理学奥林匹克竞赛 (IOAA) 为基准测试，证明 GPT - 5 和 Gemini 2.5 Pro 能在天文奥赛获金牌。研究还分析不同模型表现、与人类成绩对比及错误类型，强调需全面评估模型科研潜力。
首家AIOS落地来自vivo：个人化智能复刻人类思维，手机还能这样用
2025年vivo开发者大会展示全新端侧AI能力，提出蓝心3B端侧多模态推理大模型，融入OS底层，实现系统级智能。其AI OS打造“个人化智能”体验，还开放生态，携手开发者推动AI应用落地。
Google封神，计算机视觉的GPT3时刻来了！
Google Deepmind称在CV领域做出类似GPT-3的成果，Veo 3经大规模训练涌现通用视觉理解和推理能力，能以图片+提示词完成复杂视觉任务，还具备感知、建模等四大超能力。
OpenAI最新开发者“全家桶”：Apps SDK、Agent Builder、ChatKit深度解读与实测
长假期间，OpenAI在2025 DevDay宣布开发者生态重大升级，引入“Apps in ChatGPT”及其SDK和AgentKit工具集。文章深度解读Apps SDK、Agent Builder、ChatKit，介绍功能、使用方法和体验，还提及OpenAI的AI大平台战略。
让大模型合成检查器：UIUC团队挖出Linux内核90余个长期潜伏漏洞
伊利诺伊大学香槟分校张令明老师团队的论文提出KNighter，它让大模型生成静态分析检查器，在Linux内核挖出92个长期潜伏漏洞，将LLM归纳能力沉淀为规则，带来可落地等好处。