「低延迟推理」共找到 2933 篇相关文章
地球级AI智能体爆诞！谷歌地球开外挂，一夜为20亿人洪水预警
谷歌结合世界建模经验与Gemini推理能力，升级Earth AI。它是地理空间AI模型和数据集，可自动连接不同地球AI模型。谷歌还推出新成果，如新一代影像与人口基础模型、空间推理智能体，可用于灾害预警等。
3个月手搓Gamma架构，这个团队打造出了场景白盒化推理的“下一代内容OS”
AI应用从生成范式转向任务执行范式，Pi团队3个月手搓Gamma架构，打造出场景白盒化推理的“下一代内容OS”。Pi将AI生成与人的编辑能力结合，解决传统创作难题，实现创作全流程系统内闭环。
AI七个月突破数学家“围剿”反超人类！14位数学家深挖原始推理token：不靠死记硬背靠直觉
大模型o3 - mini - high在7个月内，于FrontierMath基准测试中，答题得分从2%提升到22%，超人类团队平均水平。数学家分析其推理记录，发现它靠直觉而非死记硬背解题，但也存在缺乏创造力等局限。
DeepSeek识图模式是个新模型？！一手实测在此（没错我被灰度到了）
作者喜提DeepSeek识图模式灰度测试，实测发现其非思考模式速度快，推理有幻觉；思考模式推理慢且冗长。实用功能如OCR、复原HTML较靠谱，但色盲测试偶翻车。该模式或用独立视觉模型，且多模态进展超预期。
打脸OpenAI！谷歌Gemini高级版获IMO 2025官方认证金牌：纯自然语言端到端推理
谷歌DeepMind宣布高级版Gemini在2025年IMO中6题解5题获金牌，经官方认证，全程用自然语言推理。对比OpenAI自我宣称拿金牌，谷歌成绩更有说服力，还介绍了Gemini进步及实现方法。
奥特曼点评中美AI牌桌：美国猛攻前沿，中国凭“两张王牌”错位竞争
OpenAI CEO 萨姆·奥特曼在贝莱德峰会上指出，从 o1 到 o3 模型，复杂推理成本降 1000 倍，2028 年末数据中心 AI 认知能力或超人类。他还拆解中美 AI 竞争，美国前沿领先，中国旧模型推理成本控制和基建推进有优势。
重磅！OpenAI时隔五年再发布开源模型gpt-oss：开源SOTA，可在16g笔记本运行
谷歌推出Genie 3后，OpenAI宣布发布开源推理模型gpt-oss，有gpt-oss-120b和gpt-oss-20b两个型号，采用混合专家架构和4位量化方案，能快速推理，原生支持128k上下文长度。文章还介绍了模型表现、训练等情况。
训练加速1.8倍，推理开销降78%！精准筛选题目高效加速RL训练丨清华KDD
清华大学THU-IDM团队与慕尼黑大学CompVis团队合作提出MoPPS框架，解决强化微调代价高问题。它精准挑题，预测难度，开销低、动态适应且平衡探索利用，在多任务表现佳，降本增效，有新范式。
华为中科大联创大模型低比特量化算法，1‰数据实现昇腾无损压缩7倍
华为诺亚方舟实验室联合中科大提出CBQ后训练量化方案，仅用0.1%训练数据实现大模型7倍压缩，保留99%精度。该成果登ICLR 2025 Spotlight，已加入昇腾ModelSlim工具包。
ICML 2025 Spotlight｜华为诺亚提出端侧大模型新架构MoLE，内存搬运代价降低1000倍
华为诺亚和北大研究人员提出端侧大模型新架构MoLE。它解决传统MoE显存开销大、传输延迟高问题，推理时将专家输入改embedding token，用查找表替代矩阵运算，实验显示性能与MoE相当，大幅降推理延迟。