「推理性能优化」共找到 4171 篇相关文章
黄仁勋暴论核弹：AGI已经实现，Ilya错了，程序员有10亿
在Lex Fridman的专访中，黄仁勋抛出诸多惊人观点，如称已实现AGI，反驳Ilya“预训练触顶”言论，认为推理计算难且重要，还对未来技术、行业、职业发展等多方面进行展望。
结构化扩展拿下Agent工具检索新SOTA，精准找到API｜ICLR'26
宁波东方理工大学沈晓宇团队在ICLR 2026发表论文，指出当前工具检索瓶颈在于工具文档。提出对文档结构化扩展，再训练模型的方案，构建TOOL - REX等组件，实验显示显著提升检索性能。
GPT-5.3 Instant上线：ChatGPT终于不说教了
3月4日OpenAI更新GPT - 5.3 Instant，它重点优化为更准确、少尴尬，情商更高废话更少，联网搜索和写作能力增强，幻觉率降低。还提到GPT - 5.4已泄露，功能强大且将很快到来。
告别JSON冗余：TOON让Token成本降低30-60%
LLM交互用JSON有冗余，成本高、速度慢。TOON格式专为LLM优化，结合YAML和CSV特点，比JSON减少30 - 60%的token消耗，还介绍了特性、上手方法、集成实践和适用场景。
字节清华智能体自动写CUDA内核，比torch.compile加速2.11倍
字节Seed与清华AIR团队开源CUDA Agent，在GPU内核优化基准KernelBench上成绩优异。它是大规模智能体强化学习系统，训练数据经多阶段构建，分阶段训练，全面超越商业模型，还开源了训练数据集。
用户被通知烦到关掉 Instagram？Meta：我们反思了，用 AI 给自己“限流”
Meta为Instagram推出新机器学习排序框架，引入‘多样性算法’，在现有互动模型上加‘多样性过滤层’，通过‘乘性惩罚’减少重复内容推送，解决通知疲劳，还计划探索新策略和用大语言模型优化。
硅谷今夜集体失眠！互联网女皇340页AI报告猛料刷屏，大佬熬夜头秃
互联网女皇Mary Meeker暌违六年，发布340页《AI趋势报告2025》。报告指出AI使用成本下降，推理成本暴跌，中国模型以低成本崛起，中美在AI模型争霸，还提及ChatGPT的辉煌与未来潜在挑战等。
LLM省钱大测评！48块GH200，首个百亿级参数量实证
EfficientLLM项目聚焦LLM效率，提出三轴分类法和六大指标，实验覆盖多方面。研究表明效率优化需权衡，最优策略因任务和模型规模而异，且相关技术可迁移到跨模态模型，成果将开源。
LLM的“记忆外挂”来了！Supermemory新API：一行代码让LLM记忆“无限+省钱90%”
Supermemory公司发布Infinite Chat API，能让任何LLM有近乎无限上下文长度。用户一行代码就能切换，可扩展上下文、省90%成本、提性能，已上线，有免费试用额度，后续有固定费用和用量计费。
苹果AI选Mamba：Agent任务比Transformer更好
苹果新研究指出，在长任务、多交互的Agent式任务中，基于SSM架构的Mamba在效率与泛化能力上超Transformer。虽Mamba有局限性，但引入外部工具后性能显著提升。