「AI推理加速」共找到 11290 篇相关文章
借助CoT监管AI？OpenAI、谷歌、Anthropic等罕见联合发文：AI系统安全的新机遇！
OpenAI等支持新研究论文，其指出高级AI不透明性有潜在风险，而‘推理模型’用自然语言推理带来可解释窗口，CoT监控可检测不当行为、发现早期信号等，但也存在使监控性下降的因素。
混合数学编程逻辑数据，一次性提升AI多领域强化学习能力 | 上海AI Lab
上海AI Lab的OpenDataLab团队通过大规模实验剖析RLVR在多领域推理机制。构建多领域评估框架与定制奖励策略，基于Qwen2.5 - 7B系列模型联合训练，有多项关键发现，为构建AI推理模型提供参考。
AI HR 挑选AI 简历，招聘市场正变成一场AI与AI的对决
LinkedIn求职申请过去一年激增45%，生成式AI是推手。求职者用ChatGPT优化简历、用AI代理申请，招聘方则用AI筛选和面试，还面临虚假身份问题。这引发对工作意义和真诚价值的思考。
推理快30%，性能超过千亿参数模型，15B模型Apriel-1.6重新定义端侧推理
ServiceNow人工智能团队发布的Apriel-1.6-15b-Thinker，以150亿参数体量，多模态推理能力强，推理Token消耗降超30%。它在AI分析指数成绩佳，优化计算成本，还介绍了训练策略与多维度性能实测情况。
曦望，死磕AI推理成本｜甲子光年
1月27日，国产GPU厂商曦望发布新一代推理GPU芯片启望S3等。启望S3面向大模型推理定制，设计系统级重构，单位Token推理成本降约90%。曦望还推出超节点方案及推理云计划，目标是极致推理性价比。
9 个加速开发者生产力的开源 AI 与 MCP 项目
Github官方精选9个开源项目，分框架与平台集成、开发者体验及AI增强编码、自动化与测试编排三大主题。各项目聚焦不同功能，如将MCP嵌入框架、语义理解辅助编码、安全执行调试等，能加速开发者生产力。
大模型推理加速全链路：内存管理、编译优化、量化与并行策略
本文整理自金煜阳博士在QCon大会分享。介绍大模型推理挑战，如规模增大、架构复杂。阐述算子优化、内存管理、量化、异构调度和并行优化方法，还介绍开源推理引擎赤兔在国产芯片的实践成果。
吴恩达：AI编程加速开发也埋下大坑，软件测试空前重要
吴恩达认为AI编程虽加速开发，但Agentic编码系统不可靠，会引入漏洞、删除代码等。他给出核心解法，利用Agentic测试，优先测后端和底层架构，还明确测试优先级，前端低、后端高。
GAIR Paper 106｜追踪视觉 Token 的演化轨迹，实现无损压缩与 60% 推理加速｜CVPR 2026
近年来大视觉语言模型虽推动多模态智能发展，但推理成本高昂。山东大学和MBZUAI团队提出TransPrune，从演化视角衡量视觉Token重要性，保持性能无损同时降低60%推理成本。
算法1年翻倍，芯片2年翻倍？重磅实锤：AI正在自我加速，拦不住了
NBER论文证明AI研发自我加速反馈环强度远超其他科技领域，芯片效率每2年、算法效率每1年翻倍。部分自动化就能引爆反馈环，全行业13%自动化率或软硬件17%自动化率可触发奇点，6年内AI可能实现自我迭代。