「推理成本」共找到 3256 篇相关文章
AI基础架构重大突破，计算成本暴降38倍
Perforated AI团队搞出‘穿孔反向传播’技术，给旧神经元加‘人工树突’。测试中计算成本最高降38倍，模型准确率不降反升，还近乎即插即用。这或引发行业变革，但也面临验证、生态和收费等挑战。
让本地大模型不再重复推理的缓存技巧
本地跑大模型时，同样问题换说法问，模型又要重新推理。`constraint-cache`这个Python库可解决此问题，它将语义相似查询规范化为统一缓存键，实现近乎即时的重复查询响应，还避免了随机性响应问题。
图解GPT-OSS：架构、消息格式与推理机制等
OpenAI发布首个开源大模型GPT-OSS，虽性能无惊喜，但设计思路有意思。其架构是经典延续，消息格式有巧思，支持三档推理模式，分词器有小进步，这些设计在实际应用和理论上有一定价值。
当 AI 下场炒 A 股，「推理」成了新的直觉
海外“AI Trading Battle”实验中，不同大模型交易表现差异大。港科大等团队提出RETuning方法，基于A股数据集验证，显著提升大模型金融预测准确率、推理可解释性，是综合改进方案，但有算力等局限。
AI生成苹果Metal内核，PyTorch推理速度提升87%
Gimlet Labs研究显示，AI能自动生成苹果芯片Metal内核，使PyTorch推理速度提升87%，在215个PyTorch模块上平均加速1.87倍。多个模型组合生成最优内核概率更高，不过研究对比方式遭质疑。
谷歌新研究：大模型“吵架”有利于提升推理质量
谷歌新研究发现高级推理模型自发进化出'思想社会'，研究人员用LLM - as - judge方法识别出多个虚拟人格。还找到控制现象的'开关'，实验表明教AI'吵架'更有效，其'社交技能'通用，给开发者带来新启示。
1/15成本，实现AI水印新SOTA | 南洋理工大学&A*STAR
给AI生成作品打水印成行业共识，但传统方法有短板。南洋理工大学等机构研究人员提出局部鲁棒图像水印方法MaskMark，成本仅为Meta模型WAM的1/15，在多任务中表现优异。
复杂空间推理新SOTA，性能提升55%！中山大学新作SpatialDreamer
中山大学等机构推出SpatialDreamer，模拟人类空间认知过程，构建闭环推理流程，还提出GeoPO解决奖励稀疏问题，构建SpatialDreamer - SFT数据集。实验显示其在多基准达SOTA，为AI空间智能发展开辟新路径。
吴昊：AI 重构 SaaS，成本降百倍需求增千倍
SaaS市场经历‘惊魂六十天’，‘SaaS终结论’甚嚣尘上。但吴昊指出，AI让软件开发成本降100倍、需求增1000倍，会使行业洗牌，旧护城河崩塌，新壁垒出现，企业需转型。
无需验证器的RL：RLPR解锁LLM通用推理潜能
现有依赖强化学习与可验证奖励（RLVR）提升大语言模型（LLM）推理能力的方法，受限于领域特定验证器。本文提出RLPR框架，利用LLM生成正确答案的固有概率作奖励信号，实现无需外部验证器的通用领域强化学习，效果显著。