「推理算法优化」共找到 3340 篇相关文章
让本地大模型不再重复推理的缓存技巧
本地跑大模型时，同样问题换说法问，模型又要重新推理。`constraint-cache`这个Python库可解决此问题，它将语义相似查询规范化为统一缓存键，实现近乎即时的重复查询响应，还避免了随机性响应问题。
AICon 2025 深圳回顾：AI Agent 爆火全场，管理与推理优化成新焦点
2025年8月22 - 23日，AICon全球人工智能开发与应用大会在深圳落幕。70 + 嘉宾、800 + 开发者与企业代表参会。AI Agent成全场焦点，企业管理议题意外走红，展示了AI深入企业核心与管理的行业图景。
图解GPT-OSS：架构、消息格式与推理机制等
OpenAI发布首个开源大模型GPT-OSS，虽性能无惊喜，但设计思路有意思。其架构是经典延续，消息格式有巧思，支持三档推理模式，分词器有小进步，这些设计在实际应用和理论上有一定价值。
斯坦福：优化器「诸神之战」？AdamW 凭「稳定」胜出
斯坦福大学 Percy Liang 团队研究指出，虽有不少声称能显著加速的优化器替代方案，AdamW 仍为预训练稳健首选，但矩阵型方法在特定数据–模型比例下优势明显。研究还揭示了现有研究的方法论缺陷。
当 AI 下场炒 A 股，「推理」成了新的直觉
海外“AI Trading Battle”实验中，不同大模型交易表现差异大。港科大等团队提出RETuning方法，基于A股数据集验证，显著提升大模型金融预测准确率、推理可解释性，是综合改进方案，但有算力等局限。
多尺度特征融合：原理、结构与实用算法案例
文章介绍多尺度特征融合技术，它结合网络不同层次特征以捕获丰富上下文信息，在目标检测等任务广泛应用。阐述原理、常用方法，介绍FPN、U - Net等结构，并给出基于这些结构的实用算法案例与Python代码。
AI生成苹果Metal内核，PyTorch推理速度提升87%
Gimlet Labs研究显示，AI能自动生成苹果芯片Metal内核，使PyTorch推理速度提升87%，在215个PyTorch模块上平均加速1.87倍。多个模型组合生成最优内核概率更高，不过研究对比方式遭质疑。
谷歌新研究：大模型“吵架”有利于提升推理质量
谷歌新研究发现高级推理模型自发进化出'思想社会'，研究人员用LLM - as - judge方法识别出多个虚拟人格。还找到控制现象的'开关'，实验表明教AI'吵架'更有效，其'社交技能'通用，给开发者带来新启示。
sgl-kernel MoE Align Block Size Kernel 优化过程解析
文章记录SGLang的sgl-kernel中优化 `moe_align_kernel.cu` 的过程。MoE模型的 `moe_align_block_size` kernel从最初的baseline版本经多次迭代，包括加向量化padding、用Blelloch Scan并行化前缀和、用Warp Scan减少同步开销等。
AI Agent平台Sedai获2000万美元融资，主打云优化
AI Agent平台Sedai获2000万美元B轮融资，由AVP领投。它聚焦云优化，用智能体取代人工运维，节省成本。产品应用广泛，核心能力突出，2024年收入增长7倍，计划扩平台、引新功能、扩市场团队。