搜索：推理优化技术

「推理优化技术」共找到 5322 篇相关文章

阿里云客服Agent业务提效实践：灵活可控的落地方法论

阿里云算法专家姜剑介绍了“阿里云服务领域 Agent 平台”及业务提效方法论。阐述 Agent 技术本质、模式，分析其给客服领域带来的价值，指出阿里云客服痛点，提出解决设计问题的方法，展示平台设计与落地成果。

Anthropic论文登上Nature，揭示AI模型仅通过纯数字序列就能继承另一模型的危险偏好。研究表明，即使删掉敏感词，隐性信号仍能传递，且代码和推理链也是传染通道，这对AI安全评估提出新挑战。

文章围绕AI在企业中的应用展开，探讨AI预算分配、build vs buy、岗位替代等问题。指出AI预算将按人分配，建东西变便宜但有瓶颈，高层瓶颈更适合先被AI优化，代码审查或成高风险环节。

两天前，DeepSeek悄无声息把R1论文从22页更新到86页，将其升级为开源社区可复现的技术报告。新论文干货多，如精确数据配方、基础设施说明等，且多项实力媲美甚至赶超OpenAI等闭源模型。

文章围绕CUDA本地内存展开，介绍其为线程私有存储空间，访问特性与全局内存类似。通过两个计算滑动平均值的CUDA kernel示例，展示数组索引复杂度对存储位置的影响，还给出判断存储位置的方法及优化建议。

上海创智学院和上海交通大学研究团队深入探讨不同基础语言模型在强化学习训练中的差异，提出中期训练策略，将 Llama 改造成适配 RL 的推理基础模型，缩小与 Qwen 性能差距，还发布了 MegaMath-Web-Pro-Max 数据集。

2025年全球开源软件项目数量增长，中国企业贡献显著。字节跳动在火山引擎原动力大会开源开发者日上，多位负责人分享开源经验，探讨其为AI Agent带来的技术改变，展示解决行业痛点的理念与实战经验。

斯坦福研究显示，AI Agent每次调用62%内容重复，现有前缀缓存虽有优化但天花板低，阿里云数据表明多数缓存块利用率低。LMCache将缓存管理独立，解决性能问题，其CacheBlend技术复用缓存，适配多引擎和存储后端。

随着高分辨率图像与长视频处理需求增长，大型视觉语言模型推理效率成瓶颈。V²Drop从视觉Token内在变化量出发，采用多阶段渐进式剪枝策略，实现无损加速，在图像和视频理解场景表现卓越。

阿里发布总参数超万亿的Qwen3 - Max - Thinking，预训练数据规模达36T Tokens。在多项权威测试中表现优异，能与顶级闭源模型竞争。引入两项核心创新，千问App等已上新，网友认可其能力与更新速度。