推理优化技术」共找到 5270 篇相关文章

产品应用8

阿里Qwen 3.7 Max:35小时自主编程,Claude跟不上了?

阿里云峰会发布的Qwen 3.7 Max,在优化平头哥芯片推理内核任务中,35小时让推理速度快10倍。它在多基准表现出色,编程、推理、办公自动化全面开花,但闭源且实验室场景与现实有差距。

CourseAI
开源动态8

10% KV Cache实现无损数学推理!这个开源方法解决推理大模型「记忆过载」难题

推理大模型推理时易现冗余问题,R-KV开源方法登场,显存降90%、吞吐提6.6倍、准确率达100%。它通过实时对token排序解决冗余,还经多步骤压缩KV缓存,性能测试表现出色,适用多场景。

量子位
开源动态8

SGLang Hierarchical Sparse Attention 技术深度解析

阿里云等团队推出面向 Sparse Attention 的分层稀疏化框架,介绍其架构、机制与实践。此框架破解了长上下文推理时的计算与容量瓶颈,以 DeepSeek DSA 集成测试,使推理性能大幅提升,目前项目处于开发阶段。

阿里云开发者
算法论文7

The Batch: 863 |推理提高了碳排放

新研究量化推理模型时代提供更优答案的环境成本,研究人员估算14个开源权重的大模型碳排放,发现推理与排放存在权衡关系,还指出战略性部署可降低排放。

DeeplearningAI
开源动态8

阿里Qwen3技术报告核心要点解读!

阿里Qwen3技术报告发布,披露模型架构、预训练及后训练等技术细节。其有密集与混合专家两种模型架构,预训练数据量和语种增多,后训练采用强到弱蒸馏提升性能,各模型表现优异。

PaperAgent
推荐文章7

具身智能中的 VLA 技术及其应用

文章围绕具身智能中 VLA 技术展开,介绍其现状、挑战、架构、数据方案及部署等内容。指出 VLA 虽推动具身智能发展,但面临数据、模型结构等挑战,还探讨了不同架构优劣及未来探索方向。

InfoQ
新闻资讯7

新版Claude曝光:“极限推理”成最大亮点

O家刚免费上线GPT - 4.1,A家新版Claude Sonnet和Claude Opus被曝即将发布,亮点是“极限推理”,能在推理和工具使用间建立动态循环,更智能处理问题,预计未来几周发布,虽有网友质疑,但也有实测证据。

量子位
推荐文章7

什么是芯片可测性设计(DFT)技术

在芯片复杂度增加、测试难度增大的背景下,DFT技术应运而生。它是在芯片设计阶段引入测试逻辑的方法,分功能和制造测试,有扫描链、MBIST、边界扫描等核心技术,能提高测试效率、降低成本、缩短开发周期。

芯师爷
算法论文7

The Batch: 939 |在推理阶段学习长上下文

大型语言模型处理长上下文时通常准确性降低、速度变慢,研究人员提出TTT - E2E方法,通过推理时训练模型将上下文压缩到transformer权重中,还展示了其运作方式、测试结果等。

DeeplearningAI
推荐文章7

我用了13年,与SEO前辈们出现在一起。白杨SEO从网站优化到AI搜索优化经历分享,百度SEO不放弃!

白杨SEO分享从网站优化到AI搜索优化经历,讲述入行缘由、职场项目,介绍自由职业业务,分析百度SEO阶段与变化,建议别放弃,还给出对SEO未来看法,如回归国外、做新媒体SEO等。

白杨SEO优化教程