「推理性能优化」共找到 4188 篇相关文章
CUDA-MODE第77课课程笔记：用于GPU kernels的DSL
该课程笔记由Tri Dao介绍GPU kernel开发的DSL生态，涵盖PyTorch、Triton、Cute - DSL等。提出计算效率评估公式，对比不同DSL在Softmax、GEMM等操作的性能。还提及其他DSL工具与Triton扩展项目，并给出使用建议。
开放全栈！超越π0，具身智能基础大模型迎来真·开源，开发者狂喜
继π0后，具身智能基座模型WALL - OSS正式开源，多项指标超越π0。它是通用多模态具身模型，具良好推理和泛化能力。背后自变量机器人刚完成近10亿A + 轮融资，开源将降低具身智能门槛。
Graph工程的尽头是，Ontology工程
15家机构联合发布图工程系统性综述，指出此前“XX工程”范式多优化单个智能体，而图工程能将智能提升到系统层面。论文还指出图工程语义局限，认为本体工程可作下一代系统智能语义地基。
GPT之父把AI扔回1930年：没见过一行代码，却「发明」了Python！
GPT之父Alec Radford带队发布总参数130亿的大模型「talkie」，其训练数据冻结在1930年，没学过编程却能写Python代码，证明LLM可用旧知识推理。团队后续还有升级计划。
安谋科技Arm China“玲珑”VPU IP来了！瞄准这些应用场景
安谋科技Arm China推出面向AI应用的新一代VPU IP——“玲珑”V560/V760。该产品性能硬核，是“六边形战士”，集高性能、高鲁棒性等六大特性于一身，已完成首批客户授权，助力AI时代视频处理。
实测最强的Cowork Agent模型M2.7，这是龙虾最好的模型搭子
实测MiniMax新发布的M2.7模型，解决了Agent的笨拙感，是国内最强的Cowork Agent模型。它技能命中率高，能自进化，对办公场景做了优化，还能解决生产效率问题，加强了人设保持能力。
突破万次连续编辑极限！中科院提出首个理论保稳的知识保留方法
中科院信工所研究人员提出LyapLock，将连续编辑建模为受约束随机规划问题，整合排队论和李雅普诺夫优化。实验显示，它能突破万次连续编辑极限，编辑效果比主流方法提升11.89%，还可赋能现有模型。
面壁MiniCPM-SALA模型，稀疏-线性注意力，单卡吞吐百万上下文
面壁智能团队提出SALA，基于此训练的MiniCPM-SALA模型，在单张A6000显卡实现百万token超长上下文推理，训练成本降约75%。它结合稀疏与线性注意力，采用混合架构，继承权重降低成本，在长文本处理上优势明显。
解决智能体手工构造难题！ 浙大&腾讯提出 ReCreate，从零自动构建领域智能体
浙大、腾讯等机构研究者提出ReCreate框架，不依赖手工设计，让智能体自主构建。它从交互经验中找优化方向，有三重设计，实验显示能提升多领域任务通过率、降成本，未来或开启AI“自我制造”时代。
TPAMI | DC-SAM：打破SAM交互限制，基于循环一致性的图像与视频上下文分割方法
北京邮电大学联合南洋理工大学等机构发表论文，提出 DC - SAM 框架及 IC - VOS 基准。DC - SAM 含特征融合、正负双分支循环一致性提示生成等部分，实验在多基准测试获 SOTA 性能，为视觉大模型落地提供方案。