「稀疏注意力优化」共找到 1447 篇相关文章
给GRPO加上运筹外挂让7B模型比肩GPT-4！Li Auto团队发布多目标强化学习新框架 | ICASSP 2026
文本摘要质量评估需兼顾多维度，但开发者优化时易顾此失彼。Li Auto团队提出HVO，基于GRPO框架，让7B模型在摘要任务媲美GPT - 4，且生成内容更简洁，成果被ICASSP 2026接收。
为什么这篇谷歌论文被称为「Attention is all you need」V2
谷歌新论文《嵌套学习：深度学习架构的幻象》引发关注，被称为「Attention is all you need」V2。它指出主流优化器是关联记忆系统，提出嵌套学习范式，构建HOPE架构，为AI设计带来新思考框架。
DeepSeek新版R1直追OpenAI o3！实测来了：“小版本升级”着实不小
DeepSeek在端午节前更新R1新版本DeepSeek - R1 - 0528，看似小版本更新实则提升巨大，在LiveCodeBench上几乎与OpenAI o3 - high相当，实测显示编程等能力显著优化，直追闭源模型。
答对了却没看图？EASE给多模态RLVR装上「视线校正器」
强化学习与可验证奖励提升视觉语言模型推理能力，但存在答案奖励只知对错、不知证据区域问题。哈工大等团队提出EASE，把标注证据区转为目标分布，监督空间注意力，推理无额外标注，实验成绩优异。
摩尔线程算法一鸣惊人，图形学顶会夺银！已开源
12月17日，在SIGGRAPH Asia 2025上，摩尔线程凭借自研技术LiteGS在3DGS重建挑战赛中获银奖。3DGS是革命性3D场景表示与渲染技术，摩尔线程开源3DGS基础库LiteGS，实现全链路协同优化。
超强开源OCR，手写体识别能力超dots.ocr，封存多年的老文档数字化有救了。
文章推荐新开源的OCR系统Chandra，它对手写体识别做了优化，官方测评数据显示比dots.ocr强。介绍其适用于多场景及功能特点，还展示了不同场景的识别效果，建议有需求者多对比测试。
AI圈水太深：OpenAI保密、Meta作弊！国产MoE却异军突起
文章梳理大语言模型发展，从传统稠密架构到稀疏MoE架构，参数从百亿到万亿。介绍OpenAI、Meta等厂商模型，如GPT系列、Llama系列，还提及Mixtral、DeepSeek V3等。指出Meta作弊丑闻，国产MoE模型异军突起。
SGLang Hierarchical Sparse Attention 技术深度解析
阿里云等团队推出面向 Sparse Attention 的分层稀疏化框架，介绍其架构、机制与实践。此框架破解了长上下文推理时的计算与容量瓶颈，以 DeepSeek DSA 集成测试，使推理性能大幅提升，目前项目处于开发阶段。
万卡时代，企业需要怎样的算力集群？
过去两年，AI算力需求跃升，消耗从训练主导转向推理驱动。企业算力需求有突发性等特点，智算集群是关键方案。InfoQ联合腾讯云发起直播探讨，还介绍了算力供给缺口、集群构建交付、性能优化及演进方向。
谷歌Gemini一次提示能耗≈看9秒电视，专家：别太信，有误导性
谷歌报告称处理一个中位数的Gemini文本提示能耗低，2024 - 2025年单个文本提示能耗降33倍、碳足迹减44倍，归功于全栈式优化。但专家质疑其方法论，指出未算间接用水、碳排放核算不全等问题。