「注意力改造」共找到 273 篇相关文章
EMNLP 2025 | 动态压缩CoT推理新方法LightThinker来了
随着AI发展，大语言模型处理复杂推理任务能力提升，但推理产生大量中间步骤和文本，拖慢计算速度、增加资源压力。研究者提出LightThinker，模仿人类思考模式，动态压缩推理步骤，削减tokens数量，降低成本。
对标GPT-4o和香蕉！浙大开源ContextGen：布局身份协同新SOTA
浙江大学ReLER团队开源ContextGen框架，攻克多实例图像生成中布局与身份协同控制难题。基于Diffusion Transformer架构，用双重注意力机制实现布局精准锚定与身份高保真隔离，在基准测试中超越开源SOTA模型，对标GPT - 4o等闭源系统。
钉钉做多维表，最大的底气是自家的电商
钉钉创始人无招回归后对产品走查改造，还拆付费墙，多维表全功能免费。它类似Excel但侧重协同，借阿里电商体系优势推行业化应用，解决AI落地难题，是实用的数智化小工具。
Agent 的第一性问题：Proactive 与 Context 经济学
过去一年AI Agent能力提升，但用户体感未同步变好，原因在于人类注意力窗口有限。赛道分化，主动式桌面Agent是新方向，AirJelly是代表产品，五源资本对其创始人黄柏特进行访谈，探讨产品设计、应用场景等问题。
对谈CREAO：20人团队、每天上线8个功能，在Pivot产品之前，我们先Pivot了组织
CREAO 创始人程凯等分享创业历程。最初产品用 AI 构建传统软件未成功，后先对组织进行 AI Native 改造，围绕 AI 重新打造开发流程，推出 Super Agent 产品，核心是 Coding Agent，上线两周获超 3000 万美元融资。
万字长文！大模型LLM推理优化技术总结
文章围绕大模型LLM推理优化技术展开，先介绍LLM推理各阶段、批处理、KV缓存等概念及内存需求，再阐述模型并行、注意力机制优化、模型优化和模型服务等技术，如Pipeline并行、MQA、量化、动态批处理等。
WAIC现场最“聪明”展台！AI眼睛耳朵能力全打开了
WAIC现场，声网展台被观众挤爆，其新奇“AI玩具”都能与玩家流畅对话。声网对话式AI引擎全新升级，新增选择性注意力锁定、视觉理解能力，能与主流数字人方案集成，还可接入大模型，价格低。它已在多领域落地。
Qwen3-Next全新架构，32K场景MTP吞吐提升10倍
随着模型大小和上下文长度增加，为应对成本和部署挑战，Qwen3 - Next有突破性架构创新，解决上下文长度和总参数缩放问题。它采用混合注意力、超稀疏MoE等，MTP机制让其长上下文推理吞吐量比前身高10倍以上。
MiniMax-M1：全球首个开源超长上下文大模型，超越DeepSeek-R1，推理成本仅1/4
MiniMax-M1是全球首个开源超长上下文大模型，刷新三项记录。它采用混合专家架构，闪电注意力让推理复杂度近乎线性增长。CISPO算法加速训练，成本低。在工业级任务测试表现佳，已开源且方便开发者接入。
杀疯了！单卡4090跑通全量微调，面壁1B级多模态性能怪兽硬刚大厂
面壁智能推出MiniCPM-V 4.6，参数约1B，性能和推理效率出色。它在多模态任务综合能力、推理速度上领先竞品，靠ViT架构改造和4倍/16倍混合视觉Token压缩实现创新，有工业验证，对开发者和普通用户意义大。