「两阶段注意力机制」共找到 1640 篇相关文章
精打细算虾养成指南： 省 Token 和把 AI 用好，从来就是一件事
文章指出用AI时Token成本高、模型变笨，原因是上下文管理不善。介绍了省Token和用好AI的方法，如按需取上下文、明确约束、多智能体协作、按阶段切换模型等，核心是在合适时间将合适上下文装入合适模型。
9B“小”模型干了票“大”的：性能超8倍参数模型，拿下23项SOTA | 智谱开源
智谱发布并开源仅9B大小的模型GLM-4.1V-9B-Thinking，在28项评测中拿下23个SOTA，成10B级别最佳VLM模型。它引入思维链推理机制，通过课程采样强化学习提升能力，还获10亿投资。
Qwen3技术报告首次全公开！“混合推理模型”是这样炼成的
本文首次公开Qwen3技术报告，介绍其模型架构、预训练及后训练过程、性能表现等技术细节。Qwen3整合两种模式，引入思考预算机制，降低轻量级模型计算资源，在多基准测试领先，多语言支持扩展至119种，所有模型开源。
蚂蚁·安诊儿医疗大模型：正式开源并登顶权威医疗榜单
近日，蚂蚁集团联合浙江省卫生健康委开源自研的蚂蚁·安诊儿医疗大模型。它基于蚂蚁百灵大模型架构，经深度训练，是参数规模最大的开源医疗模型。该模型在多评测中表现出色，有三阶段训练流程，架构高效、推理快，已开源助力行业发展。
基于Memory Bank的Cursor长会话记忆内存库理论研究与实践
文章围绕Memory Bank展开，介绍其为解决大模型长会话记忆瓶颈而设计的机制，包括存储、检索、更新模块。阐述其在编程和知识库建设的应用，还评测了Codelf等工具，指出Memory Bank是AI迈向智能的重要一步。
5张 H800 带来 20 FPS 高保真实时虚拟人生成
传统扩散模型做视频生成速度慢、画面不稳定，难用于实时虚拟人场景。阿里Live Avatar框架将算法和系统一起设计，用TPP并行推理策略和RSFM机制等，5张H800 GPU能实现20 FPS高保真实时虚拟人生成。
基于大模型的领域场景开发：从单智能体到多智能体的React框架设计与实现
作者团队经历从提示词工程到流程编排模式各阶段，现设计架构升级，选用层级指挥模式的React框架，实现单智能体对工具调用的反思规划，后续还将迭代实现多智能体协作，同时提及技术选型、系统架构等内容。
RAG技巧与底层代码剖析
文章深入剖析 RAG 技巧与底层代码，从用 Python 基础库构建 RAG 系统，到多种优化方法如上下文增强检索、添加上下文块标题等，还涉及查询改写、重排序等技术，最后介绍了上下文压缩、反馈机制等提升系统效率和质量的方法。
浙大&港理工等提出InfiGUI-R1：利用强化学习，让GUI智能体学会规划任务、反思错误
多模态大模型驱动的GUI智能体有潜力，但现有智能体面对复杂任务力不从心。浙大等机构提出InfiGUI-R1及Actor2Reasoner框架，通过两阶段训练提升智能体能力，InfiGUI-R1-3B在多基准测试中性能卓越，为GUI自动化工具开辟新道路。
只需一次指令微调，大模型变身全能专家天团，8B模型性能反超全微调基线 | ACL25 Oral
预训练大模型适应专业领域需高昂微调成本，稀疏混合专家架构虽能提升推理效率，但从头训练耗资源。浙大与Thomson Reuters团队提出SIMoE，单阶段微调就能升级大模型，还解决传统方法两大局限，在性能和效率上双突破。