搜索：混合注意力机制

「混合注意力机制」共找到 1161 篇相关文章

扩散模型+自进化：这篇论文让Deep Researcher错误率直降70%

论文提出测试时扩散深度研究代理（TTD-DR），将报告生成建模为扩散过程，有组件自进化机制和动态闭环设计。实验显示其在多领域研究任务超现有方案，为AI研究助手落地提供新范式。

华东师大&字节跳动系统回顾基于强化学习的MLLMs推理进展，涵盖关键算法设计、奖励机制创新及实际应用，探讨了RL在LLMs/MLLMs中的关键设计与优化策略，还涉及多模态大模型推理多方面内容。

智谱发布并开源仅9B大小的模型GLM-4.1V-9B-Thinking，在28项评测中拿下23个SOTA，成10B级别最佳VLM模型。它引入思维链推理机制，通过课程采样强化学习提升能力，还获10亿投资。

4月27日，AlphaGo之父David Silver创办的Ineffable Intelligence获11亿美元种子轮融资，投后估值51亿美元。该公司押注强化学习和自我经验学习，试图挑战大模型主线。未来或采用大模型预训练和强化学习混合路线。

云原生场景下，资源超卖和混合部署使宿主机与容器化应用资源竞争加剧，引发内核级延迟问题。本文结合实战案例，介绍用ack - sysom - monitor Exporter分析定位内核延迟，还介绍了SysOM监控及解决系统延时的方法。

文章围绕Memory Bank展开，介绍其为解决大模型长会话记忆瓶颈而设计的机制，包括存储、检索、更新模块。阐述其在编程和知识库建设的应用，还评测了Codelf等工具，指出Memory Bank是AI迈向智能的重要一步。

传统扩散模型做视频生成速度慢、画面不稳定，难用于实时虚拟人场景。阿里Live Avatar框架将算法和系统一起设计，用TPP并行推理策略和RSFM机制等，5张H800 GPU能实现20 FPS高保真实时虚拟人生成。

面壁智能推出MiniCPM-V 4.6，参数约1B，性能和推理效率出色。它在多模态任务综合能力、推理速度上领先竞品，靠ViT架构改造和4倍/16倍混合视觉Token压缩实现创新，有工业验证，对开发者和普通用户意义大。

文章深入剖析 RAG 技巧与底层代码，从用 Python 基础库构建 RAG 系统，到多种优化方法如上下文增强检索、添加上下文块标题等，还涉及查询改写、重排序等技术，最后介绍了上下文压缩、反馈机制等提升系统效率和质量的方法。

Kimi K2.5登上Hugging Face热榜榜首，下载超5.3万。它主打Agent能力，成绩超GPT - 5.2等闭源模型，性价比高。官方技术报告公开其用15T数据训练，还搭载Agent Swarm架构，团队还剧透了Kimi K3。