搜索：混合注意力机制

「混合注意力机制」共找到 1161 篇相关文章

用更一致的轨迹、更少的解码步数「驯服」掩码扩散语言模型，扩散语言模型的推理性能和效率大幅提升

扩散大语言模型发展迅猛，或成下一代大语言模型基础范式有力竞争者。复旦大学等团队发布论文，提出高效解码策略与强化学习训练组合，解决MDLM解码和训练问题，提升推理性能与效率。

随着联邦学习在物联网系统广泛应用，数据隐私保护成难题。华南理工大学与深圳北理莫斯科大学合作，提出FedMSBA和FedMAR两种防御方法，分别解决参与方梯度泄露和服务器受攻击问题，在多方面实现突破。

Elastic 中国社区首席布道师刘晓国，分享基于 Elasticsearch 创建企业 AI 搜索应用实践，介绍其向量搜索技术及 RAG 应用开发，还提及智能时代搜索需求变化、混合搜索优势及 Elasticsearch 优化改进等内容。

随着大语言模型驱动的多智能体系统快速发展，核心问题是有些系统规模扩大后会失稳、低效。美国、英国和澳大利亚研究人员提出三维分类框架描述大规模智能体网络，指出真正决定系统表现的是三种机制组合。

上海交通大学朱怡飞教授团队联合江行智能提出调度框架LLMSched，解决复合LLM应用任务运行时长和结构不确定问题。该框架重构DAG模型，用贝叶斯网络和熵减机制优化调度，实验显示最多降79%平均任务完成时间。

红杉中国推出全新AI基准测试工具xbench及相关论文，采用双轨评估体系和长青评估机制，首期发布两个核心评估集并综合排名，还提出垂类评测方法论。它能追踪模型能力与实际场景价值，解决现有评估难题。

手握约1000项专利的再生元联合创始人乔治·扬科普洛斯，在AI制药成热点时选择逆行，坚持内部研发、人类遗传学和基础生物学。他批评跟风，强调深入理解疾病机制，认为AI可增效但不能决定方向。

香港理工大学与西北工业大学联合研究指出，当前大语言模型对齐机制仅实现表层合规，预训练时内化的有害知识仍潜藏。遇数据分布偏移，模型“黑暗模式”易被激活。26个主流模型中22个在攻击下失效，凸显现有范式缺陷。

文章围绕AI原生数据库展开，分析企业应用大模型的问题，指出AI场景驱动数据库新工作负载。探讨AI数据库变与不变、实现路径，介绍原生混合搜索、现代数据架构、数模融合等，还提及seekdb的发布、定位、优势与不足。

LayerComposer革新个性化图像生成，能让用户如在Photoshop般操控元素位置、大小，解决传统方法交互性与多主体扩展难题。它有分层画布、锁定机制、模型–数据共设计三大特点，实验表现出色，未来将促进人机协同创作。