搜索：次平方稀疏注意力

「次平方稀疏注意力」共找到 291 篇相关文章

人格向量：大模型性格的数学解码与精准操控

大语言模型在应用中会出现危险行为偏移与训练引发的非预期偏移，传统方法难监控干预。本文发现人格特质在线性方向表现为“角色向量”，实现提前预测、实时监控和主动控制，为AI安全提供数学框架。

上海交通大学等团队提出 Data Whisperer，首个免训练的注意力驱动数据选择框架。它利用模型自身能力打分挑数据，无需训练与人工标注，用 10% 数据让微调效果逼近全量数据，在多方面领先传统方法。

继今年2月发布Qwen3.5系列后，阿里推出Qwen3.6多个开源权重版本。Qwen3.6优先保障稳定性与真实场景可用性，为开发者提供更好编码体验。介绍了Qwen3.6 - 27B和Qwen3.6 - 35B - A3B亮点。

阿里开源稀疏 MoE 模型 Qwen3.6-35B-A3B，总参数 35B，激活 3B。它在智能体编程上超越前代，可与稠密模型媲美，支持多模态，已在 Qwen Studio 上线，还能集成第三方编程助手。

北大团队发布GENIUS，用于评估模型生成式流体智力。它构建含510个样本、20个子任务的评测集，测试模型多方面能力。实验显示当前模型流体智力有短板，还提出免训练注意力校准机制提升性能。

尽管LLM能力提升，但复杂任务表现受静态知识限制。业界提出Agentic Deep Research系统，现存系统训练有梯度冲突和奖励稀疏问题。蚂蚁团队提出Atom - Searcher，创新推理范式，构建细粒度奖励，结合奖励训练，实验效果佳。

清华大学Ran Duan、Longhui Yin团队发表论文，提出确定性新算法，在稀疏图上表现超经典Dijkstra算法。新算法时间复杂度为`O(m log²/³ n)`，不维护全局有序顶点队列，应用前景广，可节省计算资源。

OpenAI 可能发布的开源大模型细节泄露，包含两款模型，1200 亿参数 MoE 模型和 200 亿参数稠密模型，专注文本处理。还涉及训练技术、激活函数、上下文窗口、注意力机制及底层架构等方面的技术细节。

如今强化学习在多领域成果显著，但在长跨度、稀疏奖励任务中表现欠佳。加州大学伯克利分校研究者提出Q - chunking方法，将动作分块引入基于时序差分的强化学习，解决探索效率和值传播问题，实验表现优异。

阿里通义千问发布Qwen3.5系列四款小模型，采用Gated DeltaNet混合注意力机制。有原生多模态设计，解决“内存墙”问题。在多基准测试中表现出色，开发者反响好，但也存在幻觉级联、调试局限等问题。