搜索：线性注意力模块

「线性注意力模块」共找到 501 篇相关文章

TruthfulRAG，用知识图谱硬刚RAG知识冲突

RAG系统存在知识冲突问题，现有解决方法治标不治本。TruthfulRAG将非结构化文本转化为结构化事实，通过图构建、图检索、冲突解决三大模块解决冲突，实验显示其表现优异，结构化表示还提升了LLM置信度。

奥特曼宣布几周内发布ChatGPT新版本，12月推成人模式，让其重获个性化“灵魂”。这似在抄马斯克Grok作业，背后是为AI产品增长，当下AI之战已演变成争夺用户注意力和多巴胺的战争。

上海人工智能实验室推出深度科研智能体FlowSearch，它由动态结构化知识流驱动，有三大核心模块。在多个科研基准上性能领先，能让科研更高效，标志科研智能体迈向新阶段，还为未来系统奠定基础。

英伟达研究者提出新混合架构语言模型 Jet - Nemotron，在达 SOTA 全注意力模型精度时效率卓越，2B 版性能超 Qwen3 等，H100 GPU 上生成吞吐量最高加速 53.6 倍，基于 PostNAS 和 JetBlock 两大创新。

港中文（深圳）和上海交通大学团队提出 StreamBP 算法，通过线性分解和分步计算，将大语言模型训练激活值内存降至梯度检查点的 20%，在相同内存下最大序列长度为其 2.8 - 5.5 倍，代码已开源。

研究首次揭示人类偏好建模遵循Scaling Law，从论坛收集数据在Qwen 2.5模型训练，发现测试损失随训练规模指数增长线性下降。提出建模世界偏好，论文和模型已开源，还探讨了偏好建模可扩展性等问题。

本文围绕美国数据市场展开，分析了数据赛道的投资判断、公司增长难题、需求结构、最新趋势等。指出数据虽重要，但外部数据公司份额难线性外推；真实世界数据成新热点，各细分领域格局和投资方向不同。

市场曾质疑AI资本开支高增长的持续性，如今随着头部模型公司ARR非线性爆发式增长，AI商业正向循环打通。在AI硬件产业链中，光互联是国内厂商全球参与度最高、份额最稳固的环节，正迎来最好时代。

阶跃星辰发布最强模型 Step 3.5 Flash，参数强大，性能与前沿顶级大模型并驾齐驱。其架构平衡算力与智力，有独特注意力布局；基础设施保障训练稳定；强化学习激发智能体潜能；评测数据显示战斗力强，未来还将持续优化。

文章从历史时间线出发，介绍AI诞生、发展历程，涉及细分技术模块。结合案例说明AI在不同阶段的应用，如早期机器翻译、垃圾邮件过滤。还探讨AI大模型、智能体等概念，分析调优方法和‘幻觉’问题，展望其未来前景。