搜索：私有知识注入

「私有知识注入」共找到 629 篇相关文章

ICML 2025 | 注意力机制中的极大值：破解大语言模型上下文理解的关键

ICML 2025新研究揭示，在使用RoPE的现代Transformer模型里，注意力机制Q和K表示有集中极大值，V表示无此模式。研究通过实验明确极大值与上下文知识理解的联系，对模型设计、优化和量化有重要启示。

ICML 2025新研究揭示，在使用旋转位置编码 (RoPE) 的现代Transformer模型中，注意力机制的查询 (Q) 和键 (K) 表示存在集中极大值，而值 (V) 表示无此模式。研究通过实验揭示其与上下文知识理解的关键联系。

OpenAI宣布美国用户可免费使用集成于ChatGPT的AI研究助手Deep Research。OpenAI负责人分享其背后故事，探讨起源、人类专家数据作用等，还提及RFT时机、代理安全性等，并展望其能访问私有数据，适用于具体任务。

Anthropic 发布 Claude Opus 5，定价与 Opus 4.8 相同，价格是 Fable 5 的一半。它在编码、知识工作和推理上表现出色，虽有不足，如速度慢、幻觉率较高，但提供多种 effort 等级，成本低，安全对齐性好。

大模型推理能力难迁移到小模型，现有强化学习方法如GRPO在小模型上性能提升有限。香港中文大学（深圳）唐晓莹教授团队提出G²RPO - A算法，缓解小模型奖励稀疏问题，在多模型实验中表现优于vanilla GRPO。

Anthropic与MIT等研究表明，LLM能‘感知’被注入的steering vector，‘内省意识’在DPO等后训练阶段涌现。研究构建实验，发现内省能力行为稳健、检测非简单线性关联等，还揭示检测与识别机制不同及两阶段电路。

新智元报道，硅谷科技巨头将AI注入基督教领域，出现如「Text with Jesus」等App。信仰交互变即时亲切，神成算法打造的伴侣。但也有争议，如算法妥协、恶魔付费解锁等，这像数字巴别塔，挑战传统信仰。

近年来，“参数越大，能力越强”成行业共识，但带来成本高和资源集中问题。微博AI团队开发的VibeThinker - 1.5B用1.5亿参数和低训练成本，在多项测试中超越头部大模型，还提出SSP框架和MGPO算法。

现有GraphRAG模型在实际应用中常不如朴素RAG，原因是自动构建的知识图谱质量不佳。LinearRAG框架通过Tri - Graph架构、两阶段精准检索和零Token范式重构GraphRAG，在多数据集上超越现有方法，代码和数据已开源。

本文介绍快手提出的电商搜索端到端生成式框架 OneSearch。它有三大创新，包括 KHQE 模块、用户行为序列注入策略、偏好感知奖励系统。实验显示它在多方面提升显著，已部署于快手电商搜索场景。