「文本判别知识蒸馏」共找到 940 篇相关文章
ICML 2025 | 注意力机制中的极大值：破解大语言模型上下文理解的关键
ICML 2025新研究揭示，在使用旋转位置编码 (RoPE) 的现代Transformer模型中，注意力机制的查询 (Q) 和键 (K) 表示存在集中极大值，而值 (V) 表示无此模式。研究通过实验揭示其与上下文知识理解的关键联系。
Claude Opus 5 发布：Fable 5 一半的价格，更强的编码能力
Anthropic 发布 Claude Opus 5，定价与 Opus 4.8 相同，价格是 Fable 5 的一半。它在编码、知识工作和推理上表现出色，虽有不足，如速度慢、幻觉率较高，但提供多种 effort 等级，成本低，安全对齐性好。
不用人类手写训练框架了！AI自己写代码，训出1B端侧「小钢炮」
5月25日，面壁开源端侧文本基座大模型MiniCPM5 - 1B，主打低成本部署等。它由AI编写的ForgeTrain框架参与预训练，效果与英伟达Megatron对齐且速度快10%。该模型在榜单表现优，应用边界广，部署门槛低。
行为记忆+认知记忆，中科大MemWeaver重构LLM个性化记忆
论文MemWeaver被The Web Conference 2026接收，它聚焦用户从隐式到显式文本交互时个性化生成的升级问题。提出将用户历史升级为层次化记忆，构建行为与认知双记忆模块，主实验表现优，消融实验验证其结构设计关键。
小模型大作为！微博的VibeThinker-1.5B超越DeepSeek R1等头部大模型
近年来，“参数越大，能力越强”成行业共识，但带来成本高和资源集中问题。微博AI团队开发的VibeThinker - 1.5B用1.5亿参数和低训练成本，在多项测试中超越头部大模型，还提出SSP框架和MGPO算法。
零Token部署GraphRAG，LinearRAG做到了~
现有GraphRAG模型在实际应用中常不如朴素RAG，原因是自动构建的知识图谱质量不佳。LinearRAG框架通过Tri - Graph架构、两阶段精准检索和零Token范式重构GraphRAG，在多数据集上超越现有方法，代码和数据已开源。
我雇了个AI，替我读微信列表里“吃灰”的公众号文章
文章评测了AI工具语鲸，它像国产版NotebookLM和AI版今日头条，能处理文本、整合资讯。它可订阅多渠道账号，有订阅、频道等实用功能，网页端解析长文出色，但处理图文有问题，其团队背景强大。
传统训练效率很低？我们靠 “给模型降噪” 重新审视长上下文建模难题
文章指出长上下文模型处理长文本时易受噪声干扰，提出新评估指标IG分数和“上下文去噪训练（CDT）”方法。实验表明CDT优于现有策略，经其训练的开源模型在长上下文任务中性能媲美GPT - 4o。
1.9K Star 微软开源TTS王炸！90分钟超长语音合成，4人对话自然切换！
在文本转语音（TTS）领域，生成长篇、多说话人的高质量音频一直是技术挑战。微软最新开源的VibeVoice TTS模型，可一次生成90分钟连续语音，支持4个不同说话人，还具备高效处理长序列等亮点特性。
热议！DeepSeek V3.1惊现神秘「极」字Bug，模型故障了？
DeepSeek 最新的 V3.1 模型上线不到一周，因离奇 Bug 引发社区热议。无论执行何种任务，模型总会在文本中插入「极」字，自我修复时也无法避免，还存在多语言混用问题，网友猜测原因多为「数据污染」。