「低熵轨迹」共找到 1100 篇相关文章
10步优化超越强化学习，仅需1条未标注数据！后训练强势破局
无监督的熵最小化（EM）方法仅需一条未标注数据和约10步优化，就能显著提升大模型在推理任务上的表现，甚至超越依赖大量数据和复杂奖励机制的强化学习（RL）。EM为大模型后训练提供了更高效简洁的新思路。
RAG新SOTA，还在5亿条数据上跑进秒级，只有它了
本文围绕RAG技术展开，指出传统RAG在多跳推理等方面存在局限。介绍了GraphRAG、HippoRAG 2的优缺点，重点阐述Zleap AI的SAG方案，它用超边结构重构数据底座，在多跳问答测试中表现出色，还能在大规模数据下低延迟落地。
百万人围观，「上下文图谱」火了，万亿美元新机遇？
本文围绕智能体对记录系统的影响展开讨论。有人认为智能体将摧毁记录系统，也有人反驳，指出其会提高记录系统标准。文章重点介绍上下文图谱概念，它是决策轨迹的长期积累，有望成万亿级新机遇。同时分析传统厂商构建难题及创业公司路径。
小模型大作为！微博的VibeThinker-1.5B超越DeepSeek R1等头部大模型
近年来，“参数越大，能力越强”成行业共识，但带来成本高和资源集中问题。微博AI团队开发的VibeThinker - 1.5B用1.5亿参数和低训练成本，在多项测试中超越头部大模型，还提出SSP框架和MGPO算法。
Luma Uni-1.1 API开放，图像模型榜单第三，文字渲染直逼GPT image 2
今年图像生成模型迭代快，海外AI初创公司Luma将统一图像模型Uni - 1升级到1.1版并开放API。它在榜单排名前三，价格与延迟低，有诸多品牌客户接入。展示了多场景应用效果，技术路线独特，定价有优势。
超越Claude 3.5和o1！8B模型靠「分层投票+测试时训练」逆袭
近日MIT研究者发现测试时训练在大模型应对复杂推理问题时，能分解任务提升回答准确率。8B的lemma3模型经此方法，在ARC和BBH数据集上性能显著提升，超Claude 3.5等。但该策略部署效率低。
Thinking Machines又发高质量博客：力推LoRA，不输全量微调
Thinking Machines 博客力推 LoRA 并与全量微调对比。研究发现小数据量任务中 LoRA 与全量微调效果接近，大数据量稍吃力，强化学习中低秩 LoRA 也能接近全量微调。还揭示了 LoRA 关键要素、超参数规律等。
王小川：医疗行业对大模型有三大刚性要求，但通用模型一条都不达标
5月22日百川智能展示医疗大模型Baichuan - M4与AI家庭医生「百小医」。王小川指出通用大模型用于医疗有问题，医疗对大模型有低幻觉、强循证、会提问的刚性要求，而通用模型不达标。Baichuan - M4表现出色，百小医也有独特定位和优势，且与三家顶尖医院合作成果显著。
为什么BF16的FlashAttention会把训练「炸掉」？清华首次给出机制解释，用极简改动稳住训练
社区里长期存在的FlashAttention+BF16训练GPT - 2时loss突然爆炸的问题，清华团队论文给出机制解释。指出是特定条件下数值偏置被放大所致，还给出极小修改稳定训练，且在多模型和硬件上验证有效。
Meta开源多语言语音识别系统，支持1600种语言，可轻松扩展新语种！
Meta研究团队开源Omnilingual ASR，能理解1600种语言，用几条语音 - 文本配对样本就能零样本扩展新语种。提供三种架构，满足不同需求，性能超现有多语种模型，应用场景广泛。