「预训练研究」共找到 3718 篇相关文章
对抗KV Cache压缩的脆弱性：两行代码以最坏风险控制防御底层假设崩塌
中科大团队在 ICLR 2026 论文中指出 KV Cache 压缩领域底层假设存在缺陷，主流方法基于的稳定性假设在真实场景中脆弱。团队提出防御性聚合策略，仅两行代码修改，显著提升 KV Cache 压缩性能。
一个月狂揽2w+star，带你手搓自己的claude code！
Claude Code受广泛关注，但多数讨论抽象或为‘黑盒用法’。`learn-claude-code`项目对其深度拆解，通过12个课程教构建智能体载具系统，开源超一月揽34K star，还提供Web交互平台。
北航，清华，北大联合发布： 异构智能体协同强化学习！
北航、清华、北大联合发布异构智能体协同强化学习论文。提出 HACRL 新范式，实现异构智能体双向互学与独立部署统一；还有 HACPO 算法弥合智能体差异。实验显示性能提升且成本降低，为多智能体协同学习指明方向。
西交大 x A*STAR 论文：让 AI 学会「保持一致」，多图生成迎来关键突破丨CVPR 2026
西安交大与新加坡A*STAR团队提出论文《PaCo-RL: Advancing Reinforcement Learning for Consistent Image Generation with Pairwise Reward Modeling 》，将一致性问题转为“跨图比较”学习问题，结合强化学习实现能力闭环，提升多图生成一致性。
数据合成有没有未来？事实结论来了
有人认为用大模型合成数据可快速生产，无需人工标注。但作者观察发现人工标注不仅必要且要求更高。以Scale AI、Surge AI为例说明标注价值，还展示‘智能知识’团队对两数据集审查结果，证明高质量数据需专家和管理流程。
ICLR 2026 Oral｜多模态知识图谱对齐难：破解噪声关联至为关键
在数据多元化时代，多模态知识图谱能为下游应用提供数据支撑，实体对齐是构建知识图谱的核心技术。但大规模知识图谱关联与融合面临噪声和潜隐关联挑战。四川大学团队提出 RULE 方法，缓解了这些影响，论文被 ICLR 2026 接收为 Oral。
字节豆包2.0重磅发布！成本暴降一个数量级，Seed团队揭秘视频Agent竞争关键
今日字节发布豆包大模型2.0系列，围绕大规模生产环境需求优化，有Pro、Lite、Mini和Code四款模型。其Token单价低一个数量级，多模态理解能力升级，未来将围绕长链路智能系统构建发展。
中国AI芯片如何破局？这家公司重注推理芯片
2月3日，云天励飞董事长陈宁在战略前瞻会表示要All in AI大算力推理芯片，打造“中国版TPU”。他认为2025 - 2035年是推理芯片高光时刻，还介绍了公司技术壁垒、差异、战略及生态等内容。
视觉优势还是语义依赖？揭秘 DeepSeek-OCR 高压缩率背后的真相
中科院等团队论文剖析 DeepSeek - OCR，通过实验揭示其高压缩率下准确率高或依赖语言先验。去掉语言先验，准确率暴跌；下游任务推理崩塌，长文本处理也有瓶颈。
DragonMemory：16倍语义压缩，为RAG应用瘦身
介绍GitHub项目DragonMemory，它针对RAG应用上下文压缩，核心是Dragon v7模型，从序列维度压缩，压缩比达16倍。本地测试效果好，有图形界面，支持多格式文档，开源但非成熟商业产品。