「模型训练难题」共找到 8733 篇相关文章
蒸馏效果起飞！DOPD破解「特权幻觉」，让在线策略蒸馏更有效
近期，新加坡国立大学等团队提出 DOPD 法解「特权幻觉」难题。该法依 token 情况动态蒸馏，实验表明其在 LLM、VLM 蒸馏效果好，鲁棒性强，训练稳定，为在线策略蒸馏提供新思路。
OpenAI解释LLM为什么会有幻觉
OpenAI和佐治亚理工联合论文《Why Language Models Hallucinate》深入探讨LLM幻觉根源，指出预训练阶段统计本质和评估体系激励扭曲是主因，还提出改革评估体系引入显式置信度目标的解决方案。
智源研究院发布中英文高质量数据集CCI4.0，推动全球人工智能开源创新
2025年5月6日，智源研究院在全球开源创新论坛发布中英文高质量数据集CCI 4.0，同步在多平台开源。CCI 4.0规模大，处理严格，此前CCI系列反响好，未来将持续建设中文预训练语料库。
RAG创新了，MCompassRAG装上了语义指南针
RAG系统存在chunk切分难题，现有方案有额外成本。MCompassRAG不切细、不rerank，给粗chunk加主题元数据当指南针，训练推理分离，实验显示信息效率提升、延迟降低。
AAAI 2026 Oral | 悉尼科技大学联合港理工打破「一刀切」，联邦推荐如何实现「千人千面」的图文融合？
悉尼科技大学龙国栋团队联合港理工杨强、张成奇团队提出 FedVLR 框架，解决联邦环境多模态融合异质性难题，被 AAAI 2026 接收。该框架创新性强，可提升推荐指标，代码已开源。
GraphRAG，这次被G-Reasoner统一了
大语言模型在知识密集型任务中存在局限，GraphRAG 也有迁移难题。G - Reasoner 提出统一框架，含 QuadGraph、GFM、LLM 增强推理模块，在性能、泛化、效率上全面领先现有方法。
19K star 霸榜，下一代的浏览器自动化神器！
做爬虫或Web自动化测试常因网页结构变动需重写脚本。Github上超火的Skyvern项目是基于浏览器的自动化代理，不依赖XPath或CSS选择器，用视觉识别结合大模型推理完成任务，已获19k+ star。
OmniInsert：全新无掩码视频插入技术
基于扩散模型的视频插入技术发展快，但以往方法有局限。字节提出InsertPipe和OmniInsert，解决数据不足等难题。OmniInsert设计巧妙，还建立评测平台InsertBench，虽有小问题，但推理快，可加速优化。
“同事.skill”不用写了，爱马仕 Hermes 主动“蒸馏”你，还让开发者集体抛弃 “龙虾”？！
近日，Hermes Agent 在国内爆火，获超 3.9 万 stars。它是单 Agent 架构，核心是学习循环，记忆分层管理。其网关功能强大，状态可跨会话留存。背后的 Nous Research 目标是打造抗衡 OpenAI 的开源模型，还引入区块链解决算力问题。
深度拆解 Muse Glimmer，24GB 显存跑 30B Agent，Meta 到底做了什么？
昨天，Meta发布约30B参数的多模态Agent模型Muse Glimmer，支持128K级上下文。它采用Apache 2.0许可证开放，有量化版本等。其技术设计围绕显存、上下文管理等问题展开，在多方面做了取舍。