「低精度训练」共找到 3108 篇相关文章
首个时空时序推理框架:让大模型真正读懂时空数据 | ACL'26
STReasoner是首个结合时间序列、空间结构和自然语言的推理模型,能识别异常源、追踪影响路径。研究团队构建数据生成框架和评测基准,采用三阶段训练策略,模型在多任务表现优,成本低且泛化能力强。
重磅!DeepSeek R1论文经过同行评议登上Nature封面,梁文锋作为通讯作者再次创造历史
DeepSeek R1论文《DeepSeek - R1 incentivizes reasoning in LLMs through reinforcement learning》登上Nature封面,梁文锋为通讯作者。它是首个经同行评议的有全球影响力的LLM,训练成本低,创新使用‘纯粹强化学习’方法,启发众多研究。
大模型推理的“左右脑”革命!华为盘古Embedded凭昇腾之力,让快慢思考合二为一
传统大模型推理面临长链条深度思考与低时延反馈的矛盾,华为盘古团队提出盘古Embedded模型。基于昇腾NPU,其采用双系统认知架构,集成“快思考”与“慢思考”双推理模式,实现推理效率与精度协同提升。
Unsloth让大模型跑在手机上!
Unsloth放出教程,可将其微调模型部署到Pixel 8和iPhone 15 Pro。用ExecuTorch技术优化,Qwen2 - 0.5B在旗舰机上表现流畅。教程介绍量化感知训练控制精度损失,还给出iOS和Android部署步骤及注意事项。
BookRAG:专治各种「层次化复杂」文档
BookRAG专为处理层次化复杂文档而生。传统RAG有两大盲区,而BookRAG在多模态长文档基准上刷新SOTA。它采用BookIndex×Agent - based Retrieval技术方案,效率高、可扩展性强,兼顾高精度、高召回、低成本。
中国科学PMA|西工大张伟伟、索玮、宋家豪、曹文博:PINNs的局限性讨论与微分方程智能求解展望
物理信息神经网络(PINNs)是求解偏微分方程的热点方法,有统一处理正、反问题等优点,但也存在求解精度低、普适性差等局限。文章剖析其失效根源,展望了改进方向,为构建微分方程智能求解框架提供参考。
NVIDIA港大MIT联合推出Fast-dLLM v2:端到端吞吐量提升2.5倍
自回归大语言模型推理效率受限,Fast - dLLM v2 由 NVIDIA、港大、MIT 联合推出。它将预训练 AR 模型适配为能并行解码的 Block - dLLM,用约 1B tokens 微调,端到端吞吐量最高提升 2.5 倍,精度相当。
一副手套,干翻硅谷炫技派!中国队杀入战场,狂卷100万小时数据
硅谷具身智能玩家为数据发愁,中国灵初智能另辟蹊径,用数据手套采集工人操作数据,成本低且数据泛化性强。其专注物流细分场景,2026年收敛资源做深现有场景,目标推100万小时数据训练模型。
中科大 × 华为联合突破!SparseRM:1% 参数实现 LLM 偏好建模高效革新
中科大与华为联合提出SparseRM轻量级偏好建模方案,基于稀疏自编码器构建低参可解释奖励模型。实验显示它用不到1%可训练参数,在多任务中性能优,还能融入下游对齐流程,为LLM高效对齐提供新可能。
百度0.9B参数模型登顶全球第一,聊聊PaddleOCR-VL背后的技术细节
百度PaddleOCR-VL模型仅0.9B参数,在OmniDocBench V1.5榜单获92.6分全球第一,在多能力维度达业界最佳,能处理109种语言。其采用两阶段架构,结合优质训练数据,实现高性能与低内存、快速度的平衡。