「低精度训练」共找到 3108 篇相关文章
大模型“记性差一点”反而更聪明！金鱼损失随机剔除token，让AI不再死记硬背
马里兰大学等团队提出金鱼损失法，训练时随机剔除部分token，让模型不逐字记内容，仍学语言规律。实验显示，LLaMA - 2用该方法后记忆内容减少，下游任务性能影响小。
苹果新作：内化视觉思考，推理提速 5 倍
Apple研究团队提出Internalized Visual Thinking（IVT），一种将预测性世界建模能力内化到模型表征中的后训练框架。它在训练时预测未来，推理时直接回答，相比Visual CoT推理提速超5倍。
2.5K Star 牛皮项目，512MB内存就能跑，树莓派、旧电脑秒变专属云桌面！
介绍开源Web桌面操作系统ArozOS，它由香港开发者tobychui为低功耗设备设计。始于2016年，用Go语言编写，在Github获2.5K star。功能强、资源占用低、易安装，能让旧设备变个人云桌面。
0.5B以小搏大拿下端侧模型新SOTA：4090可跑，长文本处理5倍常规加速丨清华&面壁开源
清华大学和面壁智能团队开源MiniCPM 4，有8B、0.5B两种参数规模，以22%训练开销达同级别最优。它在架构、推理、数据、训练多方面创新，性能领先，适用于综述生成、工具调用等场景。
世界模型的新用途：不做选手，去当裁判
眼下具身赛道都在抢着做机器人的“大脑”，而地瓜机器人发布的世界模型Uranus却剑走偏锋，做机器人开发的基础设施。它能更客观地评测VLA和世界模型，还能做机器人训练的“场地”。
不用递归自动微分，也能稳定计算高阶 PDE 导数？ Mollifier Layers 如何改造 PDE 反问题学习
本文介绍《Mollifier Layers: Enabling Efficient High-Order Derivatives in Inverse PDE Learning》，指出传统PINN递归自动微分计算高阶PDE导数有瓶颈，Mollifier Layers用解析卷积替代，实验显示其在精度、效率上有优势，也有核选择等局限。
阿里发布首个「音视频实时交互」模型，实现数字人实时视频聊天
阿里发布原生流媒体端到端模型Wan - Streamer v0.1，能实时聆听、观看、思考、说话和响应视频。它在单个Transformer内完成感知等操作，延迟低，具备端到端多模态统一、低延迟等特点。
“AI大神”李沐终于开源新模型，爆肝6个月，上线迅速斩获3.6k stars！
7月23日，“AI大神”李沐开源音频基础模型Higgs Audio v2，构建于Llama - 3.2 - 3B之上，预训练数据丰富。该模型在多个测评中成绩领先，有多种能力，李沐介绍其技术及训练方法。
AI让全人类思维越来越雷同！南加大研究实锤：认知多样性正在被抹平
南加州大学论文指出，AI正让全人类想法和表达同质化，体现在语言、视角和推理三方面。原因包括训练数据有偏差、训练目标求稳、人们过度依赖。研究人员虽在想办法，但效果有限，呼吁勿无节制依赖。
首个基于MCP 的 RAG 框架：UltraRAG 2.0用几十行代码实现高性能RAG， 拒绝冗长工程实现
检索增强生成系统（RAG）复杂度提升，工程实现成本高。清华大学等联合推出首个基于MCP架构的UltraRAG 2.0，组件化封装、调用扩展灵活，低代码实现高性能，可用于科研和行业应用。