「训练效率」共找到 3068 篇相关文章
The Batch: 939 ｜在推理阶段学习长上下文
大型语言模型处理长上下文时通常准确性降低、速度变慢，研究人员提出TTT - E2E方法，通过推理时训练模型将上下文压缩到transformer权重中，还展示了其运作方式、测试结果等。
微软再放LLM量化大招！原生4bit量化，成本暴减，性能几乎0损失
微软公布BitNet v2，性能几乎0损失，占用内存和计算成本显著降低。它首次实现对1比特LLMs的原生4比特激活值量化，通过H - BitLinear模块处理异常通道，实验显示其在多方面表现优异。
苹果新作：内化视觉思考，推理提速 5 倍
Apple研究团队提出Internalized Visual Thinking（IVT），一种将预测性世界建模能力内化到模型表征中的后训练框架。它在训练时预测未来，推理时直接回答，相比Visual CoT推理提速超5倍。
0.5B以小搏大拿下端侧模型新SOTA：4090可跑，长文本处理5倍常规加速丨清华&面壁开源
清华大学和面壁智能团队开源MiniCPM 4，有8B、0.5B两种参数规模，以22%训练开销达同级别最优。它在架构、推理、数据、训练多方面创新，性能领先，适用于综述生成、工具调用等场景。
世界模型的新用途：不做选手，去当裁判
眼下具身赛道都在抢着做机器人的“大脑”，而地瓜机器人发布的世界模型Uranus却剑走偏锋，做机器人开发的基础设施。它能更客观地评测VLA和世界模型，还能做机器人训练的“场地”。
“AI大神”李沐终于开源新模型，爆肝6个月，上线迅速斩获3.6k stars！
7月23日，“AI大神”李沐开源音频基础模型Higgs Audio v2，构建于Llama - 3.2 - 3B之上，预训练数据丰富。该模型在多个测评中成绩领先，有多种能力，李沐介绍其技术及训练方法。
AI让全人类思维越来越雷同！南加大研究实锤：认知多样性正在被抹平
南加州大学论文指出，AI正让全人类想法和表达同质化，体现在语言、视角和推理三方面。原因包括训练数据有偏差、训练目标求稳、人们过度依赖。研究人员虽在想办法，但效果有限，呼吁勿无节制依赖。
LLM协作告别文本形式：直接“脑对脑”，Cache-to-Cache实现语义瞬时传输
现有多LLM系统依赖文本通信，效率低且易失真。论文提出Cache - to - Cache（C2C）范式，让LLMs通过KV - Cache“脑对脑”交流，实现高效精准语义传输，在多类任务中提升性能与效率。
AI 写 80%，人修最后 20%：这是什么新赛道？“ AI 代码补锅匠 ”了解一下。
Vibe Coding 成 2025 年 AI 驱动开发核心趋势，强调用自然语言提示让 AI 生成代码。虽可提升效率，但 AI 生成代码有质量、安全等问题，催生付费修复服务，未来“AI+专家”模式或成主流。
Hinton与姚期智对谈：认为人类的意识特殊，那是危险的无稽之谈
图灵奖得主Geoffery Hinton与姚期智对谈AI相关话题。Hinton认为人脑可给AI借鉴，还探讨人类未来与AI道德，强调训练善良AI重要；他觉得大模型有理解能力，将人类意识特殊化是危险无稽之谈。