搜索：简单持续预训练

「简单持续预训练」共找到 2890 篇相关文章

0.5B以小搏大拿下端侧模型新SOTA：4090可跑，长文本处理5倍常规加速丨清华&面壁开源

清华大学和面壁智能团队开源MiniCPM 4，有8B、0.5B两种参数规模，以22%训练开销达同级别最优。它在架构、推理、数据、训练多方面创新，性能领先，适用于综述生成、工具调用等场景。

眼下具身赛道都在抢着做机器人的“大脑”，而地瓜机器人发布的世界模型Uranus却剑走偏锋，做机器人开发的基础设施。它能更客观地评测VLA和世界模型，还能做机器人训练的“场地”。

作者Dwarkesh Patel认为AGI不会马上到来。当前大语言模型缺乏持续学习能力，难以替代人类工作；计算机操作能力受训练周期、数据等限制；推理能力虽有突破，但仍需时间发展。作者给出了具体预测时间。

7月23日，“AI大神”李沐开源音频基础模型Higgs Audio v2，构建于Llama - 3.2 - 3B之上，预训练数据丰富。该模型在多个测评中成绩领先，有多种能力，李沐介绍其技术及训练方法。

南加州大学论文指出，AI正让全人类想法和表达同质化，体现在语言、视角和推理三方面。原因包括训练数据有偏差、训练目标求稳、人们过度依赖。研究人员虽在想办法，但效果有限，呼吁勿无节制依赖。

图灵奖得主Geoffery Hinton与姚期智对谈AI相关话题。Hinton认为人脑可给AI借鉴，还探讨人类未来与AI道德，强调训练善良AI重要；他觉得大模型有理解能力，将人类意识特殊化是危险无稽之谈。

在医疗AI领域，模型静态评测与临床问诊能力存在断层。清华刘洋团队提出DOCTOR - R1，将临床问诊建模为POMDP，用强化学习训练。实验验证了其有效性，对医疗AI发展有深远启示。

文章聚焦 Transformers v5 分词系统，介绍分词概念、流程、主流算法，对比 transformers 和 tokenizers 库。着重讲 v5 改进，如架构与词表分离，解决 v4 黑盒问题，还能从零训练专属分词器。

Anthropic发布研究，在Claude内部发现J - space（雅可比空间），即“全局工作空间”，它在训练中自发形成。用雅可比透镜技术可读取其内容，还验证了其功能属性，可用于对齐审计等。

前字节跳动剪映早期成员关梦龙，正开发AI编导产品“Cutto”，让AI参与内容生成，降低普通人创作门槛。他认为AI虽提升生产力，但创业竞争更激烈，产品成功需看用户能否持续使用。