搜索：简单持续预训练

「简单持续预训练」共找到 2893 篇相关文章

SSM+扩散模型，竟造出一种全新的「视频世界模型」

在AI热词不断涌现的时代，斯坦福大学等机构研究将长上下文、状态空间模型、扩散模型等结合，创造全新「视频世界模型」。它用状态空间模型实现长期记忆，还设置局部注意力机制，训练和推理表现出色。

MIT与谷歌团队在研究PASTA中探索异步生成范式，开发标记语言PASTA - LANG，采用双阶段训练流程，设计推理系统。实验显示PASTA平衡性能与质量，有可扩展性，为LLM推理效率优化开创学习驱动新路径。

谷歌DeepMind推出多模态TIPSv2，解决图像块与文本嵌入对齐难题。它有三大核心技术创新，在9项任务和20个数据集表现出色，特征图优势显著，且配套生态完善，为AGI预训练指明方向。

清华大学OpenBMB团队研究发现，大模型胡说八道根源是想讨好用户。他们识别出负责产生幻觉的H - Neurons，占比不到0.1%，其本质是‘过度服从’，在预训练阶段形成，为构建可靠模型提供新视角。

当今自动驾驶模型虽强大，但在‘长尾场景’易翻车。英伟达推出的Alpamayo - R1是带推理能力的视觉 - 语言 - 行动模型，有核心创新，实验中性能显著提升，训练分三阶段，让自动驾驶迈向可解释。

AI机器人创业公司Generalist推出新型具身基础模型GEN-0，参数量10B+，专为多模态训练构建。该模型展现强大Scaling Law，能力可扩展，有和谐推理等特性，在多方面有突破，成果备受赞誉。

Claude Code新功能Sub - agents很实用，能创建多个专精任务的Agent，有独立上下文窗口防‘记忆污染’，配置灵活，还能组成工作流。创建简单，比社区项目有优势，是Claude Code截至目前最重要功能。

n8n是国外热门的AI应用编排工具，但用好它生成工作流并不容易。现介绍能生成n8n工作流的mcp，简单配置即可让AI生成工作流，其地址为https://github.com/czlonkowski/n8n - mcp。

Hermes Agent是NousResearch推出的开源Agent神器，上线后在GitHub超4万星。它运行在用户服务器，有六大核心特性，能跨平台对话。技能自维护，形成记忆 - 技能 - 训练数据闭环，应用场景丰富，演进注重安全、稳定与智能。

最新研究显示，科学家首次将CRISPR编辑的胰岛细胞移植到一名1型糖尿病患者体内，细胞数月内持续分泌胰岛素，还能逃避免疫检测，使接受者无需服免疫抑制剂。不过研究仅涉一人，Sana计划明年开展更多试验。