「预训练时代」共找到 3275 篇相关文章
256G内存条涨到天价：不是内存条疯了，是算力正在变成新土地
近期，256GB内存条单根突破4万元。这并非普通DDR5，而是服务器专用内存。其价格飙升源于供需错配，大模型训练对大容量内存需求极端。有人认为是泡沫，也有人觉得是结构性变化。
视觉感知RAG × 多模态推理 × 强化学习 = VRAG-RL
数字化时代视觉信息愈发重要，传统RAG方法处理视觉信息面临挑战。阿里巴巴通义实验室的VRAG - RL将强化学习引入多模态智能体训练，革新检索生成范式，提升视觉语言模型多方面能力，代码已开源。
Anthropic逃过一劫：成功和解万亿美元版权诉讼，避免破产
Anthropic与作者达成和解，避开12月审判和可能高达万亿的赔偿。此前法官裁定其用盗版内容训练模型属盗版行为。和解为行业划红线，数据需明确来源授权，Anthropic仍面临其他版权挑战。
60000小时炼出新开源VLA！20多种机器人都能用
蚂蚁灵波发布开源VLA模型LingBot-VLA 2.0，用60000小时预训练数据“喂”出。它支持20多种机器人构型，融合LingBot-Depth提升空间理解，还学会预测未来，在GM - 100评测表现佳。
一篇Loop+Harness的自进化Agent最新综述
本文分享清华关于经验时代，已部署的 Agent 如何将交互轨迹转化为持久能力，从自我进化到元进化的论文。介绍了 Harness、技能、记忆、环境等方面，还提及 RL 与持续学习、元进化智能体等内容。
穿越100年前打造的AI，不知道二战和互联网，却从几个例子学会了Python
前OpenAI研究成员等打造出130亿参数的时代语言模型talkie，只用1930年前英文词元训练。它不知二战等现代信息，能从例子学Python，风格似20世纪绅士，研究团队将扩大其规模。
具身智能一步踏入Scaling Law！10B+基础模型，27万小时真实数据
AI机器人创业公司Generalist推出新型具身基础模型GEN-0，参数量10B+，专为多模态训练构建。该模型展现强大Scaling Law，能力可扩展，有和谐推理等特性，在多方面有突破，成果备受赞誉。
东方理工团队提出HiDrop：重构MLLM计算路径，压缩90%视觉Token实现2.2倍加速
东方理工大学沈晓宇团队提出HiDrop，基于MLLM不同层功能差异，设计出延迟注入、凹金字塔式剪枝和提前退出的视觉Token压缩策略。实验显示，它能压缩约90%视觉Token，保持98.3%性能，实现训练和预填充加速。
对话蚂蚁吴伟：训推一体池化调度，如何把GPU用到极限
AICon大会前，与蚂蚁集团吴伟深度对话，探讨GPU资源调度解法。他指出CPU和GPU有结构性差异，只在推理或训练内优化有资源闲置，国产卡缺全链路生态，软件优化有天花板。还分享架构思路、算法及落地效果等。
高性能全闪并行文件系统的设计和实践
焱融科技 CTO 张文涛在 QCon 大会分享‘高性能全闪并行文件系统的设计和实践’，介绍了焱融全闪文件存储架构和 YRCloudFile 技术细节，分享其解决 AI 训练存储难题的方案。