「预训练时代」共找到 3280 篇相关文章
硅谷惊变：12万张H100的挽歌
这是虚构故事，Meta用12万张英伟达H100训练“LLaMA 4 Maverick”，却被中国杭州DeepSeek团队用2000张GPU打败。项目失败成丑闻，扎克伯格成立实验室四处收购遇冷，新负责人管理混乱，实验室乌烟瘴气。
天下武功，唯快不破：LLM高效架构最新最全面综述
大型语言模型虽成就辉煌，但训练成本高、推理延迟大，核心问题源于Transformer架构。这篇综述论文首次系统性梳理高效LLM架构创新方案，分类七大类方法，延伸至跨模态应用，为研究者提供‘效率蓝图’。
Jina 第4版：多模态向量检索，统一适配，挑战3大任务
Jina第4版基于Qwen2.5 - VL模型扩展，支持单向量和多向量输出。它经对比学习和任务特化训练，推理时可按需选LoRA适配器，能利用多模态处理能力优化不同任务性能。
Node.js之父：手写代码已死
Node.js之父Ryan Dahl和Redis之父Salvatore Sanfilippo都认为人类手写代码时代落幕，AI编程已广泛应用。不过，大佬们强调程序员不会失业，他们的工作会从写代码转为提需求。
震撼发布！最大人体动作数据集 MotionMillion 正式登场
上海交通大学研究团队构建高效标注流程，发布最大人体动作数据集MotionMillion，含超2000小时、200万条文本 - 动作配对数据。还推出评测体系MotionMillion - Eval，训练70亿参数动作生成大模型，刷新SOTA。
模型砍掉一大半，准确率反升15%！华科&阿里安全新研究实现ViT近乎无损的类特定压缩｜ICLR'26
华中科技大学联合阿里安全部提出Vulcan方法，一改传统压缩策略，通过“先训练再剪枝”实现ViT近乎无损的类特定压缩，为大模型服务小场景提供新路径，论文已被ICLR 2026接收。
OpenAI 内部访谈流出：新 Agent 强到让我们害怕，已接近“自我进化”的边缘！
红杉资本访谈 OpenAI 打造新款 ChatGPT Agent 的核心成员。介绍 Agent 结合多工具、共享状态，能执行复杂任务。还谈及起源、训练方法、应用场景，以及安全挑战和未来规划等。
任务级奖励提升App Agent思考力，淘天提出Mobile-R1，3B模型可超32B
现有Mobile/APP Agent依赖动作级奖励，难应对变化环境。淘天集团团队提出Mobile-R1框架，采用三阶段训练，结合任务级奖励，实验显示其表现超基准，团队还计划开源资源。
Agent记忆系统：6大核心操作全景解读
自LLM进入Agent时代，记忆模块成研究重点。以往研究有缺憾，作者提出全面AI记忆研究框架，对记忆表示分类，引入六种基本记忆操作，并映射到多方面，还阐述各部分具体方法。
她拒了贝索斯，离开黄仁勋，只为回答一个问题：AI能学会物理世界吗？
近日，AI初创公司Accelerated Understanding亮相，由Anima Anandkumar夫妇创立。它未随主流，目标是训练模拟物理现象的通用AI模型。该模型处理数据规模大，公司想解决AI验证瓶颈，产品面向科研工程机构。