「预训练研究」共找到 3695 篇相关文章
解决算力瓶颈，给多模态瘦身！Token压缩完整图谱与选型指南
给多模态大模型瘦身是解决算力瓶颈的关键。Token压缩技术可剔除视觉冗余，提升训练与推理效率。北大等团队剖析其全貌，给出完整图谱与选型指南，还揭示了未来演进路径。
字节发了个机器人全能大模型，带队人李航
字节推出Seed，其Robix视觉—语言单模型能搞定机器人推理、任务规划和自然语言交互，核心采用思维链推理和三阶段训练策略，效果超Qwen2.5 - VL、GPT - 4o等，负责人是李航。
硅谷惊变：12万张H100的挽歌
这是虚构故事，Meta用12万张英伟达H100训练“LLaMA 4 Maverick”，却被中国杭州DeepSeek团队用2000张GPU打败。项目失败成丑闻，扎克伯格成立实验室四处收购遇冷，新负责人管理混乱，实验室乌烟瘴气。
MetaGPT 用户智能体发布，开启端到端自主软件测试新范式！
当前AI软件领域代码生成智能化发展快，但测试验收仍靠手动，效率低。MetaGPT推出用户智能体，研究团队发布RealDevWorld框架和AppEvalPilot实现端到端自动化评测，解决复杂软件质量评估难题。
天下武功，唯快不破：LLM高效架构最新最全面综述
大型语言模型虽成就辉煌，但训练成本高、推理延迟大，核心问题源于Transformer架构。这篇综述论文首次系统性梳理高效LLM架构创新方案，分类七大类方法，延伸至跨模态应用，为研究者提供‘效率蓝图’。
Jina 第4版：多模态向量检索，统一适配，挑战3大任务
Jina第4版基于Qwen2.5 - VL模型扩展，支持单向量和多向量输出。它经对比学习和任务特化训练，推理时可按需选LoRA适配器，能利用多模态处理能力优化不同任务性能。
西交大提出QQWorld：仅需10行代码，世界模型成功率提升5.33个百分点
2026 年 3 月 Yann LeCun 等人提出 LeWorldModel，西安交通大学研究团队发现其存在问题，进而提出 QQWorld，用分位数—分位数匹配替换原有的 EP 正则，提升了规划成功率，还提出 Cross - Batch QQ 解决显存问题。
谨慎用OpenClaw：上海科技大学发布其全面安全体检报告
上海科技大学联合上海人工智能实验室对爆火的智能体OpenClaw做安全审计，在34个测试场景中，整体安全通过率58.9%，暴露出多方面问题，研究据此给出纵深防御策略。
吴恩达：并行 Agent是 Scaling laws 的新方向
吴恩达称并行 Agent 是扩展 AI 新方向。过去 AI 靠数据和计算量提升能力，如今并行 Agent 能在不增加用户等待时间前提下提升效果，虽任务分解有难点，但研究不断涌现。
创智突破：AI首次自主发现106个超越人类设计的神经网络架构
创智学院团队发布的AI超智能系统ASI - ARCH，自主发现106个超越人类设计的神经网络架构，建立“科学发现缩放定律”，实现从“自动化优化”到“自动化创新”转变，还将成果开源推动研究发展。