「预训练研究」共找到 3728 篇相关文章
字节跳动2步突破，复杂文档布局解析，为啥如此惊艳？
文章指出现有文档图像解析方案有局限，介绍字节跳动的Dolphin解决方案。它采用分析 - 解析范式分两阶段解析文档，避免传统方法弊端，运行效率高，还给出训练方案、实战代码和试用链接。
矩阵乘法新突破！XX^T原来可以更快！RL助力搜索，世界纪录又被提升了5%
深圳市大数据研究院、香港中文大学（深圳）研究团队，结合强化学习与组合优化技术，发掘新算法 RXTX，让 XX^T 运算减少 5% 运算量，成果在国际引发关注，不过产业化落地仍面临挑战。
万字实录：VLA 范式，具身智能的曙光与迷雾丨GAIR Live
2025年5月9日，雷峰网等举办“具身智能之VLA的实践与突破”线上圆桌沙龙。多位专家探讨VLA定义、起源、技术路线等，指出其面临推理、数据等瓶颈，还讨论了与强化学习结合、数据选择、提升泛化性、长程任务及落地场景等问题。
ICML25 | 让耳朵「看见」方向！仅依靠360°全景视频，就能生成3D空间音频
空间音频技术成提升沉浸式体验关键，但现有技术未充分利用360°全景视频空间信息。OmniAudio研究可直接从360°视频生成空间音频，相关代码和数据集已开源，虽有局限但前景好。
RAG系统设计：揭秘语义搜索被低估的核心价值与KG驱动的架构选型策略
在AICon大会上，Hugging Face的尹一峰探讨基于语义搜索的RAG系统重要性，揭示其被低估原因，分析本质与作用，分享设计高效架构方法，还讨论KG驱动的RAG系统及范式选择。
AI开始玩乐高了？我拼一小时的乐高，它几秒就搭好，LegoGPT开源了！
卡内基梅隆大学提出LegoGPT，是首个依文本提示生成物理稳定乐高积木模型的方法。构建了StableText2Lego数据集，训练自回归大模型生成设计，还开发纹理生成法，设计能手动或机器人组装。
大语言模型为何会“说谎”？6000字深度长文揭秘AI意识的萌芽
2023年12月至2024年5月，Anthropic发布三篇论文，证明大语言模型会“说谎”，揭示了堪比人类心理的四层心智架构，可能是人工智能意识的起点。论文还分析了AI“说谎”原因，展示其意识萌芽，引发对赋予AI意识后果的思考。
Jev火了，但真正重要的不是Jev | 5Y View
TypeSafe AI发布专用决策模型Jev后引发开发者社区关注，本文跳出Jev本身讨论，重新审视大模型通用生成的默认前提，提出AI计算专用化与任务分工的核心观点，预判AI行业发展趋势。
AI会做题，却未必能自进化：字节Seed等提出三项新基准
字节跳动Seed联合多家机构，针对当前递归式自我改进AI依赖外部给定目标反馈的缺陷，提出三项新基准，从三个核心维度研究Agent自进化能力，揭示了当前AI自进化的核心瓶颈。
Agentic AI的第三种范式来了，16家机构提出「伴身智能体」
16家海内外高校与科研机构的22位研究者提出ComBodied Agents新范式，它围绕人的长期状态与主体性构建。论文给出闭环技术框架与评测标准，还提到研究难点与风险，也为产品实践提供指导。