搜索：预训练范式 - AI Reading Hub

「预训练范式」共找到 2905 篇相关文章

文生图Scaling新变量，被字节Seed团队发现了

ByteDance Seed团队研究发现，文生图模型中自然语言Caption变长，不意味着模型获更多视觉监督，其信息量更能预测训练损失。团队提出Structured Prompt，从两侧提升文本条件，在多任务上取得显著提升。

文章从神经网络入手，介绍其概念、学习过程，进而引出大语言模型，阐述其原理、训练方法，还提及AI浪潮下基础设施及大模型使用方式，如Agent、MCP等，展现神经网络和大模型发展现状与前景。

2026新年第一天，DeepSeek发表梁文锋署名新论文，提出「mHC（流形约束超连接）」架构。它仅增约6.7%训练时间开销，就能让27B参数模型性能显著提升，还可能淘汰ResNet结构。

深度学习中，扩散模型能生成新图像且抗过拟合。巴黎高师和博科尼大学研究团队论文指出，这源于隐含的动力学正则化，训练分两阶段，数据量增加会拉开‘泛化窗口’，还给出数学解释。

文章梳理6月旧金山AI Engineering World's Fair重磅分享，指出AI Agent发展方向是成为自主处理复杂工作的助手，还介绍了Ambient Agents崛起、Agent UX设计两派观点、训练进入RL时代等关键趋势。

7月24日，中科院计算所“知境”团队发布知境社会心智大模型技术体系，为现有大模型补社会心智短板。其建评测体系SoMBench，设计训练系统Zing，用部署架构Actio，在多评测超越GPT - 5.5等，应用前景广。

在机器学习普及的当下，自动化机器学习框架降低开发门槛。AutoGluon由AWS AI开发并开源，仅3行代码就能训练和部署高精度模型，支持多类型数据，有诸多亮点，已获9.1K Star。

在高分辨率三维形状生成中，传统方式有计算与内存瓶颈。南京大学提出Direct3D - S2框架，基于稀疏体积构建，有空间稀疏注意力机制，加速计算，还引入统一格式VAE，生成质量领先，训练成本更低。

菲尔兹奖得主陶哲轩携手ChatGPT打造开源数学概念验证工具，数天迭代至2.0版，可全自动或半自动证明。还支持渐近估计，上手简单、可扩展性强。此外，他用AI 33分钟“盲做”一页数学证明，重塑研究范式。

AI初创公司Engram成立8个月，估值达6亿美金，获9800万美元融资。它聚焦AI记忆，用Cartridges技术降内存、提速度，将推理和记忆层拆开，团队成员背景强大，押注AI范式新转向。