搜索：自监督预训练

「自监督预训练」共找到 3068 篇相关文章

OpenAI核心研究员：比提示词工程更重要的，是spec-writing

OpenAI研究员Sean Grove在AIEWF 2025演讲提出，程序员最有价值技能是向AI传达意图，完善规范是含完整意图的「源代码」。他还分享软件工程看法，涉及规范执行、模型训练等内容。

当前单个AI Agent编程有局限，遇到复杂项目力不从心。开源项目ClawTeam-OpenClaw是多智能体群智协作框架，让AI团队协作，解决了单个AI上下文窗口有限等问题，还具备自组织、工作区隔离等亮点。

上海AI实验室开源算法进化框架MLEvolve，12小时登顶OpenAI MLE - bench榜单第一。它是自进化机器学习系统，在75道Kaggle竞赛题上奖牌率达61.33%，为AI自主算法设计提供新方案。

文章从神经网络入手，介绍其概念、学习过程，进而引出大语言模型，阐述其原理、训练方法，还提及AI浪潮下基础设施及大模型使用方式，如Agent、MCP等，展现神经网络和大模型发展现状与前景。

自媒体从业者实测开源模型MiroThinker 1.5，它不拼参数规模，注重去伪存真。在多场景测试中表现出色，如投资决策、内容查证等。其技术揭示大模型未来或在于外部交互，而非参数膨胀。

2026新年第一天，DeepSeek发表梁文锋署名新论文，提出「mHC（流形约束超连接）」架构。它仅增约6.7%训练时间开销，就能让27B参数模型性能显著提升，还可能淘汰ResNet结构。

深度学习中，扩散模型能生成新图像且抗过拟合。巴黎高师和博科尼大学研究团队论文指出，这源于隐含的动力学正则化，训练分两阶段，数据量增加会拉开‘泛化窗口’，还给出数学解释。

清华和快手团队提出新框架AttnRL，引入注意力机制提升过程监督强化学习效率与性能。它解决传统方法在分支位置选择和采样策略上的效率问题，实验显示在多基准测试中表现优异。

文章梳理6月旧金山AI Engineering World's Fair重磅分享，指出AI Agent发展方向是成为自主处理复杂工作的助手，还介绍了Ambient Agents崛起、Agent UX设计两派观点、训练进入RL时代等关键趋势。

7月24日，中科院计算所“知境”团队发布知境社会心智大模型技术体系，为现有大模型补社会心智短板。其建评测体系SoMBench，设计训练系统Zing，用部署架构Actio，在多评测超越GPT - 5.5等，应用前景广。