「预训练模型」共找到 8177 篇相关文章
GPT-6 或有"生命"！MIT新作实现LLM自我进化，冻结权重时代终结
MIT新作《Self-Adapting Language Models》实现LLM自我进化，SEAL框架让模型自己生成“自编辑”微调自身。它能实时学新数据、修复知识、形成记忆。经两种场景验证，小模型也能超越GPT - 4.1等。
OpenAI和Anthropic费尽心机加密的思维链，竟然能被轻松提取？
围绕大模型蒸馏争议已久，此前外部团队难获闭源模型完整推理。8 月 10 日研究者公开方法，可让弱模型读取旗舰模型密文并输出推理，还发现公开智能体轨迹存在隐私泄露问题，不过未为蒸馏指控提供决定性证据。
智普入局OCR! GLM-OCR 0.9B 也杀进来了~
OCR是上古任务，如今大模型纷纷入局，用1B以下小参数模型搅动解析市场。GLM-OCR能做文本识别等，采用三级架构，有两阶段流水线及训练机制创新，在多场景表现出色。
Physical Intelligence 核心技术团队分享：物理世界的“Vibe Coding”如何实现？
Physical Intelligence 核心技术团队解读机器人技术路径，分享前沿探索。介绍 VLA 与 VLM、LLM 关系，还提及 PI 构建数据管线、提出“知识绝缘”机制，分析开放世界部署难题，展望未来“机器人模型即服务”。
拿着做数学题的 PRM 来评判 Agent 调用工具，基本是行不通的！
目前评估体系多为结果导向，在工具调用上缺乏像样的PRM基准。Arizona State University和Intuit AI Research研究者推出ToolPRMBench，指出用做数学题的PRM评判Agent调用工具行不通，还介绍了其构建方法、训练范式和实验结果。
AI仅凭“自信”学会推理，浙大校友复刻DeepSeek长思维链涌现，强化学习无需外部奖励信号
UC Berkeley团队提出新训练方法Intuitor，大模型无需接触真实答案，仅优化自身信心就能学会复杂推理。该方法无需外部奖励信号或标注数据，用模型自身置信程度作内在奖励信号，在多任务表现良好。
Transformers v5 中的分词系统：更简洁、更清晰、更模块化
文章聚焦 Transformers v5 分词系统，介绍分词概念、流程、主流算法，对比 transformers 和 tokenizers 库。着重讲 v5 改进，如架构与词表分离，解决 v4 黑盒问题，还能从零训练专属分词器。
揭示隐藏联系：RLHF/DPO即对比学习！
大型语言模型输出符合人类价值观是挑战，主流技术RLHF复杂、昂贵且不稳定，DPO简化流程但有训练崩溃问题。论文揭示RLHF/DPO即对比学习，提出MIO算法解决DPO崩溃，实验验证其性能优势。
Meta刚刚开源DINOv3，横扫60+任务，无标注封神！
今天凌晨，Meta开源视觉大模型DINOv3，采用自我监督学习，无需标注数据。它在60多个视觉任务测试中表现出色，超越同类模型。还引入后处理优化策略，扩展应用场景，能适应多种部署环境。
Astra 的 Computer Use 能力是如何实现的？
本文编译自Browserbase增长工程师Kyle Jeong的个人博客，对比了纯视觉路线Computer Use模型的缺陷，详细拆解Astra模型利用无障碍树结合Codex Harness实现能力的架构、训练方法，分析其优劣与行业价值。