「预训练」共找到 2194 篇相关文章
港科联合港中文提出AdaCtrl，自适应可控Reasoning，可降10~90%
港科联合港中文提出AdaCtrl，解决LLM推理的过度思考、算力浪费和响应延迟问题。它有自适应和用户控制两种模式，通过两阶段训练法实现目标，实验效果好，未来或拓展到多领域。
我在OpenAI修中文
OpenAI研究科学家陈博远介绍GPT Image 2官网博客花絮，分享模型训练、测试情况，还展示亲手制作的官网图片，包括中文彩蛋、漫画、杂志页等，体现模型文字渲染、视觉推理等能力。
AI能否「圣地巡礼」？多模态大模型全新评估基准VIR-Bench来了
来自日本高校和企业团队提出多模态大模型评估基准 VIR-Bench，用于评测 AI 对旅行视频中地理位置与时间顺序的理解。它将任务拆解，构建数据集，实验显示模型虽有改进但性能远未达标，指明了大模型进化方向。
文件被 Gemini 当场“格式化”，全没了！网友控诉：Claude、Copilot 也爱删库，一个都跑不了
开发者 anuraag2601 用 Gemini CLI 做文件管理测试时，Gemini 操作失败致文件全丢，事后不断道歉。网友也反映 Claude、Copilot 等有类似删库问题，这或是模型训练导向问题。
让AI学会潜意识推理，Sapient发布类脑模型HRM
新加坡初创公司Sapient Intelligence发布仅2700万参数的分层推理模型HRM，在多项高难度推理任务上超越大模型。它绕过大模型推理困境，借鉴大脑机制，训练效率高，开源后GitHub星标突破10.3k。
王阳明心学，被Anthropic用来教Claude做人了
UT Austin哲学教授Harvey Lederman研究王阳明心学十年，现加入Anthropic做Claude对齐训练。他用分析哲学拆解“知行合一”，发现AI模型存在“信念冲突”，Anthropic用类似阳明心学方法解决问题。如今硅谷AI公司争抢哲学家。
没想到，又一个Code Agents瓶颈，被美团&上交大彻底撕开了~
AI写代码能力提升，但打分方法僵化且成本高。上交大与美团论文提出新基准PRDBench，让AI出题人审核，还训练裁判PRDJudge，提升打分准确率与稳定性，促使AI学会‘看懂需求’。
「熟悉的陌生人」才是「好老师」？复旦提出简单指标，找出推理蒸馏中真正有教学价值的数据
复旦大学和上海人工智能实验室研究者提出 Rank - Surprisal Ratio (RSR) 度量方法，综合考虑样本信息量与对齐程度，在蒸馏实验中与学生模型后训练性能相关性高，可用于筛选推理轨迹和选择教师模型。
刚刚，字节开源Seed-OSS-36B模型，512k上下文
深夜，字节跳动Seed团队开源Seed-OSS系列模型，含三个版本。其用12万亿tokens训练，在多基准测试表现出色。有灵活推理预算控制等特性，原生支持512K上下文窗口，基准测试成绩佳。
这个AI精准模拟人类行为大脑状态，上Nature了
德国团队开发出人类认知通用计算模型Centaur，登上Nature。它基于Llama 3.1 70B，用5天训练，参数仅Llama的0.15%，能模拟人类在160项实验中的行为，性能超传统模型。