「预训练策略」共找到 2851 篇相关文章
GPT-5.2改写粒子物理教科书！人类手算32项算不出，AI一行公式搞定
OpenAI与多校研究者发布预印本论文，GPT - 5.2 Pro猜出关键公式，后被OpenAI内部模型证明。它推翻粒子物理教科书结论，指出单负树图振幅在特定条件下不为零，这是其在基础科学第三个公开贡献案例。
0.3B参数，600MB内存！腾讯混元实现产业级2Bit量化，端侧模型小如手机App
腾讯混元团队推出面向消费级硬件的“极小”模型HY-1.8B-2Bit，参数量仅0.3B，内存占用600MB。它基于产业级2Bit端侧量化方案，生成速度提升，还通过多种方法提升能力，未来将探索新技术缩小与全精度模型差距。
阿里达摩院开源具身大脑基模：3B激活参数性能超越72B，转身就忘事的机器人有救了
阿里达摩院开源RynnBrain具身大脑基础模型，全系列7个。它是业界首个有 时空记忆的模型，在20项具身Benchmark上超顶尖模型。具小而美优势，训练用自研架构提效，数据丰富，输入输出灵活。
逆天！Mata用13个参数26字节让模型正确率从76%飙升至91%
Meta等机构研究人员发布TinyLoRA极致微调技术，配合强化学习，能在几乎不改变大模型原有结构下，用极少数参数激发其推理能力。该技术在数学推理上表现出色，还探索了参数共享策略和存储精度问题。
大道至简，何恺明团队新作pMF开启像素级「无潜、单步」生成范式
何恺明团队新论文提出用于单步、无潜空间图像生成的pMF框架，直指主流扩散与流匹配模型通病。该框架将v、u和x三个场关联，训练网络把噪声输入直接映射为图像像素，实验表现强劲。
非Transformer架构的新突破，液态神经网络的推理小模型只用900M内存
谷歌提出的Transformer架构基本垄断大模型，而初创公司Liquid AI研发的液态神经网络架构另辟蹊径。其发布并开源的LFM2.5 - 1.2B - Thinking模型，仅需900MB内存就能在端侧运行，性能优于Transformer架构模型，还降低了死循环生成比例。
百川开源医疗大模型 M3，王小川：今年会发布两款 ToC 产品，正在做硬件
1月初OpenAI、Anthropic推出医疗产品，百川智能也开源医疗大模型Baichuan - M3，评测成绩突出。王小川表示今年会发布两款ToC产品，还在做硬件，阐述了百川在医疗领域的目标与策略。
突发！英伟达H200对华解禁，老黄赢麻了
特朗普拍板允许英伟达向中国出售H200，美确保“代差优势”，还抽25%分成。H200性能是H20的6倍，虽落后最新架构，但适合训练推理，此决定或为英伟达带来巨额销售额。
“最强具身VLA大模型”，究竟强在哪儿？
机器人基础模型π*0.6刷屏，能让机器人高效完成多项任务。它引入Recap学习法，突破传统模仿模式。其核心方法RECAP让VLA用奖励反馈和人类介入训练，还能从异构数据学习，实现自我进化。
RLinf上新πRL：在线强化学习微调π0和π0.5
近年来，基于流匹配的VLA模型成机器人领域前沿技术，但训练依赖大量人类演示数据。清华等机构联合推出在线强化学习微调框架πRL，提出两种微调方案，在测试平台验证了有效性，目前代码等已开源。