「动态token选择」共找到 1314 篇相关文章
Make SFT Great Again!从SFT到DFT:一权重之差,泛化之跃
大型语言模型的监督微调(SFT)简单高效,但泛化能力弱于强化学习(RL)。本文直击 SFT 核心缺陷,揭示其泛化瓶颈源于隐含的“病态奖励结构”,并提出仅需单行代码修改的动态微调(DFT),实验表明其效果显著。
一手评测Seedance 1.0 pro,字节首次登顶视频大模型竞技场的大杀器来了。
作者在火山引擎发布会现场,认为视频生成模型Seedance 1.0 pro最酷。从多镜头组合、运动质量、情绪、运镜、物理动态效果、风格化六个维度测评,该模型各方面表现出色,无明显短板,已开放给企业用户,今日在豆包App全量上线。
先进封装补完计划
2024年美国众议院点名批评美资对盛合晶微投资,后将先进封装列为投资禁区。盛合晶微由中芯国际和长电科技合资成立,攻克硅中介层难题。AI芯片变大使台积电产能紧张,盛合晶微为国产芯片提供新选择。
都在卷「让大模型多循环几遍」,这个7B模型LoopCoder v2说:多循环 1 次就够了
当下推理模型流行在测试时多循环,以打磨答案。但新研究发现,7B模型LoopCoder v2只多循环1次(共2次),就能大幅提升性能,继续增加循环次数,性能反而下降。研究还分析了收益与成本,给出选择循环次数的诊断方法。
DeepSeek流量暴跌?AI大模型全球霸主离奇遇冷,外媒曝出真相
曾以低价高性能出圈的DeepSeek,在自家平台遇冷、市场份额下滑,但其R1和V3模型在第三方平台使用量增长近20倍。背后是‘Token经济学’及战略转移,它开源模型,将算力留作研发。Anthropic也因算力受限有类似问题。
首创像素空间推理,7B模型领先GPT-4o,让VLM能像人类一样「眼脑并用」
当前主流视觉语言模型(VLM)依赖文本token间接翻译视觉信息,缺乏直接视觉操作能力。滑铁卢大学等团队提出「像素空间推理」范式,让VLM能像人类一样「眼脑并用」,在四大视觉推理基准测试中,7B的Pixel - Reasoner表现碾压GPT - 4o等。
芯片竞争已经是一场华人内战
当下“全球芯片五巨头”皆由华人掌管,且全球前十大IC设计企业有8家与华人相关,“华人内战”格局明显。随着华人和中国企业在芯片领域积累,专业人才优势向AI产业蔓延。但各企业华人领袖会为自身利益做选择,“华人内战”或持续。
出了两道真题考 GLM-5.2,Opus 4.8 和GPT 5.5 陪跑
作者对GLM - 5.2、Opus 4.8和GPT 5.5进行两项测试。一是审计Skill体系,GLM - 5.2覆盖skill数多、找出冲突多,还挖出bug;二是做世界杯夺冠推演器网站,Opus表现出色,GLM - 5.2省token,Codex有巧思但结构有缺陷。
今起Codex每天重置一次!Tibo义父:首次3小时后发放,重置时间可自选
今起付费却无法用GPT - 6 Astra的用户,每天能重置额度一次,首个额度不到3小时发放,可自选重置时间。还提到GPT - 6做长程任务超272K tokens部分不增额度消耗倍率,开放时间待定。此外介绍在其开放前可做的3件事。
脑子比不过AI,手也要沦陷了?这只灵巧手看得我有点慌
人类手部结构和功能复杂,将其能力复刻到机器人身上是梦想,由此衍生出“灵巧手”方向。但多数“灵巧手”存在不足,世界机器人大会上一款“灵巧手”表现出色。灵巧智能选择柔性传动,其产品DexHand021 Pro优势明显,未来将提升感知和智能水平。