Token级别对齐」共找到 895 篇相关文章

算法论文8

ACL 2026|答得更准还写得更短?华为泰勒实验室提出SHAPE,给LLM推理装了个「推理税」

华为泰勒实验室等团队提出 SHAPE,给推理链装「里程碑 + 推理税」机制。它分三步,能统一势能增益度量、阶段难度感知和 token 效率约束。实验显示,它提升准确率、降低 token 消耗,还解决了推理坍缩等问题。

机器之心
产品应用8

微软深夜发布SambaY架构,Phi-4min加速10倍推理

微软基于Phi-4-mini版本,针对特定推理任务微调出Phi-4-mini-Flash-Reasoning 3B模型,将其扩展到200064 tokens。采用新型SambaY架构,支持64K token上下文长度,运行快10倍,有诸多优点。

PaperAgent
新闻资讯8

GPT-6 Astra全面解析 - “欢迎来到AGI时代。”

GPT - 6 Astra在全球AI大宕机后正式亮相,是全球最智能且最对齐的模型。它有诸多新特性,如操作电脑能力强、ARC - AGI - 3跑分高、审美提升等,但也带来思维链难监控等新问题。

数字生命卡兹克
新闻资讯7

GPT-5.4一周狂赚10亿美元ARR!一句嗨烧掉80刀,效率却飙升32倍

OpenAI总裁披露,GPT - 5.4上线一周,每天处理约5万亿token,带来10亿美元年化净新增收入。它成本和token消耗量高,但效率提升32倍。作为“大一统”模型,它智能水平出色,原生支持电脑操作。

量子位
开源动态8

英伟达新架构引爆全模态大模型革命,9B模型开源下载即破万

英伟达推出全模态大模型OmniVinci并开源,其90亿参数规模性能超同级别甚至更高级别模型,训练数据效率是对手6倍,能精准解析视频和音频,在多模态应用场景中表现卓越,下载量破万。

新智元
开源动态7

来了,DeepSeek又悄悄开源LPLB项目

DeepSeek 悄悄开源 LPLB 项目,该项目解决 MoE 小批量训练专家每批 token 数抖动问题。LPLB 在 EPLB 基础上,将‘冗余专家’看成带容量边的图,每批解一次线性规划,实现 token 重新路由,单节点 100µs 级求解。

PaperAgent
新闻资讯8

GPT-5.6泄露了!

GPT-5.6泄露,150万Token+神级极简UI下月上线。它在前端有质变,能生成高质量UI,上下文窗口达1.5M tokens。OpenAI采取双版本策略,6月还将迎来Anthropic、Google等模型混战,模型迭代周期也在缩短。

新智元
算法论文8

中科大 × 华为联合突破!SparseRM:1% 参数实现 LLM 偏好建模高效革新

中科大与华为联合提出SparseRM轻量级偏好建模方案,基于稀疏自编码器构建低参可解释奖励模型。实验显示它用不到1%可训练参数,在多任务中性能优,还能融入下游对齐流程,为LLM高效对齐提供新可能。

深度学习自然语言处理
推荐文章7

关于CUTLASS Grouped GEMM中Alignment参数的分析

文章围绕CUTLASS Grouped GEMM的Alignment参数展开。介绍其含义与自然对齐有关,既代表访问粒度也指明地址对齐要求。针对CUTLASS 2.x和3.x API分别阐述设置Alignment的方法及原理,还给出编译期推导代码示例。

GiantPandaLLM
新闻资讯7

人民想念DeepSeek

文章探讨AI时代Token相关问题。指出其消耗大、价格贵,存储价格上涨使Token降价缺杠杆,虽模型能力提升、MFU优化可降本,但传导到C端取决于商业考量。还回顾大模型价格战,介绍本地部署及芯片创新方案。

芯师爷