「Token级别对齐」共找到 944 篇相关文章
刷新世界记录！40B模型+20万亿token，散户组团挑战算力霸权
Nous Research推出Psyche网络，用区块链汇聚全球计算资源，启动40B参数大语言模型Consilience预训练，达20万亿token创纪录。还解决带宽瓶颈等问题，让AI训练去中心化，推动创新与民主化。
腾讯LLM团队：对下一个 Token 预测的深入剖析，多样性 or 精准度？
最新研究证实RL能增强LLM推理，但成效受限预训练token分布。腾讯LLM部把交叉熵重写成单步策略梯度，用超参压熵，为RL打造‘低熵高信号’起点，经实验验证低熵模型优势明显。
复旦上线音视频模型新裁判：一万组数据对齐人类审美
现有音视频生成领域的奖励模型多依赖局部指标打分，不符合人类整体审美感受，易让模型“刷高分”却未真正提升生成质量。复旦大学团队推出VA-Judger，基于一万组人类偏好数据训练，可从整体维度判断生成质量，对齐人类审美。
少 61% Token、多10倍成功率，这个终端 AI 编程代理火了！
现在多数AI编程工具问题多，而在Github上火爆的`oh-my-pi`是运行在终端的AI编程代理，有哈希锚定编辑等实用功能，支持多模型，经基准测试效果好，还能解决实际开发痛点。
100万亿Token看懵硅谷！全球一半算力写代码，另一半在「搞颜色」 ？
OpenRouter和a16z联合发布报告，基于100万亿Token实证数据揭秘2025年AI发展。开源模型流量占比达30%，推理模型成主流，编程和角色扮演是主要使用场景，亚洲付费使用量翻倍，中文成全球第二大交互语言。
函数向量对齐技术，让大模型持续学习不“失忆”丨ICLR 2025
中国科学技术大学等校团队破解大语言模型灾难性遗忘之谜，发现遗忘源于模型激活带偏差新功能，非覆盖旧功能。还设计FVG训练法，保留并对齐函数向量，保护模型能力。相关论文被ICLR2025接收，代码开源。
这一年，DeepSeek消耗14万亿Token，编程仅占1/10，超一半用于角色扮演？
a16z和OpenRouter基于100万亿token研究揭示LLM使用情况：开源模型占三成市场，编程任务成刚需，角色扮演是金矿。还提到‘玻璃鞋效应’影响用户留存，市场分层为‘高端闭源+性价比开源’双轨制。
英伟达下一代GPU登场，Rubin CPX一次推理数百万Token，网友：这是头野兽
在周二的AI基础设施峰会上，英伟达宣布推出专为超100万token长上下文推理设计的Rubin CPX GPU。它将与其他产品组成新平台，性能卓越，还能复用现有平台，预计2026年底上市。
注意力机制大变革？Bengio团队找到了一种超越Transformer的硬件对齐方案
Transformer虽改变世界但不完美，线性递归等新方法理论有优势，实际在GPU表现不佳。Bengio团队提出硬件对齐算法框架，用滑动窗口循环和B2P算法，实验显示有速度与质量双重突破。
RAE+VAE? 预训练表征助力扩散模型Tokenizer，加速像素压缩到语义提取
近期，RAE 提出以「 冻结的预训练视觉表征」作潜空间提升扩散模型性能。同期西安交大与微软亚研院提出 VFM - VAE，结合 RAE 与 VAE，能加速模型收敛、提升生成质量，展示扩散模型 Tokenizer 演化方向。