「token 接受率」共找到 1019 篇相关文章
大模型的第一性原理:(二)信号处理篇
本文从信号处理角度解读大模型原论文,探讨语义向量化原理,分析 Transformer 与 Granger 因果关系。指出大模型输入 Token 语义嵌入是将自然语言处理转化为信号处理问题,向量化与信号处理、信息论联系紧密。
Ilya 最新访谈,预训练时代终结后,AI行业来到了哪里?
Ilya接受90多分钟深度访谈,指出当前大模型泛化能力远不如人,Scaling时代终结,研究时代回归。还谈到AI经济影响与跑分不匹配、泛化能力鸿沟、情感价值等问题,预测超级智能5 - 20年到来。
AI把PC天花板打破了
IDC数据显示2025年第三季度全球PC出货量增长。联想2025/26财年第二财季财报亮眼,PC市占率首超25%,AI业务收入占比达30%。联想在多方面布局,对AI和AI PC潜力有信心。
LightMem用3招重新设计了LLM的记忆,结果出乎意料
LLM在超长多轮对话中有上下文窗口有限、记忆系统昂贵的痛点。LightMem借鉴人类记忆机制,用三招重新设计LLM记忆,实验显示其准确率超基线,还降低token使用量、API调用和运行时间。
快手Klear团队提出CE-GPPO:通过梯度保留协调熵,解决强化学习中的熵不稳定问题
快手 Klear 语言大模型团队提出新强化学习算法 CE - GPPO,以「熵」为核心,提出梯度保留策略,重新利用裁剪外区间低概率 token 的梯度,实现策略熵的精细调控,解决强化学习中熵不稳定问题。
大赚667倍,摩尔线程投资人赢麻了
本文聚焦冲刺“国产GPU第一股”的摩尔线程。它6月获科创板IPO申请受理,88天过会。其创始人张建中履历亮眼,公司自研架构MUSA优势明显。早期投资方沛县乾曜收益高,摩尔线程未来潜力大但竞争也大。
DPad: 扩散大语言模型的中庸之道,杜克大学陈怡然团队免训推理加速61倍
扩散大语言模型(dLLMs)有全局规划能力,但存在计算冗余。杜克大学陈怡然团队揭示其“草稿纸机制”,提出免训练方法DPad,结合现有技术,能在几乎无损精度下实现高达61.4倍推理加速。
扎克伯格的豪赌初见成效?Meta新方法让LLM长上下文处理提速30倍
Meta Superintelligence Labs提出REFRAG高效解码框架,解决LLM长上下文输入效率瓶颈。它通过四步流程优化解码,让首个token生成时间加速达30.8倍,扩展上下文,且精度不降反升,不过价值待实际检验。
挑战Claude4的8B Agent!NUS提出AgenTracer:面向多智能体系统的失败归因
随着大语言模型发展,多智能体系统潜力大但失败率高。新加坡国立大学等机构研究者提出AgenTracer框架,构建标注管线、设计轻量级追踪器,在失败归因任务上超大型闭源模型,还能助力系统自我提升。
EMNLP 2025 浙大&蚂蚁 | 提出动态压缩CoT推理新方法:LightThinker
随着AI发展,大语言模型处理复杂推理任务能力提升,但推理时产生大量中间步骤和文本,拖慢计算速度、增加资源压力。浙大、蚂蚁等机构研究者提出LightThinker,可动态压缩推理步骤,降低内存占用和计算成本。