「Next-Token推理」共找到 2527 篇相关文章
小模型也能精确计算：WorldModel-Qwen的推理时代码执行实验
开发者bigattichouse让Qwen - 0.6B小模型推理时生成并执行WASM代码获计算结果。最初尝试加标签生成Python代码效率低，后用WASM，创建三层架构。虽结果未完美，但接近，还通过Gemini审查验证。
原来Scaling Law还能被优化？Meta这招省token又提效
2017年《Attention Is All You Need》提出的Transformer是主流语言模型基础范式。Meta新论文提出旋转不变型三线性注意力机制，证明其表现能改变Scaling Law系数，还证实2 - simplicial Transformer在有限token预算下更优。
Claude上线Prompt缓存诊断功能，终于不用盲猜token成本暴涨的原因
Claude宣布Prompt缓存诊断功能登陆控制台，可解决缓存失效排查痛点。此前开发者排查效率低，新功能能显示变动位置与token损耗。目前处于beta阶段，介绍了使用方法、支持的失效原因及功能限制等。
Token纪元：从「马力」到「人天」再到「兆字元时」的认知革命
文章指出，AI时代需全新生产力计量单位“马斯”。字元是AI“语言燃料”，但缺乏统一计量体系。智能社会的容量、速度、价格是关键指标，当前AI算力网络停在2G时代，AI劳动力崛起将重构就业，Token或引发文明跃迁。
推理能力再突破！蚂蚁 | 提出Agentic Deep Research新范式，可信度同步增加
尽管LLM能力提升，但复杂任务表现受静态知识限制。业界提出Agentic Deep Research系统，现存系统训练有梯度冲突和奖励稀疏问题。蚂蚁团队提出Atom - Searcher，创新推理范式，构建细粒度奖励，结合奖励训练，实验效果佳。
反转！LeCun刚转发「全球最快开源推理模型」，ETH苏黎世就直接打假
上周，MBZUAI与G42等开源号称「全球最快的开源AI推理模型」K2 - Think，引发广泛关注，图灵奖得主Yann LeCun也转发相关推文。但三天后，ETH苏黎世研究员发文指出该模型存在数据污染、评估方式不合理等问题。
阶跃星辰发布新一代基模 Step 3，原生多模态推理模型，性能达到开源 SOTA
WAIC 2025期间，阶跃星辰上线新一代基础大模型Step 3，7月31日将面向全球开源。还成立“模芯生态创新联盟”，与上海国有资本投资有限公司合作。Step 3性能达开源SOTA，推理效率高，适配多种芯片。
OpenAI推理第一人离职，7年打造了o3/o1/GPT-4/Codex
刚开年，OpenAI推理模型第一人Jerry Tworek离职，他在OpenAI近七年，是构建o3、o1、GPT - 4等的关键人物。他称离职是去探索在OpenAI难以开展的研究，网友有感谢赞叹也有因人才流失而沮丧。
英伟达全新开源模型：三倍吞吐、单卡可跑，还拿下推理SOTA
英伟达推出专为复杂推理和agnet任务打造的开源模型Llama Nemotron Super v1.5，实现SOTA表现，吞吐量提至前代3倍，可单卡高效运行。它采用NAS优化架构，经多数据集训练，现已开源。
美团之后，京东也开始自研大模型了
京东发布JoyAI - LLM Flash模型，激活参数小、推理快。它采用混合专家架构等技术，在基础架构、数据加工、强化学习等方面表现出色，还通过多Token预测等技术加速推理，为商业场景落地扫清障碍。