「多 token 预测」共找到 4915 篇相关文章
领先于Transformer！新架构首个1200万上下文模型SubQ，成本仅Opus的5%
Subquadratic公司提出SubQ模型，核心是SSA亚二次稀疏注意力机制。该机制改变注意力计算分配，让模型真正读长文档。SubQ是首个有1200万token上下文窗口的前沿模型，成本低、速度快，有望革新大模型扩展路径。
DeepSeek不惜代价保住它！V4关键特性被挖出来了
DeepSeek V4技术报告被深挖，为保留核心设计「batch invariance」不惜代价。该设计能保证线上推理稳定、各环节对齐，是复杂上下文系统底座，但会牺牲GPU利用率等，换来训练等多阶段可复现和稳定度。
上海交大DENG Lab提出「LatentUM」：Unified Model的真正「战场」在视觉推理与世界模型
上海交通大学 DENG Lab 提出的 LatentUM，尝试让统一模型把生成的视觉内容纳入推理闭环。它在多项任务上超越基线，其核心思路是生成与语言共享语义空间的离散 visual semantic tokens，模型含三大关键设计。
华为新开源！扩散语言模型突破32K上下文，还解锁了「慢思考」
今年文本生成领域从自回归向扩散语言模型转变，但长序列训练不稳定是痛点。华为发布 openPangu-R-7B-Diffusion，将上下文长度扩至 32K，在多基准创 7B 参数量级 SOTA，还解析了其技术革新。
小红书 AI 搜索负责人高龑确认出席 QCon 上海，分享小红书搜索的 LLM 进化之路
10月23 - 25日，QCon全球软件开发大会将在上海举办，聚焦多热门话题。小红书AI搜索负责人高龑将分享《从“搜内容”到“问AI”：小红书搜索的LLM进化之路》，介绍搜索实践及大模型应用经验。
2025 年 InfoQ 趋势报告：AI、ML 和数据工程
InfoQ AI ML 趋势报告基于编辑团队与嘉宾播客，总结 AI、ML 技术发展趋势。涵盖 AI 代理、多模态语言模型等创新领域，也提及早期采用者、早期多数、晚期多数类别的技术，还对 2025 年相关领域发展作出预测。
从少样本到千样本！MachineLearningLM给大模型上下文学习装上「机器学习引擎」
新研究 MachineLearningLM 提出轻量可移植「继续预训练」框架，突破 LLM 在上下文学习局限，能学上千示例，在多领域分类任务超基准模型。它有三项核心创新，效果惊艳且应用潜力大，还指明未来研究方向。
刚刚，OpenAI把1GW超算中心直接给了印度！奥特曼即将亲赴三哥办事处
OpenAI计划在印度建设至少1GW规模的数据中心，这是「星际之门」计划首次大规模进入亚洲。印度用户增长潜力大，还有多语言应用场景。虽奥特曼淡出CEO角色，但亲自推动全球算力布局，印度是关键起点。
双“雷”暴击！Trae 被曝资源黑洞、Claude背刺超级付费党，开发者们被“刀”惨了
主打“自动化执行、多模型调用、上下文记忆”的AI编程应用大热，但也出现运行卡顿等问题。Trae被曝过度消耗资源，Claude Code对付费用户增加调用限制，凸显AI产品资源问题及厂商成本管控困境。
奥特曼：温和奇点已降临！AI最终掌控物理世界，2030年人类命运大转折
奥特曼在「温和的奇点」一文中称人类跨越AI发展「事件视界」，进入指数级加速阶段。他预测了未来5年技术时间线，还指出奇点悄然渗透，AI自转飞轮越来越快，人类迈向超级智能时代机遇与挑战并存。