「2D推理」共找到 3916 篇相关文章
「上下文工程」 已经30岁了，而你可能刚知道它
上海创智学院刘鹏飞老师团队提出上下文工程2.0，剖析其本质、历史与未来。上下文工程已发展30年，是熵减少过程，旨在弥合人机认知鸿沟。其历史呈收敛曲线，每次技术突破引发三重连锁反应，当前人类正处通向3.0转折点。
Qwen3-Next全新架构，32K场景MTP吞吐提升10倍
随着模型大小和上下文长度增加，为应对成本和部署挑战，Qwen3 - Next有突破性架构创新，解决上下文长度和总参数缩放问题。它采用混合注意力、超稀疏MoE等，MTP机制让其长上下文推理吞吐量比前身高10倍以上。
腾讯混元开源 4 个小尺寸模型，主打 Agent 和长文
8月4日，腾讯混元开源四款小尺寸模型，参数为0.5B、1.8B、4B、7B，消费级显卡可运行，适用于低功耗场景。模型具备推理快、性价比高特点，亮点是Agent和长文能力，已在腾讯多业务应用。
图解Vllm V1系列5：调度器策略（Scheduler）
本文是图解Vllm V1系列5，聚焦调度器策略。先回顾vllm v1整体运作流程，接着阐述调度 - 推理的整体流程，包括将请求添加进Scheduler、Scheduler单步调度策略等，还对比了不同场景下的函数及调度逻辑。
只有 30 个工程师的 X，是怎么重新杀回 App Store 第二的
本文讲述X产品负责人Nikita Bier的经历，他曾多次打造爆款App。加入X后，30人团队30天内将App Store排名从78推到2。他还分享X在算法、功能等方面的改进，以及Elon的管理风格和X未来计划。
当AI从云端“下沉”，Arm如何赋能端侧
端侧AI发展近十年，已进入应用快速拓展期，成为推动消费电子革新重要力量，但面临视觉处理、内存平衡和应用迭代等挑战。Arm推出相关平台与技术，如SME2，提升AI性能与能效，还与厂商合作，持续创新赋能端侧。
万字实录：VLA 范式，具身智能的曙光与迷雾丨GAIR Live
2025年5月9日，雷峰网等举办“具身智能之VLA的实践与突破”线上圆桌沙龙。多位专家探讨VLA定义、起源、技术路线等，指出其面临推理、数据等瓶颈，还讨论了与强化学习结合、数据选择、提升泛化性、长程任务及落地场景等问题。
Life of a Token：像调试代码一样看懂大模型如何生成 Token
文章类比 Chrome 的 Life of a Pixel，追踪 LLM 里 token 从输入到输出的全程。以 GPT - 2 Small 为例，详细讲解其管线各阶段，如 Tokenization、Embedding 等，还介绍了残差流、KV Cache 等概念及 GPU 性能瓶颈和优化方法。
只用国产GPU训练的大模型性能飙升100%！国内唯一，更懂你
科大讯飞发布全国产算力训练的讯飞星火X1.5，推理效率暴涨100%，综合性能跻身全球顶级。还首发非自回归语音大模型架构，效果提升、成本降低。此外，展示多领域应用成果，发布相关产品，开源智能体平台。
万亿级思考模型，蚂蚁首次开源！20万亿token搅局开源AI
10月14日蚂蚁集团发布万亿参数思考模型Ring-1T，在多领域表现出色，推理能力直逼闭源巨头。此前已开源旗舰通用大模型Ling-1T。还介绍了训练技术创新，虽模型有不足，但开源夺冠证明‘思考力’可工程化。