「低延迟推理」共找到 2954 篇相关文章
企业AI智能体大排雷：138场顶级分享抖出的落地实情
AI智能体重塑软件工程，研究团队分析138场演讲发现搭建时精力多花在工程集成和接口对接。文章结合推理模型与人工校验，介绍企业引入智能体的架构策略、演进历程、应用差异及技术底座等内容。
长尾的复兴
作者曾认为3D打印在制造业是旁支末流，天花板低。如今看法转变，认为AI加3D打印将长尾从比特推进到原子，长尾社区也成熟，让小众需求有规模化满足可能，创客和业余爱好者迎来复兴。
复旦北大联合美团LongCat提出TDAR：用“粗思考，细求证”破解Block Diffusion的速度精度悖论
复旦大学、北京大学联合美团LongCat提出Block Diffusion推理模型Test-Time Scaling新框架TDAR，引入‘粗思考，细求证’范式与有界自适应置信度解码，打破速度与精度零和博弈，在多基准测试表现出色。
Harness 工程就是控制论
文章指出OpenAI的Harness工程模式与瓦特离心式调速器、Kubernetes类似，都遵循控制论。代码库此前反馈回路在低层面，大语言模型改变现状，但需校准传感器和执行器，忽视工程实践代价会变得无法承受。
大模型的第一性原理：（三）信息论篇
本文从信息论角度解读大模型第一性原理。介绍Shannon信息论，提出将其从以BIT为中心转换为以TOKEN为中心解释大模型底层原理，还阐述大模型各阶段信息论原理、定向信息计算方法，对比Granger与Pearl因果。
蚂蚁集团扩散大语言模型新突破：超800Token/s，速度与质量兼得
蚂蚁集团将LLaDA更新到2.1，通过引入“草稿 - 编辑”机制，打破扩散模型推理速度与质量的对立僵局。它有极速和质量两种模式，还采用混合训练流程及强化学习，在多基准测试中表现出色。
黄仁勋2026大模型座上宾：杨植麟
在英伟达2026年GTC大会嘉宾中，杨植麟是唯一来自独立大模型创业公司的代表。过往黄仁勋邀人有“风口预言术”，此次选杨植麟，或因他搞出K2.5、死磕推理效率，能给英伟达讲新故事。
刚刚，杨植麟亲自开源Kimi K2.5！国产大模型打架的一天
今天国产大模型热闹非凡，Kimi更新至K2.5版本。它是万亿参数的MoE基础模型，开源且在多项评测表现佳，视觉与编码能力强，还引入Agent Swarm功能，实测展示其解决各类复杂任务能力。
从数据到决策：AI 驱动的 Quick BI 架构设计与实践
阿里云智能集团瓴羊高级技术专家王璟尧，介绍阿里云 Quick BI 从传统 BI 到 AI 驱动的智能 BI 的进化，解析领域大模型与 BI 引擎协同设计等技术权衡，为行业提供可复用技术范式。
手握30亿、被蚂蚁狂挖人，转型被骂惨的王小川，真的翻身了？
在大模型竞争中，2023 年成立的百川战略收缩聚焦医疗，起初内外存疑。2025 年，AI 医疗技术与应用进展显著，今年初大厂入局。百川如今开源 Baichuan - M3 模型，王小川认为医疗已入应用阶段、多模态非主战场，且国内 To C 更好。