搜索：大语言模型推理

「大语言模型推理」共找到 8425 篇相关文章

砍掉70%内存！陈丹琦团队破解LLM长文本瓶颈

大型语言模型处理长文本时，KV缓存占用内存巨大。陈丹琦团队提出KV足迹作评估标尺，推出分块驱逐与PruLong训练技术，在128K长文本任务中最高降低70%内存，性能损失仅10%。

大模型落地面临推理难题，华为团队基于昇腾算力发布三项硬件亲和算子技术研究，包括以加代乘的AMLA算子、融合算子技术、SMTurbo加速技术，实现能效、协同和速度突破，未来将拓展应用场景。

前Qwen一号位林俊旸官宣创业公司Pragmatik Labs，方向为做横跨数字与物理世界的下一代Agent。公司获高榕、红杉、腾讯等投资，投后估值达20亿美元。虽无产品模型，但凭借林俊旸过往成绩受关注。

GitHub上的项目codex-vision-proxy让接进Codex的DeepSeek能看图，不用换模型或等官方，装本地代理即可。它还附带视觉工具包，在智能文档解析和OCR上潜力大，证明多模态能力可长在管道上。

近日OpenAI将ChatGPT语音功能正式引入桌面版，其底层是新一代语音模型GPT - Live。大佬们看好语音输入，因其能高带宽传递上下文。该功能不仅能闲聊，还可调度智能体，OpenAI想让ChatGPT成AI工作操作系统。

AI视频生成技术发展迅速，现有检测方法难满足需求。最新综述提出「事实保真度验证」目标，梳理出视觉与语言双视角的四层检测框架，还分析了检测方法演进、评测指标和数据集，为AI视频检测提供落地地图。

物理AI时代，机器人需「读懂」物理环境，环境感知能力成竞争焦点。乐动机器人过去十年围绕此布局，有空间感知技术先发优势，其自研模型与架构构建数据飞轮，有望完成向感知基础设施平台的身份重塑。

Anthropic 发布 Claude Design，可从提示词生成设计稿等，让 Figma 市值蒸发。这引发对 AI 应用层产品的思考，当基础模型厂商收回能力，靠能力缺口的产品将失重，应用层需从工作流、数据等找机会。

在自动驾驶等领域，长序列3D重建落地难，存在精度退化等问题。即将到来的CVPR 2026中，LongStream模型开源，它重新设计，解决了长序列难题，在多基准测试表现强，推动3D视觉走向在线建模。

传统强化学习（RL）训练LLM Agent面临成本高、任务多样性不足等挑战。Meta团队提出DreamGym框架，以经验合成为核心，通过三大组件协同工作，在多种任务和模型上提升性能，为通用Agent训练开辟新路径。