搜索：智能体式推理

「智能体式推理」共找到 5171 篇相关文章

阿里通义发布并行计算新策略：1.6B等效4.4B，内存消耗骤降95%

阿里通义团队提出PARSCALE并行计算新策略，受CFG双路径推理机制启发，将并行思想扩展到训练和推理全流程。能让1.6B模型性能接近4.4B模型，内存占用大降，还可用于现有模型，无需从头训练。

近年来，大语言模型在复杂推理任务中面临挑战，强化学习虽更接近人类推理过程，但训练“烧资源”。论文《QeRL》提出量化不仅能压缩模型、节省资源，还能增强模型探索能力，QeRL框架实现训练速度提升、内存占用减半。

Andrej Karpathy在YC AI创业营演讲引发关注，提出软件3.0时代来临，大量软件将被重写。还探讨了LLMs特性、半自主工具优势等。此外，文中整理了Sam Altman、李飞飞等嘉宾的精彩观点。

当前大模型推理顶尖但精确计算不足，Percepta团队在Transformer权重里内嵌可执行程序，通过2维注意力头设计提升推理效率，能在普通CPU上实现每秒3万+Token的流式输出，还精确求解了世界最难数独。

昨天，英伟达发布专为海量上下文AI打造的CUDA GPU——Rubin CPX，将大模型推理带入「百万Token时代」。它性能强大，能带来高回报，可重写推理经济，还将得到英伟达全栈AI生态支持，预计2026年底可用。

Jina AI发布2.4B参数量的视觉语言模型Jina - VLM，在多语言视觉问答任务达SOTA。它引入注意力池化，连接视觉与语言基座，处理问答等任务，对硬件要求低，多项测试表现优，还介绍架构、训练策略和上手方式。

新智元报道，清华、OpenBMB和哈工大提出零额外参数、训练高效的原生稀疏注意力框架InfLLM-V2，仅用5B长文本词元就能完成训练，相比稠密注意力机制有显著加速，性能接近传统稠密模型。

近期，DeepSeek发布V3.1新模型，采用全新混合推理架构，在多任务表现上有提升。它采用UE8M0 FP8，或为国产推理芯片优化机制。国内多家厂商新一代AI芯片支持FP8，未来国产大模型或针对其专门优化。

智能驾驶行业激战正酣，千里科技与阶跃星辰合作打造“原生智驾基座模型”。印奇首谈双公司布局，认为中国AI商业闭环要靠车跑出来。千里科技收入、利润双增，智驾装机规模将超百万辆，还布局Robotaxi和超级智能体。

本文围绕智能体对记录系统的影响展开讨论。有人认为智能体将摧毁记录系统，也有人反驳，指出其会提高记录系统标准。文章重点介绍上下文图谱概念，它是决策轨迹的长期积累，有望成万亿级新机遇。同时分析传统厂商构建难题及创业公司路径。