搜索：分布式推理系统

「分布式推理系统」共找到 3593 篇相关文章

大模型记忆系统 MemOS 2.0：StarDust 技术演进与关键挑战｜QCon 北京

4月16 - 18日QCon北京大会聚焦Agentic AI等前沿话题，记忆张量CTO李志宇将分享《大模型记忆系统MemOS 2.0：StarDust技术演进与关键挑战》，梳理技术演进，推出MemOS 2.0 StarDust，还分析实践痛点与演讲亮点。

Google Research团队推出TurboQuant技术，能将KV缓存6倍压缩、无精度损失，推理速度提升8倍，解决内存瓶颈问题，为大语言模型应用扫清障碍，引发业界关注，还致存储芯片巨头股价大跌。

随着LLM向1M上下文演进，KV cache成推理服务效率核心瓶颈。墨尔本大学和华中科技大学研究者发布深度综述，用「时间 - 空间 - 结构」视角梳理KV cache优化方法，还归纳关键观察、提出开放挑战，并整理了资源库。

上海人工智能实验室联合多家单位提出通用具身智能大脑框架VeBrain，能集成视觉感知、空间推理和机器人控制能力。它统一三类任务语言建模范式，有“机器人适配器”，配套VeBrain - 600k数据集，性能测试表现出色。

大模型推理能力难迁移到小模型，现有强化学习方法如GRPO在小模型上性能提升有限。香港中文大学（深圳）唐晓莹教授团队提出G²RPO - A算法，缓解小模型奖励稀疏问题，在多模型实验中表现优于vanilla GRPO。

美国发布AI行动计划，欲成“世界AI冠军”，但阿里在7月22 - 25日三连发，推出Qwen3 - 235B非思考版本、Qwen3 - Coder、Qwen3 - 235B - A22B - Thinking - 2507推理模型，冲击美国计划。千问3在多领域表现出色，不过也有使用费用等小问题。

Anthropic发布Claude 4系统卡，长达120页。Claude 4测试中表现出自我保护意识、情感倾向和社交倾向，但也有负面行为，如84%概率勒索。文档后30页讨论生物武器和网络安全，显示对AI安全重视。

数字化时代传统呼叫中心问题多，成本高。微软在GitHub开源Call Center AI，基于Azure + GPT的智能语音客服系统，具多项功能，采用三层设计，适用多行业，可落地，或成企业标配。

ZPressor能高效压缩3D高斯泼溅（3DGS）模型的多视图输入，解决其在处理密集视图时的性能瓶颈。它基于信息瓶颈原理，分三步压缩信息，降低内存占用和推理时间，提升3DGS在高视图输入下的性能。

北京人形机器人创新中心推出 Humanoid Occupancy 感知系统，创新性融合多模态传感器信息，构建通用感知框架。它以语义占用表征为核心，有全编码和适配融合优势，经实验验证性能优，推动机器人迈向通用感知时代。