「部署难题」共找到 1854 篇相关文章
小米小爱同学：资源受限下，实现端侧大模型的高性能推理
InfoQ对话小米小爱同学端侧AI负责人杨永杰，探讨大模型端侧部署难题。团队自研推理框架，实现180 tokens/s推理速度，采用共享基座架构支持多业务。未来端侧大模型突破依赖硬件提升与架构演进。
马斯克20亿送Grok 4上火星！20万GPU造宇宙大脑，一句话生成3D黑洞
发布72小时，Grok 4爆红硅谷，2分钟可部署游戏，一句话直出完整动画。xAI成立两周年，马斯克SpaceX将投20亿，或把模型送上火星。Grok 4算力强，多项基准测试刷新SOTA。
钉钉做多维表，最大的底气是自家的电商
钉钉创始人无招回归后对产品走查改造，还拆付费墙，多维表全功能免费。它类似Excel但侧重协同，借阿里电商体系优势推行业化应用，解决AI落地难题，是实用的数智化小工具。
Harness Engineering 为什么是 Agent 时代的“控制论”？
本文是 George Zhang 对 Harness engineering 的解读。OpenAI 提出新工作方式，让 agent 编码，引发讨论。从瓦特调速器到 Kubernetes 再到如今的 harness engineering，本质都是控制论模式。LLM 或使代码库反馈回路在关键决策层闭合，但校准传感器和执行器是难题。
刚刚，MOSS孙天祥创业，直播AI4AI大规模科研
创业公司Analemma将全球公开直播部署端到端AI研究系统FARS，目标是全自动完成100篇论文，直播预计持续一个月。FARS是无人类干预、纯AI驱动的系统，能完成科研全流程。其创始人是孙天祥，团队年轻且获数千万美元融资。
告别「想完再做」卡顿！清华StreamingVLA让VLA边想边行动，提速2.4倍
视觉 - 语言 - 动作（VLA）模型“观测 - 生成 - 执行”串行模式致交互卡顿，清华与联想合作提出StreamingVLA框架，引入两项技术实现并行处理，在测试中显著提升效率和流畅度，为VLA模型部署提供新方案。
LLM会梦到AI智能体吗？不，是睡着了也要加班
新智元报道，Bilt部署数百万智能体，让AI在“睡眠”中整理记忆，评估互动，决定信息存储位置。AI记忆与人脑差距大，Bilt和Letta实验展现“主动智能”雏形，提高模型表现。行业也在突围AI记忆缺陷问题。
AI Infra 工程师们如何应对大模型流水线里的“暗涌”？
InfoQ《极客有约》X AICon 直播，邀请华为昇腾专家 ZOMI 酱、蚂蚁集团马介悦和 SGLang 尹良升探讨大模型 Infra 工程师实战日常。涉及大模型工程高频问题、版本迭代策略、推理部署优化、开源项目挑战等内容。
智谱GLM-OCR，0.9B开源即巅峰，复杂文档精准解析
智谱发布并开源GLM - OCR，以0.9B轻量级参数在多项基准取得SOTA。它解决视觉感知难题，具备视觉编码与语言解码协作架构，还可端侧与高并发部署，成本低，推动文档智能化处理升级。
全模态RAG突破文本局限，港大构建跨模态一体化系统
香港大学黄超教授团队开源多模态智能处理系统RAG - Anything，突破传统RAG技术单一文本局限，整合多模态文档解析等核心能力，解决现有RAG系统痛点，具备多方面技术亮点，有便捷部署方式和多场景应用模式。