「零延迟」共找到 572 篇相关文章
“像把大象塞进冰箱一样困难”，端侧大模型是噱头还是未来？
InfoQ《极客有约》X AICon 直播聚焦端侧大模型，探讨其落地挑战与破局思路。专家指出端侧部署有隐私、可用性等优势，但面临内存、精度等难题。华为、支付宝等分享方案，还探讨应用场景、商业模式及未来趋势。
为MoE解绑：全新「专家即服务」推理架构发布，超细粒度扩展锐减37.5%成本
近年来大模型推理开销增长，MoE架构虽能避免计算量同比增，但带来扩展性差、容错性低、负载不均等问题。为此作者提出全新「专家即服务」推理架构EaaS，实验显示它能锐减37.5%成本。
Google刚刚开源的一款AI工具，Gemini 2.5驱动浏览器自动化！
Google在GitHub开源AI浏览器自动化工具Computer Use Preview，基于Gemini 2.5模型，用自然语言控制浏览器完成复杂任务。支持双环境，集成Gemini API/Vertex AI，适用于Web测试等，零代码入门。
提速30倍，Meta重新定义了新一代RAG！
LLM时代，RAG成知识密集型任务标准范式，但处理长上下文时面临延迟高、内存贵问题。Meta超级智能Lab针对RAG特殊结构优化，提出REFRAG框架，有独特训练策略，实验效果显著。
16K星 Zep凭一张“动态记忆图”吊打一众Graph RAG
现有的RAG框架多依赖静态文档检索，无法满足企业对动态知识整合的需求。本次分享的Zep提供新型智能体记忆层服务，通过核心组件Graphiti动态整合数据，在LongMemEval基准测试中表现出色。
首个企业级智能体全开源！京东云将Agent门槛直接给打没了
京东云JoyAgent成为首个100%开源企业级智能体，完整能力全部开源，企业开发者可本地独立部署。它多智能体协同能力强、性能一流，还具多项技术创新，解决了企业AI落地难题。
世界首个「实时、无限」扩散视频生成模型，Karpathy投资站台
Decart发布世界首个「实时、无限」扩散视频模型MirageLSD，输入视频流能快速转化画面，前特斯拉AI总监Karpathy投资。它在时长和延迟上有突破，也有需改进之处。
ICLR 2025新成果：文档检索“降本增效”，从此“开挂”
传统文档检索系统处理视觉信息丰富的文档存在瓶颈，ColPali方法直接从文档页面图像生成多向量嵌入，简化流程、提高性能、降低延迟。ColQwen - Omni在其架构上扩展到图文+音频多模态匹配。
揭秘 GitHub 11.1k 让你的存储秒变“万能盘”？JuiceFS：最好用的存储系统能为你带来怎样革命性的提升？
云存储成本高、性能差等问题让人烦恼，JuiceFS 可零代码改造，将对象存储升级为高速共享文件系统。它功能丰富、架构有优势，代码示例简单，适用于多场景，相比竞品优势明显。
提示工程实战指南：从Zero-Shot到Graph Prompting，7大核心技术全解析
随着大型语言模型发展，提示工程成关键技能。文章介绍零样本提示、少样本提示等七种提示优化模式，分析适用场景、优缺点，还给出示例，最后总结各技术适用场景及最佳实践。