「低延迟推理」共找到 2954 篇相关文章
逐个token太慢！大模型原生并行出token，CMU、英伟达新作Multiverse
卡耐基梅隆大学（CMU）和英伟达研究者提出Multiverse，这是能实现原生并行生成的新型生成模型。它解决了现有并行生成模型缺乏连贯性等问题，通过多方面协同设计构建推理模型，还开源了生态系统。
PaddleOCR3.0全面开源！文档解析PP-StructureV3：PDF秒变高质量结构化文件！
在大模型与RAG技术发展下，结构化数据愈发重要。飞桨团队打造PP - StructureV3并随PaddleOCR3.0全面开源，它能将文档精准转为结构化文件，有精度高、能力多等优势，还介绍了使用方式。
苏妈联手OpenAI，AMD发布3nm怪兽MI355X，性能碾压英伟达B200！
AI芯片战争白热化，AMD在大会发布3nm工艺的MI355X，推理性能超英伟达B200，还公布明年推出的MI400系列等新品。OpenAI CEO称将用AMD芯片，AMD与OpenAI开启合作。
AI 渗透金融行业：大模型如何破解风控、服务与决策难题？
在数字化与人工智能驱动下，金融行业变革深刻。InfoQ《极客有约》X AICon 直播栏目邀多位专家探讨大模型赋能金融，涉及风控、服务、决策等难题，分享了大模型应用场景、技术渗透、权衡可解释性与性能等观点。
一文读懂：国产AI芯片与英伟达的差距有多大？
文章围绕国产AI芯片与英伟达的差距展开。从算力性能、生态壁垒、市场现状、技术瓶颈等方面分析差距，指出国产芯片虽在部分场景缩小差距，但高端训练和生态成熟度仍落后3 - 5年，突围需多领域突破。
250美元起售，还开源，Hugging Face 发布史上最亲民人形机器人
Hugging Face 开源两款人形机器人 HopeJR 和 Reachy Mini，前者全尺寸有 66 个驱动自由度，售价约 3000 美元；后者成本低至 250 美元，可用于测试 AI 应用。虽被指外观不佳，但推动开源机器人生态发展。
提示工程实战指南：从Zero-Shot到Graph Prompting，7大核心技术全解析
随着大型语言模型发展，提示工程成关键技能。文章介绍零样本提示、少样本提示等七种提示优化模式，分析适用场景、优缺点，还给出示例，最后总结各技术适用场景及最佳实践。
图灵奖得主杨立昆现场追问：AI 还没越过这 3 道认知墙，谈什么通用智能？
图灵奖得主杨立昆指出AI未越过三道认知墙，即看不懂物理世界、无长时记忆、无推理结构，提出JEPA架构及AMI概念，还建议别卷模型，应卷架构，如探索具身智能等领域。
字节Seed新方法！开源8B代码模型：自己筛数据训练自己，同量级SoTA，还能超越百亿级对手
传统code大模型依赖人工筛选数据，成本高、效率低。而Seed - Coder团队让LLM自己筛选数据训练自己，打造8B参数轻量级开源代码模型，性能超百亿级对手，不过也存在通用和数学能力短板。
更聪明的AI就能随心所欲控制人类？OpenAI科学家笑了：你比猴子聪明，能让猴子听话吗？
本文是科技媒体The Information对OpenAI研究科学家Noam Brown的深度访谈，围绕AI Agent、推理模型、AI安全、OpenAI研发战略展开，披露了Hugging Face多Agent事件细节，分享了诸多反直觉的前沿技术观点，信息密度极高。