「大模型推理系统」共找到 9002 篇相关文章
字节开源高效解析文档图像的新型多模态模型Dolphin，快速将复杂的文档图像转化为结构化数据。
字节开源新型多模态模型Dolphin，采用“先分析后解析”范式，能将复杂文档图像转化为结构化数据。它有卓越性能和多种特性，还提供安装、推理使用指南。
AI 推理精细化流量治理实战：RocketMQ LiteTopic 的“千人千面”流控方案
随着大模型推理服务成主流，传统消息队列限流机制在AI推理场景面临挑战。Apache RocketMQ 5.x推出LiteTopic，其精细化流量治理方案能实现‘千人千面’，解决队列头部阻塞和并发效率受损问题，还与阿里云百炼网关合作。
小红书提出DeepEyesV2，从“看图思考”到“工具协同”，探索多模态智能新维度
小红书推出多模态模型DeepEyesV2，它延续视觉推理优势，实现代码执行、网页搜索和图像操作的全工具协同。通过多工具协同推理解决复杂问题，采用两阶段训练策略，准确率远超开源模型。
推理时间减少70%！前馈3DGS「压缩神器」来了，浙大Monash联合出品
在AR、VR等领域，3DGS是新视角合成（NVS）领域备受关注的技术方案。现有前馈3DGS模型存在编码器容量有限等问题，ZIP Lab和Monash团队引入信息瓶颈原理，推出轻量级模块ZPressor，有效解决信息过载难题。
打破幻觉！Qwen最新OCR让印章、表格、公式识别准确率飙升45%
基于推理增强框架的视觉语言模型处理OCR任务有成果，但存在生成幻觉问题，特定领域不如专家模型。DianJin - OCR - R1通过推理与工具交互，按‘思考 - 调用工具 - 重新思考’流程提升OCR性能，减少幻觉。
从代码基座模型到智能体与应用：代码智能的全面综述与实践指南
北航、阿里等机构联合发布论文，系统梳理 2021 - 2025 年代码大模型发展。介绍代码基座模型、评测任务、对齐技术等，还提及软件工程智能体、安全防御及训练指南，预言未来编程走向。
大模型被确诊「视觉文盲」！多校联合提出MILO，为它植入空间想象力
空间推理是多模态大语言模型（MLLMs）应用关键挑战，当前‘语言描述式调优’让模型成‘视觉文盲’。多校联合提出MILO范式，结合视觉生成反馈与语言调优，还构建GeoGen数据集，经五大任务验证其有效。
苹果端侧AI两连发！模型体积减半、首字延迟降85倍，iPhone离线秒用
苹果在Hugging Face放出FastVLM与MobileCLIP2两条多模态主线。前者主打「快」，首字延迟压到竞品1/85；后者突出「轻」，体积减半。模型和Demo已开放，开发者可集成开发。
OpenAI公布首颗自研推理芯片成绩，下一代已进入制造阶段
8月25日，OpenAI公布自研推理芯片Jalapeño性能测试结果，首次给出其在多款公开大模型上的具体数据。该芯片在低功耗下实现高推理吞吐量和低延迟，性能超英伟达芯片，B0版已进入制造阶段。
蚂蚁开源世界模型LingBot-World：具有分钟级记忆的实时世界模拟器
蚂蚁集团旗下灵波科技开源具身智能模型及世界模型LingBot-World，它将视频生成模型进化成可交互世界模拟器，采用多阶段进化策略，有涌现记忆等能力，虽有不足，但为开源社区构建世界模型迈出坚实一步。