搜索：推理优化与部署

「推理优化与部署」共找到 3534 篇相关文章

OpenAI 开源模型泄露：六大技术细节

OpenAI 可能发布的开源大模型细节泄露，包含两款模型，1200 亿参数 MoE 模型和 200 亿参数稠密模型，专注文本处理。还涉及训练技术、激活函数、上下文窗口、注意力机制及底层架构等方面的技术细节。

Crab是人大、清华和腾讯合作论文提出的模型，目标是高效一统多模态场景理解任务。它解决了音频 - 视觉理解模型任务干扰、合作显式化不足等难点，通过构建数据集、设计结构和统一架构实现多任务合作。

在文档数字化和自动化工作流中，离线OCR工具受青睐。GitHub上的TrWebOCR开源、离线，中文识别率高，媲美大厂。它亮点多，有快速上手指南和接口调用示例，适用场景广，但两年未更新。

文章介绍模型压缩与量化技术，其能在保持性能时降低大模型计算和存储需求，实现边缘设备高效部署。还阐述基础知识、关键技术路径、应用场景，并探讨未来发展方向。

字节跳动Seed团队公布全球第一梯队大模型“高考成绩”，Gemini理科655分排第一，豆包文科683分排第一、理科648分排第二。文章解析评测标准，分析各科目表现，还介绍豆包能力提升技术亮点。

音频驱动人体动画技术有局限，阿里夸克团队推出OmniAvatar模型。它用逐像素多层次音频嵌入和LoRA训练法，解决唇动同步等问题，适用于多领域，但也存在颜色偏移等不足。

现有视频虚拟试穿（VVT）方法在时空一致性和服装内容保留方面有挑战，浙大提出全新开源视频换装框架MagicTryOn，利用全自注意力机制统一时空建模，设计服装保留策略，还引入掩码感知损失。

上交大、清华等联合发表综述，探讨LLM与数据管理双向关系，分析LLM不同阶段数据管理技术与挑战并给出方案，还讨论了LLM在数据管理任务中的应用进展，为研究和实践提供指导。

Alibaba开源WebDancer，从数据和训练阶段出发提出端到端自主信息检索代理构建范式。实验中，它在GAIA和WebWalkerQA基准测试表现出色，处理复杂信息检索优势显著。

MME - VideoOCR团队评估多模态大模型（MLLM）视频OCR能力。构建精细任务体系和高质量数据集，评测18个主流MLLM。即便如Gemini - 2.5 Pro，准确率仅73.7%，暴露出MLLM在视频OCR领域能力局限。