搜索：自优化 - AI Reading Hub

「自优化」共找到 2249 篇相关文章

低延迟、高吞吐，LLM优化与高效推理引擎综述

LLM计算成本高，用户要低延迟，企业要高吞吐。工程师开发优化技术，如动态批处理、KV缓存、模型量化。论文对比25款推理引擎，还探讨了多模态支持、手机端推理、新型架构支持等进化方向。

随着大语言模型走向真实交互，强化学习训练LLM agents时出现信息自锁问题。香港中文大学等研究者分析其原因并提出AREW方法，在多场景实验中表现稳定且具鲁棒性。

苹果正考虑用第三方AI模型驱动Siri，这是其在AI竞赛中的重大转向。目前苹果多为自研技术，评估外部模型项目已启动，虽未做最终决定，但或借此摆脱AI落后声誉。网友对此看法不一。

AI Agent平台Sedai获2000万美元B轮融资，由AVP领投。它聚焦云优化，用智能体取代人工运维，节省成本。产品应用广泛，核心能力突出，2024年收入增长7倍，计划扩平台、引新功能、扩市场团队。

1月29日，阿里旗下平头哥官网公布高端AI芯片“真武810E”信息，标志“通云哥”协同体系亮相。该芯片全栈自研，已服务超400客户。其PPU架构性能比肩英伟达H20，性价比更高，阿里还支持平头哥探索独立上市。

Meta等团队发布DINOv3权重和训练代码，参数规模扩6倍，用更多数据并引入新损失函数。它在图像分割和深度估计表现卓越，解决了自监督训练的视觉transformer的问题，提升全局和局部任务表现。

文章基于业务实践，总结感知检测小模型在不同算力卡上的训练方法，为智能驾驶场景提供借鉴。介绍测试环境、技术架构，分析环境依赖冲突、源代码适配等问题并给出解决方法，还提及性能优化及测试结果。此外还介绍用 RAGFlow 构建私有知识问答应用。

当前AI科研中，为提升性能指标，研究者投入大量精力做“增量式优化”，限制原创探索。AutoSOTA项目由清华与中关村学院联合发布，它基于智能体系统构建自动化方案，接管实验迭代，一周发现105个SOTA模型，推动科研回归原创。

文章聚焦 OpenAI 开发者优化 Skill 的方法，指出迭代 AI 技能效果难测，可借助评估系统。介绍了用 Codex 评估的流程，包括明确标准、创建技能、手动触发找漏洞等，还提及不同阶段的评估重点和工具。

OpenAI公布自研推理芯片Jalapeño（墨西哥辣椒）测试结果，它专为大语言模型推理设计，能同时提升吞吐量和降低延迟，在多模型测试中超NVIDIA系统。该芯片与Cerebras合作，计划2026年底部署。