搜索：分布式推理系统

「分布式推理系统」共找到 3622 篇相关文章

LLM-based Reranker效果到底如何？一项关于SoTA模型的全面分析

在信息爆炸时代，重排序是信息检索系统核心。论文对22种重排序方法实证研究，构建无污染数据集FutureQueryEval。结果显示LLM重排序器泛化能力被高估，轻量级模型有优势，为研究和应用提供指南。

8月22 - 23日，2025 AICon深圳站圆满落幕，超800位从业者参与。大会汇聚多企业专家，围绕多热点探讨。极客邦霍太稳指出AI从模型比拼到落地实践。多位嘉宾分享经验，如阿里云蒋林泉、快手周国睿等。还有多场硬核分享及开发者展区。

DeepSeek悄悄更新V3.1，官方仅提及上下文长度拓展至128K。实测其代码能力与前端审美提升，逻辑推理也有进步，在编程等个别场景能硬刚GPT - 5，但处理复杂任务还有距离，更新不大却有进步且降价。

Cornell大学兼Meta研究员jack morris成功将OpenAI最新开源的推理专用模型GPT-OSS逆向还原成基础模型，绕过对齐和安全措施，还暴露其训练用大量版权材料问题，此成果引发社区激烈讨论。

今天凌晨微软官网发布5种常用Agent模式助用户开发自动化AI员工。智能体比传统自动化工具更具优势，能推理协作等。各模式都有应用案例，且Azure AI Foundry支持多Agent模式开发。

随着推理大模型和思维链普及，大模型有了‘深度思考’能力，但现在有些偏科，简单任务也复杂化。AI大牛Andrej Karpathy发长文指出该现象，认为是基准测试优化所致，大模型发展不能只追求分数。

视频模型序列化处理影响推理速度与扩展性，传统token压缩方法在视频理解中有问题。阿里通义实验室与南开联合发布LLaVA - Scissor，用SCC方法和两步时空压缩策略，实验显示其性能优于其他方法。

大语言模型在多轮工具调用场景有挑战，传统强化学习算法有探索效率低和资源消耗大问题。本文提出ARPO，通过量化token熵分布变化设计自适应探索机制，降低工具调用成本且提升多轮推理性能。

本文综述人工智能赋能计算力学框架发展与现状，指出纯数据驱动、物理信息神经网络和算子学习方法虽有潜力，但在鲁棒性等方面有挑战。阐述四个研究方向，为复杂物理系统建模等开辟新途径。

7月9日，乌军第三独立突击旅称在哈尔科夫地区，让俄军士兵在仅遇无人机和陆基自杀式平台时投降，这是人类士兵首次向机器人部队投降。此事件展现战争新转折，也暴露出国际人道法律的滞后。