「模型推理能力」共找到 9294 篇相关文章
当每个人都能指挥一支 AI 大军,什么能力最重要?
文章指出,在AI Agent增多的时代,管理能力是驾驭它们的关键。沃顿商学院教授提出判断是否委派任务给AI的公式,还建议从更好的指令、评估、反馈三方面提高成功率,同时给出委托任务和锻炼管理能力的方法。
图解Vllm V1系列7:使用AsyncLLM做异步推理
文章因异步RL讨论热,探讨用vllm做最小程度异步二次开发。介绍如何用AsyncLLM做异步推理,分析单条请求处理流程及阶段,说明并发提升效率的方法,还提及多请求并发及构建异步推理引擎思路。
大模型热度退潮,真正的技术创新者开始被「看见」
过去两年中国大模型投资多是商业模式驱动,而技术投资注重创新。DeepSeek 出圈后,独立创新成主流。今年国内大模型吸金热度下降,但智谱 AI、面壁智能仍获融资。面壁智能发布 MiniCPM 4.0,在多方面优化,展现端侧优势。
Evolvent AI 胡梦康:Agent 可能会被模型吃掉,但帮助 Agent 进化不会
Evolvent AI 创始人胡梦康认为 AI 下一阶段是让模型自主迭代。公司搭建 Self - Evolving Agent Infrastructure,希望成 Agent 进化的数据基础设施供应商。胡梦康分享研究历程、对 Agent 方向判断及公司业务,探讨 Agent 数据等问题。
刚刚,ChatGPT免费模型升级了:幻觉砍半/记忆更强/回答更简洁
ChatGPT默认模型升级为GPT - 5.5 Instant,免费用户可用。它幻觉减少52.5%,新增“记忆来源”,答案更简洁,语气更温暖自然。从5月5日起向所有用户滚动上线,替代GPT - 5.3 Instant。
从云原生到 AI 原生:模型引发的新一代基础设施构建
本文整理自蚂蚁集团余锋在2025年QCon上海站的分享。回顾基础设施从云计算到AI原生的演进,指出模型成新数据库,基础设施围绕其构建,还探讨了Agent体系影响、通智一体趋势及面临的挑战与机遇。
美团开源全模态,比肩顶级闭源模型,开源新SOTA
美团LongCat团队发布5600亿参数开源全模态模型LongCat - Flash - Omni,它有端到端全模态架构,能实现毫秒级实时音频 - 视觉交互。该模型训练采用渐进式策略,工程上有高效技术支撑,在多基准测试表现出色。
360发布全球最强视觉语言对齐模型!榜单全面领先!
360发布FG - CLIP 2双语细粒度视觉语言对齐模型,几乎在所有数据集上全面领先。它能让AI在统一框架内看懂图像细节、理解中英双语,团队还提出新中文多模态评测基准。
图解Vllm V1系列4:加载模型权重(load_model)
文章聚焦vllm加载模型权重的流程。从入口函数切入,详细分析DefaultModelLoader的工作步骤,包括初始化模型架构和实际加载权重,还给出各步骤代码及作用,为想操作load_model的人提供框架。
微软开源新版Phi-4:推理效率暴涨10倍,笔记本可运行
今天凌晨微软官网开源Phi - 4家族最新版Phi - 4 - mini - flash - reasoning,它参数小性能强,适合边缘设备。采用自研SambaY架构,推理效率涨10倍,延迟降2 - 3倍,多场景测试表现优异。