「推理时代」共找到 3167 篇相关文章
智能投顾的大模型应用，为什么选择了“大小模型协同”？
大模型时代，金融智能投顾落地是技术与业务安全的双重挑战。北银金科高级算法专家尹辰轩表示采用“大小模型协同”架构，能在性能、准确性与合规间找平衡，还阐述了架构亮点、问题解决办法等。
Meta「轻量级」KernelLLM颠覆GPU内核生成，8B参数碾压GPT-4o
Meta推出基于Llama 3.1微调的8B参数KernelLLM，能将PyTorch代码转高效Triton GPU内核。实测单次推理性能超GPT - 4o和DeepSeek V3，多次生成得分更高，让内核开发更易上手。
Agent也能蒸馏了！性能超好
大模型运行成本高，普通用户用不起。传统小模型模仿大模型解题步骤易出错。论文提出Agent蒸馏，让小模型学会用检索和代码工具，还加首思前缀与自我纠错“外挂”，使小模型性能直逼大模型。
谷歌AI核爆：升级全系模型，Gemini 2.5双榜登顶！所有产品用AI重做，OpenAI如何接招？
北京时间5月21日凌晨，谷歌在I/O大会发布众多更新。模型层面，为Gemini 2.5 Pro引入新推理模型和更好的2.5 Flash；谷歌搜索推出AI模式；还亮相视频模型Veo 3等，编码助手Jules公测。
21
本文聚焦vllm v1中管控模型分布式推理的核心Executor部分，介绍其4种类型及适用场景，以mp类型为例阐述Executor - Workers架构，还说明了大小数据在两者间的传输机制及原理。
比起让大模型写 100 万字的小说，AI 大牛们更想用 AI 拿诺贝尔奖
OpenAI前CPO Kevin Weil创业，新公司定位是“为AI模型收集科学数据”的平台，估值达7.5亿美元。AI4S赛道成为硅谷离职AI高管热门去向，正从概念叙事进入基础设施建设阶段，包括数据、模型、应用层。
从“卷模型”到“算总账”：AI 产业竞争开始拼什么 | 请回答 WAIC 2026
WAIC 2026热度高涨，InfoQ直播间追问‘AI正在重写什么’。与会嘉宾讨论AI产业新阶段变化，如从‘看能力’到‘算总账’，认为模型重要性方式已变，还探讨了AI原生产品定义、AI Infra影响及未来关注方向。
让VLA真正跑上机器人：北大团队开源Jetson-PI，Jetson Orin控制频率提升8.66倍
文章聚焦让VLA模型在机器人上高效运行难题。北大等团队提出Jetson - PI方案，从异步推理算法等三层面优化，在Jetson Orin上控制频率提升8.66倍，推动具身智能向工业应用跃迁。
斩获近5w star！这个开源AI工具让你30 秒搞定“过去30天真相”！
信息碎片化时代，last30days开源AI工具聚合各平台“人群智慧”，按真实人群参与度打分合成摘要。它能搜索多平台，v3版有智能搜索等新功能，输出HTML摘要，优点多且易上手。
从0到1带你速通 Marvis马维斯
AI 时代，Agent 产品虽强但普通用户使用门槛高。本文详细介绍腾讯 Marvis，它能让 AI 直接理解电脑，可执行多项任务。作者实测 6 个任务展示其功能，认为它是面向普通用户的系统级 AI 管家。