「推理服务基础设施」共找到 2946 篇相关文章
唯快不破：上海AI Lab 82页综述带你感受LLM高效架构的魅力
大语言模型性能提升但成本高，制约落地应用。上海AI Lab联合多家机构总结440余篇论文，形成82页综述，将LLM高效架构分为7类，探讨最新进展，还涉及线性化技术、硬件实现等内容。
视频生成 vs 空间表征，世界模型该走哪条路？
随着生成模型和潜在表征技术发展，业界探讨世界模型技术路线。是像素级视频预测模拟未来场景可靠，还是潜在空间抽象表征高效？Goole DeepMind的Genie 3发布，再次引发讨论，分歧也从理论走向应用。
训练提速5倍，响应缩短50%：动态自感知能力，重塑高效LLM Reasoning范式
大型语言模型“思维链”技术有冗余，传统优化方案存在静态先验与动态能力错配问题。论文提出的DR.SAF框架赋予模型动态自感知能力，通过三模块协作，实现推理“精准瘦身”，解决根本冲突。
从BERT到T5再到Qwen3：关于Embedding的八点总结
哈工大30+页综述聚焦通用文本嵌入（GPTE），系统介绍其架构、数据、模型，探讨预训练语言模型（PLM）给GPTE带来的基础能力与高级扩展，还涉及多模态、多语言、代码嵌入等应用。
Make SFT Great Again！从SFT到DFT：一权重之差，泛化之跃
大型语言模型的监督微调（SFT）简单高效，但泛化能力弱于强化学习（RL）。本文直击 SFT 核心缺陷，揭示其泛化瓶颈源于隐含的“病态奖励结构”，并提出仅需单行代码修改的动态微调（DFT），实验表明其效果显著。
2025年最戳心的纪录片：程序员的变与不变，太真实了
文章围绕《十字路口》纪录片，讲述开发者在 AI 时代的变与不变。AI 使开发权下沉，传统开发者角色被重新定义。纪录片记录开发者蜕变，展现其在行业变革中的选择，揭示技术革命中“人的价值重构”。
DeepSeek V4 借实习生获奖论文“起飞”？梁文峰剑指上下文：处理速度提 10 倍、要“完美”准确率
ACL公布2025年获奖论文，中国作者比例超51%。DeepSeek梁文锋通讯、实习生袁境阳一作的论文获Best Paper奖。其提出NSA机制，实验显示性能优、准确率高、速度提升显著，成果或用于DeepSeek V4。
OOM排查之路：一次曲折的线上故障复盘
文章复盘了整合Paimon数据湖与RocksDB的系统三次OOM故障排查过程，分享曲折经历，介绍MAT、NMT等排查工具，还给出内存问题排查思路，望为相似技术栈者提供启发。
这家国内公司，在给具身智能技术栈做「通解」
具身智能是AI热门赛道，世界人工智能大会WAIC 2025让其概念渐明。国内梅卡曼德公司展位集合机器人技术多种落地形式，展示自研通用机器人「眼脑手」全栈技术产品，推动机器人各行业落地。
DevProxy 0.28 发布，增加 AI 支持
微软发布 DevProxy 0.29 命令行工具，新版本增加 AI 支持，便于配置使用。它能模拟 API 及网络行为，结合 dev tunnels CLI 可检查云服务通信，还利用大模型生成文件，有重大架构变更等。