「推理数据」共找到 4215 篇相关文章
蚂蚁开源 x SGLang Meetup技术回放解读系列之面向DeepSeek系列模型的深度优化与实践
文章是对蚂蚁开源x SGLang Meetup中「蚂蚁Theta面向DeepSeek系列模型的深度优化和实践」分享的解读，详细介绍了在H20-96G上对DeepSeek系列模型推理的优化方案，包括Prefill和Decode阶段的优化、通信优化、观测诊断等，并给出了评测结果。
MiniMax都在用！5500PB幕后功臣首次亮相，国产黑马祭出杀招
AI浪潮中，数据流不动致GPU算力空转，XSKY星辰天合举办AIMesh产品战略发布会破局。AIMesh含三网，分别解决IO墙、重力墙、内存墙问题，且开放解耦，获多方认可。
长程 Agent 越跑越乱？ContextPilot 用细粒度 RL 教会模型主动管理上下文
长程 Agent 推理时，传统方法使上下文臃肿、推理成本高。清华、腾讯等团队提出 ContextPilot 框架，扩展管理工具集、采用新采样和信用分配方法。实验显示其用短上下文获高分，降低推理开销。
不只是行业 Know-How，营销类 Agent 工程化落地难题有何解？｜对话瓴羊副总裁、友盟+总经理毛波
今年是“AI Agent 元年”，营销 Agent 热门但有难题待解。InfoQ 对话瓴羊副总裁毛波，探讨营销 Agent 落地困境、工程化挑战、未来护城河及发展机会，友盟+推出产品并提供方案助力解决问题。
超越免训练剪枝：LightVLA引入可微分token剪枝，首次实现VLA模型性能和效率的双重突破
文章介绍LightVLA框架，它是用于提升VLA推理效率和性能的视觉token剪枝框架。针对VLA模型计算开销大、推理延迟高问题，提出两大创新，在LIBERO实验中性能超经典模型，还实现推理加速。
智谱 GLM-4.5 团队深夜爆料：上下文要扩、小模型在路上，还承诺尽快发新模型！
今日凌晨，GLM系列模型四位研发成员在Reddit的AMA活动中，回答了GLM系列技术细节、未来规划等问题。透露扩展上下文、推小模型是重点，还承诺尽快发新模型，也探讨了大模型发展观点。
中学生就能看懂：从零开始理解LLM内部原理【十】｜ “过拟合” 与 Dropout
文章围绕神经网络过拟合问题展开，介绍了过拟合的概念、危害及产生原因，阐述了缓解过拟合的正则化方法，重点介绍了Dropout随机失活，还指出其局限性及在大模型中的应用策略。
TPU vs GPU 全面技术对比：谁拥有 AI 算力最优解？
SemiAnalysis对Google TPU v7/v8深度拆解，将TPU与Nvidia GPU多方面对比拆到可计算层面。不过其结论有局限性，本文重新分析，指出TCO因场景而异，互联体系分歧在流量假设，Google TPU v8成本优势被削弱。
苹果竞价搜索广告（ASM应用商店营销）到底是什么?
ASM广告位展示的产品在用户自然搜索结果的前10名位置再次出现，即使App的自然排名本不在Top10以内。这种推广方式能为App带来额外的曝光机会，同时提高下载转化率。
英伟达，开始限制Claude使用了
本文援引The Information报道，英伟达、Palantir等大企业因对敏感数据控制权的顾虑，限制Anthropic Claude前沿模型用于核心敏感业务，探讨了企业级AI落地的新矛盾与行业发展方向。