「推理优化」共找到 2981 篇相关文章
AI浪潮之下：存储来到聚光灯下
AI浪潮下，行业对存储设备重视上升。其根因是AI业务刺激，数据量增长且推理业务有新需求。信通院报告显示我国存力结构优化，国内厂商迎来机会，平头哥镇岳510主控芯片表现出色，生态建设也在推进。
提示工程实战指南：从Zero-Shot到Graph Prompting，7大核心技术全解析
随着大型语言模型发展，提示工程成关键技能。文章介绍零样本提示、少样本提示等七种提示优化模式，分析适用场景、优缺点，还给出示例，最后总结各技术适用场景及最佳实践。
GPT-5通过“哥德尔测试”！独创性解决博士生都得花几天时间的开放数学问题
最新论文中，研究人员让GPT - 5挑战5个未解决的优化猜想，它解出3个，还对一题给出不同有效证明方案。测试题需博士水平研究者花几天完成，研究还“挑衅”了陶哲轩对大模型数学能力的印象。
万卡时代，企业需要怎样的算力集群？
过去两年，AI算力需求跃升，消耗从训练主导转向推理驱动。企业算力需求有突发性等特点，智算集群是关键方案。InfoQ联合腾讯云发起直播探讨，还介绍了算力供给缺口、集群构建交付、性能优化及演进方向。
梳理SGLang中DP Attention及其Padding问题
作者梳理SGLang中DP Attention及其Padding问题。介绍DP Attention背景、流程，指出padding分max和sum模式，旧版sum padding浪费计算、影响cuda graph使用，v0.4.10后有优化，max padding仍待完善。
AI修真的一年：学者们怎么看“真智能”？｜甲子光年
甲子光年在年终盛典对话三位学者，探讨AI“真假智能”。学者们提及强化学习、推理、多模态等技术突破，分析研究路径，还谈选择标准与未来期待，指出AI是工程实践命题，真与假关乎信念选择。
腾讯LLM团队：对下一个 Token 预测的深入剖析，多样性 or 精准度？
最新研究证实RL能增强LLM推理，但成效受限预训练token分布。腾讯LLM部把交叉熵重写成单步策略梯度，用超参压熵，为RL打造‘低熵高信号’起点，经实验验证低熵模型优势明显。
Runway Gen-4.5刷屏发布，把重量、尘土和光影都做对了，网友：颠覆
Runway Gen-4.5突袭发布，获“视频生成AGI时刻”评价，在Artificial Analysis测试中拿下SOTA。它能精准执行复杂指令，物理还原与视觉精准度强，官方将逐步开放使用权限，还直言其存在因果推理等局限。
AI Infra 工程师们如何应对大模型流水线里的“暗涌”？
InfoQ《极客有约》X AICon 直播邀请华为、蚂蚁集团等专家探讨大模型 Infra 工程师实战日常。涉及大模型工程高频问题、版本迭代冲突处理、推理部署成本优化、开源项目挑战及 GPU 虚拟化趋势等内容。
LightLLM中DeepSeek V3/R1 Two MicroBatch Overlap 实现解析
文章围绕LightLLM中DeepSeek V3/R1的Two MicroBatch Overlap实现展开。介绍了该技术原理，通过拆分推理过程、精心设计执行顺序实现计算与通信重叠。还阐述了数据结构设计、预处理、核心执行流程，以及优化策略和配置启用方式。