「硬件优化」共找到 1642 篇相关文章
sgl-kernel MoE Align Block Size Kernel 优化过程解析
文章记录SGLang的sgl-kernel中优化 `moe_align_kernel.cu` 的过程。MoE模型的 `moe_align_block_size` kernel从最初的baseline版本经多次迭代,包括加向量化padding、用Blelloch Scan并行化前缀和、用Warp Scan减少同步开销等。
Sam Altman邮件证实,OpenAI将开发硬件语音AI Agent
今天凌晨,OpenAI的Sam Altman回应删除与Jony Ive信息一事,公布与iyO交涉邮件,透露收购io是为开发硬件语音AI Agent。iyO曾邀OpenAI投资、合作,演示失败后被弃,双方因名字打官司。
低延迟、高吞吐,LLM优化与高效推理引擎综述
LLM计算成本高,用户要低延迟,企业要高吞吐。工程师开发优化技术,如动态批处理、KV缓存、模型量化。论文对比25款推理引擎,还探讨了多模态支持、手机端推理、新型架构支持等进化方向。
AI Agent平台Sedai获2000万美元融资,主打云优化
AI Agent平台Sedai获2000万美元B轮融资,由AVP领投。它聚焦云优化,用智能体取代人工运维,节省成本。产品应用广泛,核心能力突出,2024年收入增长7倍,计划扩平台、引新功能、扩市场团队。
150%训练效率提升:感知检测小模型训练优化方法
文章基于业务实践,总结感知检测小模型在不同算力卡上的训练方法,为智能驾驶场景提供借鉴。介绍测试环境、技术架构,分析环境依赖冲突、源代码适配等问题并给出解决方法,还提及性能优化及测试结果。此外还介绍用 RAGFlow 构建私有知识问答应用。
腾讯WorkBuddy联名硬件来了!首批100多家伙伴入场
9月2日腾讯WorkBuddy开放平台上线,亮相9款联名智能硬件、30多个行业应用与超100家生态伙伴。其是国内AI Agent赛道首个打通三层生态的开放平台,目标是成「面向Agent时代的操作系统」。
科研的回归:AutoSOTA如何终结“增量式优化”的重复劳动
当前AI科研中,为提升性能指标,研究者投入大量精力做“增量式优化”,限制原创探索。AutoSOTA项目由清华与中关村学院联合发布,它基于智能体系统构建自动化方案,接管实验迭代,一周发现105个SOTA模型,推动科研回归原创。
OpenAI 开发者的 Skill 经验:如何使用评估系统来优化 Skill
文章聚焦 OpenAI 开发者优化 Skill 的方法,指出迭代 AI 技能效果难测,可借助评估系统。介绍了用 Codex 评估的流程,包括明确标准、创建技能、手动触发找漏洞等,还提及不同阶段的评估重点和工具。
OpenAI硬件陷“抄袭门”,商标/设计极其相似,官方火速删帖
才官宣1个月,OpenAI斥64亿美金收购的AI硬件公司IO,因商标、产品设计侵权等问题,被IYO告上法庭。IYO称OpenAI曾与其接触后拒绝合作,直接推出IO,定位产品功能几乎一致。目前OpenAI已删相关内容。
谷歌与OpenAI对狙,Gemini主打极速性价比,GPT优化对话温度
谷歌与OpenAI对狙,谷歌发布Gemini 3.1 Flash - Lite,主打规模化性价比,专为高频场景设计,成本低、速度快;OpenAI上线GPT - 5.3 Instant,优化对话体验,减少拒答、增强联网搜索等。