「生成式推理」共找到 4272 篇相关文章
The Batch：925｜移动端AI应用爆发式增长
市场研究公司Sensor Tower报告显示，去年移动端AI应用下载量和收入迅速增长，非游戏应用收入首超游戏。OpenAI、DeepSeek等占大头，用户使用时长也大幅增加，AI成日常习惯。
高通要发两款AI推理芯片，资本市场反应强烈
高通周一宣布明年推AI200芯片，2027年跟进AI250，股价应声上涨。两款芯片基于移动神经处理技术，专攻AI模型部署，沙特AI公司已计划采用，高通想借此进军AI芯片市场。
OpenVision 2：大道至简的生成式预训练视觉编码器
多模态大模型浪潮中，视觉模块是关键。此前OpenVision训练管线复杂，成本高。研究者提出OpenVision 2，移除文本编码器与对比学习，引入随机丢弃视觉token技巧，性能佳且效率高，挑战了对比学习范式。
张小珺对话OpenAI姚顺雨：生成新世界的系统
OpenAI研究员姚顺雨在播客访谈中分享诸多新颖观点。他认为创业公司机会在设计新交互方式，未来或产生超越ChatGPT的超级应用；还指出语言是实现泛化的工具，强化学习有泛化趋势，智能边界由不同超级应用共同定义。
一种用于管理 AI 变革步伐的演进式架构模式
Cloudflare推出基于QuePaxa共识算法的Meerkat服务，可无领导者写入并保持强一致性，提高网络可用性。它预计将是QuePaxa全球首次生产部署，但存在局限性，如大量往返通信。
Node.js 拟内置虚拟文件系统，AI 生成代码引争议
Node.js 技术指导委员会成员 Matteo Collina 提议在 Node.js 核心新增 `node:vfs` 模块引入原生级虚拟文件系统，引发关注。功能可解决常见工作流程难题，已获部分开发者支持，但因用 AI 开发引争议。
Vibe Coding 在代码生成与协作中的实践与思考
本文整理自阿里专家向邦宇的分享。探讨构建 Vibe Coding 工具，介绍其分类、在阿里现状。指出用户使用中面临代码质量等问题，产品自身有设计、安全挑战。还分享 Agent 建设经验，强调适配国产模型及模板化的作用。
DeepSeek又拿第一！首创「因果流」视觉推理，超越Gemini
DeepSeek开源DeepSeek - OCR2，引入DeepEncoder V2视觉编码器，打破传统模型扫描限制，模仿人类视觉「因果流」逻辑。它解决了传统VLM忽略图像语义结构问题，在多项测试中表现出色，还验证了「LLM作为视觉编码器」可行性。
RTP-LLM 在相关性大模型中的推理优化最佳实践
淘宝搜索场景引入大参数LLM模型，面临系统性能挑战。本文分享基于RTP - LLM框架的优化实践，如大BatchSize调度、批次内前缀复用、MoE Kernel动态调优等，还提及未来优化方向。
谈一谈TP推理场景下MoE Group GEMM的优化思路
作者在使用H20测试SGLang CUTLASS MoE时，发现其在中小Batch Size场景下性能不佳。为此设计Expert Specialization方案，启动多个不同配置Kernel，依Expert计算特性选合适的。还介绍了该方案在H20和Hx00上的实现细节及性能测试结果。