「生成式推理」共找到 4306 篇相关文章
阿里云Tair KVCache仿真分析:高精度的计算和缓存模拟设计与实现
阿里云Tair KVCache团队推出Tair - KVCache - HiSim,这是面向分布式多级KVCache管理的高保真LLM推理仿真分析工具。它能在通用CPU上高精度预测性能,支撑计算选型、存储规划和调度协同等决策,还介绍了其架构、组件、验证及性能评估等内容。
高性能计算群星闪耀时
本文介绍了高性能计算(HPC)在大模型时代的重要性,以及清华高性能计算团队在HPC及相关领域的研究与实践。如郑纬民带领团队突破存储技术,陈文光、翟季冬等助力大模型训练,武永卫团队优化推理,张悠慧探索类脑计算。
蚂蚁Ring-1T正式登场,万亿参数思考模型,数学能力对标IMO银牌
10月14日凌晨,蚂蚁万亿级思考模型Ring-1T正式登场,这是全球首个开源的万亿参数思考模型。它在多项基准测试中表现出色,数学能力达IMO银牌水平,还展示了强大的代码、推理、写作等能力,其背后是IcePop算法与ASystem框架的支撑。
张一甲:2025人工智能产业30条判断 | 甲子光年
甲子光年创始人张一甲在「2025甲子引力年终盛典」发布《轰然成势 万象归一:2025人工智能产业30条判断》报告。报告指出AI已“轰然成势”,进入“默认式AI”时代,还从技术、产品、产业、社会等方面给出30条判断。
10步优化超越强化学习,仅需1条未标注数据!后训练强势破局
无监督的熵最小化(EM)方法仅需一条未标注数据和约10步优化,就能显著提升大模型在推理任务上的表现,甚至超越依赖大量数据和复杂奖励机制的强化学习(RL)。EM为大模型后训练提供了更高效简洁的新思路。
多模态大语言模型的核心技术架构与训练方法的进化
文章深入剖析多模态大语言模型核心技术架构与训练方法的进化,涵盖建模范式、视觉编码器、语言骨干网络、模态对齐、生成范式及训练方法等方面,介绍其演进路径与代表模型,还提及国内模型创新及开源模型OpenVLA。
大模型之外,向量存储如何支撑 Agent 的检索链路
文章指出大模型负责理解、推理和生成,而Agent需获取外部数据等。向量存储可将数据转化为语义向量,在Agent执行任务时找回相关内容。文章探讨向量存储技术方向,分享做法,还演示阿里云两种Serverless向量存储用法。
停止迷信“超级Prompt”:要想AI不犯错,你得专门雇人“怼”它
这篇来自Isotopes AI的论文指出,在生成式AI落地中,迷信‘超级Prompt’不可取。对于高风险场景,单体LLM有局限,论文构建‘AI Office’架构,引入‘对手团队’概念,实验使准确率从60%提升到92.1%,但也有成本和局限。
字节推出X-Streamer,实时口型同步与长程记忆数字人框架
字节推出端到端多模态人类世界建模框架X - Streamer,能从单张人像构建可无限流式生成的数字人,实现音素级口型同步和长程记忆。其核心是“思考者–行动者”双Transformer架构,在两张A100 GPU上可实时运行。
当智能醒于物理世界,英伟达副总裁: 下一个十年属于物理AI!|新智元十周年峰会
在新智元十年峰会上,NVIDIA副总裁赖俊杰揭示公司下一个十年战略核心——物理AI,它是继生成式AI和智能体AI后的下一波浪潮。物理AI与现实物理世界交互,但面临诸多挑战,英伟达为此开源Cosmos世界基础模型。