「跨语言推理」共找到 3102 篇相关文章
谷歌迎来“DeepSeek时刻”!TurboQuant引爆AI圈、全球开发者疯狂复现:6倍无损压缩,内存股集体暴跌
谷歌研究院发布 TurboQuant 压缩算法,能在提升速度、保持准确性的同时,降低大语言模型内存占用,可将键值缓存压缩至少 6 倍,速度最高提升 8 倍。该技术无需额外训练,精度零损失。目前虽未大规模部署,但已引发内存股下跌。
Qwen负责人转发2025宝藏论文,年底重读「视觉领域GPT时刻」
2025年末,Qwen大模型技术负责人林俊旸转发谷歌DeepMind入选ICCV 2025的论文,指出视觉领域“GPT时刻”要来了。研究用实验数据证明,视频模型正跳出任务专属局限,实现一个模型完成多视觉任务,推理过程还能被CoF“演”出来。
阿联酋K2横空出世,数学、代码样样行,速度全球最快,GPT-4看了都得抖三抖
阿联酋穆罕默德·本·扎耶德人工智能大学与G42公司联合推出开源AI推理系统K2 Think,基于Qwen 2.5 - 32B模型。它靠六项技术性能出众,在多领域测试成绩好,还以小参数量媲美大模型,且全面开源。
AMD跑GLM 5.2,成本只要英伟达一半
推理优化公司Wafer公布数据,用AMD的MI355X芯片跑GLM 5.2,单节点吞吐达2626 tok/s,单流吞吐213 tok/s,成本不到英伟达B200的一半。该公司详述部署过程,还提及AMD软件生态的变化及英伟达面临的挑战。
开源8300小时标注数据,新一代实时通用游戏AI Pixel2Play发布
随着AI在代码和图片生成领域成熟,研究人员开始关注其在游戏领域的表现。此前的专用模型缺乏跨游戏泛化能力,通用模型在游戏环境中表现不佳。为此,Player2研究员提出Pixel2Play模型,还开源了代码和数据集。
为什么 DeepSeek 大规模部署很便宜,本地很贵
文章探讨了DeepSeek-V3大规模服务便宜但本地运行贵的原因。指出推理服务存在吞吐量和延迟的权衡,受批处理大小影响。还分析了不同模型需大批次的原因,如专家混合模型、大型管道模型等。
成本暴降88%!通义实验室、北大发布ZeroSearch,无需搜索即可激活LLM检索能力
信息检索能力对提升大语言模型推理表现至关重要,但现有方法在训练中面临文档质量不可控和搜索 API 成本高昂两大挑战。为此,通义实验室和北大提出 ZeroSearch 框架,无需真实搜索即可激活 LLM 检索能力,显著降低成本。
阿里云Tair KVCache仿真分析:高精度的计算和缓存模拟设计与实现
阿里云Tair KVCache团队推出Tair - KVCache - HiSim,这是面向分布式多级KVCache管理的高保真LLM推理仿真分析工具。它能在通用CPU上高精度预测性能,支撑计算选型、存储规划和调度协同等决策,还介绍了其架构、组件、验证及性能评估等内容。
高性能计算群星闪耀时
本文介绍了高性能计算(HPC)在大模型时代的重要性,以及清华高性能计算团队在HPC及相关领域的研究与实践。如郑纬民带领团队突破存储技术,陈文光、翟季冬等助力大模型训练,武永卫团队优化推理,张悠慧探索类脑计算。
蚂蚁Ring-1T正式登场,万亿参数思考模型,数学能力对标IMO银牌
10月14日凌晨,蚂蚁万亿级思考模型Ring-1T正式登场,这是全球首个开源的万亿参数思考模型。它在多项基准测试中表现出色,数学能力达IMO银牌水平,还展示了强大的代码、推理、写作等能力,其背后是IcePop算法与ASystem框架的支撑。