「推理时扩展」共找到 2933 篇相关文章
中美算力，站在2000亿美元的分岔路口
高盛报告称2025年全球人工智能投资规模或接近2000亿美元。中美算力发展站在分岔路，中国追性能，美国被能源限制。全球算力市场有新变化，中国本土芯片崛起，各方也在热议AI是否有泡沫。
基于一个MXFP8量化Kernel谈一谈如何在B200上实现高性能的Memory Bound Kernel
作者向SGLang社区提交基于CUTLASS的MXFP8 Blockscaled Grouped GEMM实现，其中包含量化Kernel。文章关注此Kernel，介绍在B200上实现高性能Memory Bound Kernel的优化技术，如整体设计、向量化与合并访问、Occupancy优化、TMA利用等。
性能真的不重要了吗？Jeff Dean给出反常答案
Google传奇工程师Jeff Dean更新文档《Performance Hints》，指出性能不是最后调出来的，而是写代码初始就注定的。很多人因对‘慢’无感、忽视性能，导致代码低效，顶级工程师则有‘物理地图’，能避开高成本路径。
天下苦SaaS已久，企业级AI得靠「结果」说话
SaaS在AI时代问题凸显，推理成本高、交付质量不稳定。在此背景下，百融云创推出结果云Results Cloud，以RaaS模式提供全栈解决方案，解决AI落地难题，还呼吁共建智能体生态。
谷歌翻译重大更新：实时翻译，全球无障碍交流摩擦苹果
Google搜索产品副总裁宣布Google翻译引入Gemini模型，翻译能力飞跃。更新含顶尖文本翻译、实时语音对话翻译（Beta版）及扩展语言练习功能，适用多平台多语言，谷歌期待用户反馈以优化体验。
Nature重磅！清华团队揭秘大模型新规律：告别参数内卷，智能密度每3.5个月翻一番
清华和面壁智能团队研究揭示大语言模型进化的致密律，指出为获同等智能，模型参数量呈指数级下降，最大能力密度约每3.5个月翻一番，还探讨模型压缩、边缘智能等内容。
Karpathy：别再问AI「你怎么看了」，这是错误的提示词策略！
Andrej Karpathy提出不要把大语言模型看作实体，应视作模拟器。他建议探索话题时避免用‘你怎么看’提问，给出‘什么样的一群人适合探索，他们会怎么说’的更优策略，还指出不同领域影响有别。
真正能离线跑的完全开源翻译工具
Argos Translate是用Python写的开源离线翻译引擎，底层靠OpenNMT，推理用CTranslate2。可当库、命令行、桌面软件用，模型是本地zip包，不联网也能用。支持主流及小众语言，有多种使用方式。
谷歌预览Code Wiki：你能信任AI来记录你的代码库吗？
谷歌预览Code Wiki，为代码库生成并更新文档，预览版含数百开源项目文档，Gemini CLI扩展将支持内部代码库。它有聊天界面，但AI生成文档缺乏权威性，开发人员看法不一，且非真正维基。
6款小游戏难倒所有顶级VLM！愤怒的小鸟让它们全军覆没，性能不如随机猜测
淘天集团未来生活实验室提出首个系统性评估多模态大模型（VLM）交互式物理推理能力的综合基准DeepPHY。它集成六个物理环境，对17个主流VLM测试，揭示其在物理交互等方面短板。