「扩展计算」共找到 1118 篇相关文章
低延迟、高吞吐，LLM优化与高效推理引擎综述
LLM计算成本高，用户要低延迟，企业要高吞吐。工程师开发优化技术，如动态批处理、KV缓存、模型量化。论文对比25款推理引擎，还探讨了多模态支持、手机端推理、新型架构支持等进化方向。
让大模型异步地增强推理能力
在大模型推理时代，Test - Time Scaling成提升能力重要方向，但面临效率问题。ATTS提出异步框架，加入共形预测筛选候选路径，实验显示其加速显著，将测试时扩展推进到‘有原则加速’阶段。
华为诺亚发布ScaleNet：模型放大通用新范式
华为诺亚方舟实验室等团队提出 ScaleNet 方法，创新性地用少量额外参数量将模型深度扩展一倍。结合层级权重共享和轻量级适配器技术，在视觉和语言任务上验证了有效性，提升了模型性能。
Apple发布新SOTA Manzano：混合Tokenizer破解多模态统一难题，理解与生成双翼齐飞
多模态AI前景广，但现有模型在理解和生成任务上存在性能冲突。苹果提出Manzano模型，用混合视觉标记器降低任务冲突，结构简单可扩展，在多基准测试达SoTA水平，还展示图像编辑潜力。
马斯克曝终极AI计划！特斯拉堵上80%身家：500亿机器人打工，人类坐等拿钱
特斯拉在X上抢先官网发布「秘密宏图IV」，目标是打造可持续富足世界。实现核心是扩展FSD和擎天柱，马斯克称未来80%特斯拉价值源于人形机器人Optimus，这次还将AI作为核心引擎融入现实。
吴恩达来信：为什么 Meta 会向 AI 工程师支付 1 亿美元薪酬
近期，Meta 因向 AI 模型开发人员提供超 1 亿美元巨额薪酬登上头条。模型扩展资本密集，薪酬占比小，且 AI 对 Meta 业务机遇与威胁并存，招聘还能获技术洞察，所以高薪合理。
性能提升 10 倍，零改造实现 DIFY 模式迁移至 Spring AI Alibaba 模式
文章深度讲解如何将 Dify 平台开发的应用导出为 Spring AI Alibaba 工程。先介绍两者特点，后通过示例展示转换过程，还阐述迁移收益，如扩展灵活、性能提升 10 倍，最后提及 Spring AI 后续计划。
AI发现新物质，仅用200小时！不写一行代码，筛选36.7万种物质
微软在Build大会推出企业级AI科研平台Microsoft Discovery，结合专业AI Agent与高性能计算。它能让无编程背景人员用自然语言使用超算与模拟系统，200小时筛选36.7万种物质找新冷却剂。
英伟达重返中国！6月大量生产特供AI芯片，价格暴降40%
路透社消息，英伟达为突破美出口限制，将为中国推特供AI芯片，6月量产，价格降40%。该芯片基于RTX Pro 6000D，简化设计以控成本和符合管制。虽计算力低，但CUDA生态有优势。
迎接范式革命：最新、最全的大模型Latent Space综述，NUS、复旦、清华等联合出品
大模型核心计算正从显式空间转向潜在空间，现有文献缺乏统一视角。NUS、复旦等机构的综述《The Latent Space》从五大视角构建框架，阐述潜在空间基础、演进、机制、能力，指出挑战与未来方向。