Token调用量」共找到 1514 篇相关文章

算法论文8

为MoE解绑:全新「专家即服务」推理架构发布,超细粒度扩展锐减37.5%成本

近年来大模型推理开销增长,MoE架构虽能避免计算同比增,但带来扩展性差、容错性低、负载不均等问题。为此作者提出全新「专家即服务」推理架构EaaS,实验显示它能锐减37.5%成本。

机器之心
推荐文章8

Shopify 经验贴:如何搞出一个生产级别可用的 AI Agent 系统?

Shopify 以 AI 助手 Sidekick 为例,分享从简单工具调用系统演变为复杂 AI Agent 平台的经验,包括架构设计、评估方法和训练技术等方面,还给出构建生产级别可用的 AI Agent 系统的四条核心建议。

Founder Park
算法论文8

CJA|西工大林海涛、张伟伟等:关联函数学习:适用飞行器外形泛化的稀疏气动数据重构方法

本文提出关联函数学习(SFL)方法,通过符号回归挖掘气动力系数复合函数表达式,实现非线性气动数据稀疏重构与状态外推。用少样本构建数据库,误差 1%-5%,比 Kriging 法样本减超 90%。

力学与人工智能
新闻资讯7

AlphaGo开发者创业挑战DeepSeek,成立仅一年目标融资10亿美元

前谷歌DeepMind成员、AlphaGo开发者创立Reflection AI,要开发开源大模型挑战DeepSeek,目标融资10亿美元。其已发布智能体Asimov,较其他模型更受用户偏好,还能捕捉隐性信息,已获少企业收入。

量子位
新闻资讯7

AI 的「成本」,正在把所有人都拖下水

文章指出,虽大模型成本下降,但 AI 公司仍难盈利。因市场追逐新模型,且模型消耗算力单位剧增。如 Anthropic 的不限套餐失败,各公司陷入囚徒困境,还给出按使用计费等破局思路。

AI科技大本营
开源动态8

英伟达全新开源模型:三倍吞吐、单卡可跑,还拿下推理SOTA

英伟达推出专为复杂推理和agnet任务打造的开源模型Llama Nemotron Super v1.5,实现SOTA表现,吞吐提至前代3倍,可单卡高效运行。它采用NAS优化架构,经多数据集训练,现已开源。

量子位
新闻资讯8

清华退休教授余志平谈国产EDA发展之路

余志平教授全程参与“熊猫集成电路CAD系统”研发,获国家科技进步一等奖。他带领团队成立公司深耕垂直领域,推动构建国产EDA生态链。他认为突围要把握“缝隙效应”,还强调用AI辅助科研,培养高素质人才。

芯师爷
产品应用7

R2没来,却等来综合性能更优的DeepSeek R1T2

抱抱脸热门排行榜出现R1变体模型DeepSeek-TNG-R1T2,构建于多个父模型之上,在智能与输出token长度间达新平衡点,速度快且测试表现佳,还给出与不同模型对比的选择建议。

PaperAgent
新闻资讯7

xAI正面临法律诉讼

Techcrunch消息,马斯克旗下xAI因在孟菲斯郊外运营的Colossus数据中心未经许可运行天然气涡轮机面临诉讼。南方环境法律中心指出其未获必要许可,涡轮机或排放大氮氧化物,孟菲斯空气质本就差。

AIGC开放社区
新闻资讯7

小米小爱同学:资源受限下,实现端侧大模型的高性能推理

InfoQ对话小米小爱同学端侧AI负责人杨永杰,探讨大模型端侧部署难题。团队自研推理框架,实现180 tokens/s推理速度,采用共享基座架构支持多业务。未来端侧大模型突破依赖硬件提升与架构演进。

AI前线