「Token调用量」共找到 1514 篇相关文章
为MoE解绑:全新「专家即服务」推理架构发布,超细粒度扩展锐减37.5%成本
近年来大模型推理开销增长,MoE架构虽能避免计算量同比增,但带来扩展性差、容错性低、负载不均等问题。为此作者提出全新「专家即服务」推理架构EaaS,实验显示它能锐减37.5%成本。
Shopify 经验贴:如何搞出一个生产级别可用的 AI Agent 系统?
Shopify 以 AI 助手 Sidekick 为例,分享从简单工具调用系统演变为复杂 AI Agent 平台的经验,包括架构设计、评估方法和训练技术等方面,还给出构建生产级别可用的 AI Agent 系统的四条核心建议。
CJA|西工大林海涛、张伟伟等:关联函数学习:适用飞行器外形泛化的稀疏气动数据重构方法
本文提出关联函数学习(SFL)方法,通过符号回归挖掘气动力系数复合函数表达式,实现非线性气动数据稀疏重构与状态外推。用少量样本构建数据库,误差 1%-5%,比 Kriging 法样本量减超 90%。
AlphaGo开发者创业挑战DeepSeek,成立仅一年目标融资10亿美元
前谷歌DeepMind成员、AlphaGo开发者创立Reflection AI,要开发开源大模型挑战DeepSeek,目标融资10亿美元。其已发布智能体Asimov,较其他模型更受用户偏好,还能捕捉隐性信息,已获少量企业收入。
AI 的「成本」,正在把所有人都拖下水
文章指出,虽大模型成本下降,但 AI 公司仍难盈利。因市场追逐新模型,且模型消耗算力单位剧增。如 Anthropic 的不限量套餐失败,各公司陷入囚徒困境,还给出按使用量计费等破局思路。
英伟达全新开源模型:三倍吞吐、单卡可跑,还拿下推理SOTA
英伟达推出专为复杂推理和agnet任务打造的开源模型Llama Nemotron Super v1.5,实现SOTA表现,吞吐量提至前代3倍,可单卡高效运行。它采用NAS优化架构,经多数据集训练,现已开源。
清华退休教授余志平谈国产EDA发展之路
余志平教授全程参与“熊猫集成电路CAD系统”研发,获国家科技进步一等奖。他带领团队成立公司深耕垂直领域,推动构建国产EDA生态链。他认为突围要把握“缝隙效应”,还强调用AI辅助科研,培养高素质人才。
R2没来,却等来综合性能更优的DeepSeek R1T2
抱抱脸热门排行榜出现R1变体模型DeepSeek-TNG-R1T2,构建于多个父模型之上,在智能与输出token长度间达新平衡点,速度快且测试表现佳,还给出与不同模型对比的选择建议。
xAI正面临法律诉讼
Techcrunch消息,马斯克旗下xAI因在孟菲斯郊外运营的Colossus数据中心未经许可运行天然气涡轮机面临诉讼。南方环境法律中心指出其未获必要许可,涡轮机或排放大量氮氧化物,孟菲斯空气质量本就差。
小米小爱同学:资源受限下,实现端侧大模型的高性能推理
InfoQ对话小米小爱同学端侧AI负责人杨永杰,探讨大模型端侧部署难题。团队自研推理框架,实现180 tokens/s推理速度,采用共享基座架构支持多业务。未来端侧大模型突破依赖硬件提升与架构演进。