「token效率」共找到 1767 篇相关文章
英伟达震撼首测Vera Rubin，DeepSeek吞吐暴涨30倍！
英伟达公布下一代旗舰级机柜Vera Rubin NVL72片上实测数据，用DeepSeek - V4 - Pro跑任务，每兆瓦吞吐量最高升30倍、Token成本最高降35倍。还宣布Groq 3 LPX量产，推出Agent专属Vera CPU，被SpaceXAI采用。
李飞飞50亿美金赛道被开源！浙大教授章国锋带队创业，打造无限时长实时3D世界模型
2024年李飞飞创立的World Labs入局空间智能赛道，估值达50亿美元。近日影溯发布并开源实时帧生成模型InSpatio - WorldFM，由章国锋领衔，该模型突破2D局限，效率高、能无限时长推理，展现出高工程可用性。
减少检索增强生成（RAG）语义缓存中的误报：以银行业为例
文章围绕检索增强生成（RAG）语义缓存展开，指出其虽能提升效率，但设计不当会产生假阳性。以金融服务FAQ系统为例，经多组实验，发现缓存设计比模型优化更能减少假阳性，还给出未来架构路线图。
VLM 实现 10%的精度提高，13.1倍加速！纽约大学新算法让视觉语言模型更小、更快、更准确
纽约大学研究团队用QSVD新方法让视觉语言模型（VLM）效率飞跃，在普通GPU上实现13.1倍加速。它将Q、K、V矩阵捆绑处理，设计秩分配策略，引入量化方案，经多模型评估，展现出低硬件成本、高精度优势。
曾经年薪百万的架构师，如今是否要靠AI保饭碗？对话5位顶尖架构师：未来的架构师，不写代码也得懂AI
文章围绕AI时代架构师角色转型展开，多位专家认为AI引发架构师角色定位转变，新职业形态涌现。AI工具提升开发效率，架构师需转向战略层面，还探讨了AI对架构设计流程、团队协作的影响及应对建议。
1万亿参数Ling-1T开源，国产LLM牛了~
Ling-1T是Ling 2.0系列首款旗舰“非思维”模型，总参数量达1万亿。预训练数据超20万亿token，支持128K上下文长度。在多项任务中表现出色，是目前已知最大的FP8训练基座模型，已完成全面评测。
AI原生产品不等于全部功能AI化，保留传统功能让用户体验更完整 | 对话小卡健康
AI健康管理赛道竞争激烈，产品各有差异。量子位智库访谈小卡健康产品负责人李雅，探讨AI如何赋能、产品功能拓展、数据指标关注、智能设备联动、开发问题及运营推广等，展示其差异化策略和发展思考。
腾讯混元A13B用130亿参数达到千亿级效果，Flash Attention作者点赞
腾讯混元A13B模型仅130亿激活参数，却能和千亿级大模型竞争，获Flash Attention作者赞叹。它精准卡位性能与效率‘甜蜜点’，依托高质量预训练和结构化后训练，多方面表现突出且已全面开源。
深夜开源首个万亿模型K2，压力给到OpenAI，Kimi时刻要来了？
昨晚，月之暗面发布并开源 Kimi K2 大模型，同步上线更新 API，价格 16 元/百万 token 输出。它超过多个开源和闭源模型成新 SOTA，展示出领先能力，还介绍训练关键技术，或成模型智能进化关键。
微软刚发布Mu模型：支持Windows智能体，小参数跑出10倍性能
今天凌晨微软发布创新小参数模型Mu，3.3亿参数性能比肩Phi - 3.5 - mini，体量小10倍，离线NPU笔记本每秒超100 tokens响应。它支持Windows智能体，架构有多项创新，经训练优化后智能体表现出色。