低token高压缩」共找到 1717 篇相关文章

新闻资讯7

H20之后,英伟达全新特供版GPU曝光!单GPU售价至6500美元

出口管制让英伟达在中国AI芯片市场份额从95%跌至50%。黄仁勋将推出‘阉割版’Blackwell GPU,定价6500 - 8000美元,最早6月量产。还在开发另一款同架构芯片,9月生产。此次尝试结果待察。

新智元
开源动态8

13K star!这个项目太顶了,自动化 API,后台作业,工作流,UI开发,代码一网打尽!

日常开发构建和管理内部工具费时费力,第三方方案费用高。开源项目Windmill是开发者福音,能将脚本自动转换成工作流程和UI,适用多场景,有自动UI生成等特色,安装使用简单。

开源先锋
算法论文7

1美元Token撬动4800美元收益!AI挑战百万美元级基准,最赚钱的Agent出现了

Humanlaya Data Lab等机构构建$OneMillion - Bench评测基准,用经济价值衡量模型。它含400道高难题目,覆盖多领域。目前最强模型能产出约50万美元价值,但离可交付专业任务还有距离。

机器之心
产品应用8

腾讯AngelSlim重磅升级!面向全模态的大模型压缩算法工具包,推理速度飙升 1.8倍!

近年来,推理阶段的成本等因素制约大模型规模化应用。腾讯混元升级的 AngelSlim 围绕 Eagle3 投机采样训练范式构建系统化实现,支持多模态场景,最高可实现 1.9× 推理加速,还具备多亮点。

腾讯技术工程
开源动态8

2.1K Star 本地实时数字人!阿里开源延迟数字人系统,2.2秒实时响应!

阿里在GitHub开源轻量本地实时数字人对话系统OpenAvatarChat,摆脱高性能硬件依赖等问题。它平均回答延迟2.2秒,有100+预置形象,支持多模态交互,提供多种部署方式,适配多场景。

开源星探
开源动态7

33.5k星星爆火!这个开源插件让AI不再写屎山,token自然就省下来了

Ponytail是开源插件,将资深工程师工程直觉整理成skill规则,供Claude Code等AI coding agent加载。它让AI开发更克制,减少代码量、成本,提升速度,核心是强制AI做复杂度判断。

开源AI项目落地
新闻资讯7

机器人整机是“有限游戏”?对话星海图创始人:具身智能商业化的三个阶段,终点是卖Token

星海图CEO高继扬等提出具身智能三重跃迁,发布新模型并开源,首秀自研机器人。公司从整机起步,联合建数据公司,规划数据量。其商业模式分三阶段,认为中国具身基础模型能力有望超美。

AI前线
产品应用8

华为升级行业Agent算法架构!MindScale自己写prompt和工作流,KV Cache减少5.7倍token

华为诺亚方舟实验室更新面向行业应用的算法包MindScale,融合算法创新与业务实践经验。它梳理了Agent时代技术挑战,给出技术论文与昇腾代码,应对工作流维护等难题,还提升训推效率、适配国产硬件。

量子位
算法论文8

腾讯发布SpecExit算法,无损压缩端到端加速2.5倍!解决大模型长思考效率难题

腾讯发布 SpecExit 算法,将思考早停与投机采样融合,利用轻量级草稿模型预测“退出信号”,在不引入额外探测开销的前提下,实现动态、可靠的思考早停,在 vLLM 上推理端到端加速 2.5 倍,准确性和推理效率得到双重保障。

机器之心
新闻资讯8

微软 CEO 纳德拉:离了 AI 软件开发没法想!编程如诗都是“压缩”。社区:必须拥抱变化。

微软CEO纳德拉在访谈中表示,如今软件开发离不开AI,AI编程已成标配。他强调AI本质是赋能人类的工具,还提及AI普及挑战,同时保持对AI局限性的清醒认知,分享领导哲学与诗意展望。

AI进修生