低token高压缩」共找到 1718 篇相关文章

算法论文8

重塑注意力机制:GTA登场,KV缓存缩减70%、计算量削减62.5%

GTA由多所高校联合研发,提出大模型框架,解决传统多头注意力机制弊端。通过分组共享注意力矩阵和压缩潜在值表示,削减计算量、缩减KV缓存,实验验证其性能优、效率高,虽有局限但前景好。

机器之心
新闻资讯7

靠「AI婴儿播客」拿到a16z 3200万美元投资,Hedra凭什么?

Hedra是生成式AI创企,凭「AI婴儿播客」获关注,刚完成3200万美元A轮融资。它与主流AI视频平台路线不同,构建全模态基础模型,播客成杀手级应用,研发成本,踩中赛道转型。

Founder Park
产品应用7

别再无脑开高推理!Opus 5高配会擅自重构代码乱加戏

有人用FrontierCode编程基准测试Opus 5推理档位,发现性能顶峰在medium档,高档位推理预算多余,会让模型反复校验、偏离需求,在代码场景还会擅自重构代码。Anthropic也建议调推理档位。

量子位
产品应用7

Claude Sonnet 5:更强,但更贵,每任务成本反超Opus 4.8

Anthropic 发布的 Claude Sonnet 5 智能指数追平 GPT - 5.5,但每任务成本比 Opus 4.8 贵 15%。它在知识工作类任务表现佳,推出促销价,不过促销后成本待察。评估迁移时需算 token 消耗。

AI工程化
新闻资讯7

又一家清华系具身智能企业浮出水面:天使轮融资数千万元,打造具身数据Infra丨甲子光年

清华系具身智能企业灵御智能完成数千万元天使轮融资,累计融资近亿元。其聚焦打造具身数据Infra,研发TeleAvatar和TeleDroid构建数据采集母机,锁定三类应用场景,还从两方面压缩成本。

甲子光年
新闻资讯8

马斯克猛猛带货太空数据中心!“能耗比地球香太多”

太空成AI基建新必争之地,马斯克力推太空数据中心,称其能耗比地球。他认为AI天花板是能源问题,太空能解决能源与散热难题。美初创企业已做太空实验,国内也布局相关建设。

量子位
开源动态8

英伟达巧用8B模型秒掉GPT-5,开源了

英伟达携手港大开源Orchestrator-8B小模型,在HLE测试中分数超GPT - 5,成本且速度快。它靠ToolOrchestra训练法,协调工具解题。此赛道已有多项研究,小模型实用优势明显。

量子位
算法论文8

英伟达的AI已经开始接管整个项目了?SATLUTION自主进化代码库登顶SAT竞赛

NVIDIA Research提出SATLUTION框架,将LLM代码进化能力扩展到完整代码库规模,能处理复杂项目。它协调LLM智能体对SAT求解器代码库迭代优化,在SAT竞赛中超越人类冠军,成本且效率高。

机器之心
产品应用8

豆包 1.6发布后,我用火山引擎Trae + MCP,仅半天做了一个“秒懂科研”的PaperAgent!

文章介绍用火山引擎Trae + MCP和豆包1.6构建“秒懂科研”的PaperAgent。对比其与传统开发范式,突出前者高效、成本优势,还展示了PaperAgent技术栈及开发过程,体现AI云原生开发魅力。

PaperAgent
新闻资讯8

黄仁勋:芯片公司的时代已经结束了,现在是 AI 工厂的时代

Lex Fridman 采访黄仁勋,黄仁勋谈对 AI 行业理解,认为 AI 是工业产品,NVIDIA 像建 AI 工厂。还提及算力是智能扩展关键,计算从检索转向生成,Token 细分市场,以及公司组织、架构、开源等多方面观点。

Founder Park