「上下文成本」共找到 2088 篇相关文章
AI基础架构重大突破，计算成本暴降38倍
Perforated AI团队搞出‘穿孔反向传播’技术，给旧神经元加‘人工树突’。测试中计算成本最高降38倍，模型准确率不降反升，还近乎即插即用。这或引发行业变革，但也面临验证、生态和收费等挑战。
性价比搏击：Grok 4 Fast 推理成本直降 98%
xAI上周五发布旗舰模型轻量化版Grok 4 Fast，推理成本直降98%。它通过强化学习在基准测试表现佳，有原生工具调用能力，采用统一架构，性价比高，或改写大模型竞争规则。
长上下文不再难：KV Cache 全生命周期优化实战
长上下文大语言模型发展带来计算和内存挑战，现有基准测试多忽视 KV 缓存完整生命周期。微软姜慧强在 AICon2025 分享 SCBench 工具，梳理推理优化方法，介绍 MInference 等，还提出 Tri - shape 方法等成果。
AMD跑GLM 5.2，成本只要英伟达一半
推理优化公司Wafer公布数据，用AMD的MI355X芯片跑GLM 5.2，单节点吞吐达2626 tok/s，单流吞吐213 tok/s，成本不到英伟达B200的一半。该公司详述部署过程，还提及AMD软件生态的变化及英伟达面临的挑战。
刚刚，OpenAI开放GPT-4.1，100万上下文、代码能力超强
今天凌晨1点30，OpenAI宣布开放GPT - 4.1，可在ChatGPT中使用。它针对编码任务，支持100万tokens上下文，在多项测试中表现优于前代，价格更优，不同用户将陆续获得使用权限。
1/15成本，实现AI水印新SOTA | 南洋理工大学&A*STAR
给AI生成作品打水印成行业共识，但传统方法有短板。南洋理工大学等机构研究人员提出局部鲁棒图像水印方法MaskMark，成本仅为Meta模型WAM的1/15，在多任务中表现优异。
刚刚，字节开源Seed-OSS-36B模型，512k上下文
深夜，字节跳动Seed团队开源Seed-OSS系列模型，含三个版本。其用12万亿tokens训练，在多基准测试表现出色。有灵活推理预算控制等特性，原生支持512K上下文窗口，基准测试成绩佳。
吴昊：AI 重构 SaaS，成本降百倍需求增千倍
SaaS市场经历‘惊魂六十天’，‘SaaS终结论’甚嚣尘上。但吴昊指出，AI让软件开发成本降100倍、需求增1000倍，会使行业洗牌，旧护城河崩塌，新壁垒出现，企业需转型。
用子模优化做文本选择、段落重排和上下文工程
文章围绕子模优化展开，介绍其在文本选择、段落重排和上下文工程中的应用。指出当前重排器的缺陷，通过子模优化可解决冗余问题。还给出实验结果，凸显其优势，如理论保证、自动停止机制等。
对话景鲲：AI 产品的 All in One，是上下文的 All in One
Genspark 创始人景鲲在 AGI 舞台分享发展路径，其产品从 AI 搜索转型，现推出全功能 AI 办公套件。景鲲判断，未来大模型竞争激烈会商品化，AI 公司壁垒在于捕获用户工作上下文，实现「All in One」AI 工作空间。