「Token吞吐」共找到 741 篇相关文章
传统训练效率很低?我们靠 “给模型降噪” 重新审视长上下文建模难题
文章指出长上下文模型处理长文本时易受噪声干扰,提出新评估指标IG分数和“上下文去噪训练(CDT)”方法。实验表明CDT优于现有策略,经其训练的开源模型在长上下文任务中性能媲美GPT - 4o。
The Batch: 863 |推理提高了碳排放
新研究量化推理模型时代提供更优答案的环境成本,研究人员估算14个开源权重的大模型碳排放,发现推理与排放存在权衡关系,还指出战略性部署可降低排放。
DeepSeek推理最高提速6倍!开源研究:加装「思维进度条」,计算量减少30%
特拉维夫大学团队开发新方法,给LLM推理任务装进度条,控制推理深度和速度。提出“思维进度向量”TPV预测推理位置,干预TPV可“超频”“降频”,模型已在GitHub开源。
ACL 2025 | 清华&港中文提出 MorphMark:全新理论视角破解大模型水印效力与文本质量的两难困境
随着大模型广泛应用,AI 生成内容追溯和版权保护成问题,现有水印技术面临效力与文本质量的矛盾。清华和港中文团队提出 MorphMark 自适应水印框架,动态调强度,在多模型实验中表现优。
华为+DeepSeek,推理性能创新高!技术报告也公布出来了
华为昇腾在部署超大规模MoE时推理性能创新高,全面超越英伟达Hopper架构。其采用‘以数学补物理’方式,还将全面开源。团队从多方面优化,在不同硬件上取得优异性能,本周还将举办技术披露周。
V4Flash 的价格、Opus4.8的能力,Ox Alpha (牛来)正式开源!
Ox Alpha 匿名模型上线 OpenRouter 后表现亮眼,消耗大量 tokens 并终结 DeepSeek 霸榜纪录。官方揭晓其为智谱 GLM - 5.3 Flash,价格低、能力强,经多场景测试,多模态理解等维度达顶尖水平。
闭源RSI的严父来了:18个Agent自主科研,Kimi K3靠Harness逼近Opus 5
开源AI基础设施公司Prime Intellect研究表明,借助多智能体Harness,让开源模型负责监控和实现,可让‘AI开发AI’更便宜、效果更好。实验中,Kimi K3搭配Harness逼近Opus 5。
龙虾之父教你省钱:开源Skill给你的Skill减肥
Skill水平参差不齐,龙虾之父Peter看不下去,写了给Skill做体检的Skill并开源。该技能有5个核心功能,能审计预算、检测重复等,还给出精简描述的方法,可节省提示词预算。
阿里巴巴 & 蚂蚁 LoongSuite GenAI 可观测语义规范:从统一数据语言到规模化落地
随着GenAI发展,OpenTelemetry推动语义规范建设。阿里巴巴与蚂蚁联合推出LoongSuite GenAI SemConv,在OTel基础上增强,新增Entry/Step Span、Skill语义、Token级推理观测,还推出GenAI Utils简化插桩开发。
补齐OpenClaw进化拼图!AReaL v1.0开源,智能体强化学习「一键接入」
2026 年 Agent 仍是热门赛道,OpenClaw 热度持续。但 Agent 强化学习训练缺乏成熟体系。蚂蚁和清华联合打造的 AReaL v1.0 开源,实现 Agent 一键接入 RL 训练,还革新了训练引擎,降低开发门槛。