「训练成本」共找到 3461 篇相关文章
微软再放LLM量化大招!原生4bit量化,成本暴减,性能几乎0损失
微软公布BitNet v2,性能几乎0损失,占用内存和计算成本显著降低。它首次实现对1比特LLMs的原生4比特激活值量化,通过H - BitLinear模块处理异常通道,实验显示其在多方面表现优异。
传统训练效率很低?我们靠 “给模型降噪” 重新审视长上下文建模难题
文章指出长上下文模型处理长文本时易受噪声干扰,提出新评估指标IG分数和“上下文去噪训练(CDT)”方法。实验表明CDT优于现有策略,经其训练的开源模型在长上下文任务中性能媲美GPT - 4o。
「上下文学习」之后,腾讯混元第二篇公开研究:精准定位RLVR训练崩溃的“罪魁祸首”Token
腾讯混元团队新研究提出异常梯度定位器 GradLoc,可将全局梯度突刺定位到具体异常 token,降低 RLVR 训练观测与分析门槛,助力解决训练不稳定问题,让模型调优更科学。
1个Token测出模型降级调包!成本砍到千分之一,API供应商的小伎俩全曝光了
法国研究人员开发新检测技术,能识别云端模型隐秘变动。对数概率追踪用于灰盒环境,成本仅传统千分之一;黑盒边界输入追踪用于黑盒环境,成本为先进方案1/30。这些工具让API供应商“调包”行为现形。
干家务一小时挣1000元,具身智能时代人类新岗位
机器人是AI热门领域,但面临数据荒。训练数据分真实与合成两类,前者质量高但成本高、规模有限,后者成本低。数据标注服务商高价回收做家务等视频作训练素材,各方努力下优质数据仍短缺。
Qwen3家族训练秘籍公开:思考/非思考融进一个模型,大模型蒸馏带动小模型
Qwen3技术报告揭晓8款模型关键技术,采用双模式架构,训练和微调分段进行,还“大带小”蒸馏数据。其融合思考与非思考模式,训练分多阶段,Qwen Chat还全量上线深度研究功能。
Kimi K2官方技术报告出炉:采用384个专家,训练不靠刷题靠“用自己的话再讲一遍”
Kimi K2官方技术报告公开称霸全球开源模型的秘籍,介绍其训练过程及“秘密配方”,包括MuonClip优化器、大规模Agentic Tool Use数据合成等技术亮点,还提及后阿里通义Qwen3更新击败Kimi K2。
首个国产OpenClaw硬件产品即将发布,插电脑上就能用,使用成本降低20倍。
OpenClaw带火了Agent,但行业后续要解决落地问题,如控成本、降门槛等。Violoop团队实力强、融资快,4月将预售。其产品云端与端侧结合,通过原生接入、端侧处理等解决落地难题,成本降20倍以上。
从 0 到 1 做一款 AI 产品:技术怎么搭、成本如何控制、销售策略怎么定?
独立开发者 Arvid Kahl 分享从零构建 AI 播客产品 Podscan 及「节俭工程」经验,涵盖技术搭建、成本控制与销售策略调整。如用小众云服务降成本,从 PLG 转向 SLG 等,为小团队创业者提供实用借鉴。
4.5k星星爆火!用图片压缩Fable 5上下文,成本大幅降低,终于用得起这个模型了
Fable 5在AI圈爆火,但使用成本比其他型号贵至少5倍。pxpipe项目把适合压缩的大段文本渲染成PNG图片,交给多模态模型读取,能大幅降低成本,还能增加上下文长度。