「训练优化」共找到 3116 篇相关文章
拟合接近满分,外推却会跑偏:Meta 给缩放律加了一个指数
大模型训练前,团队常用 Chinchilla 缩放律估算模型规模和数据量,但它在模型和数据极不平衡的边界预测易跑偏。Meta FAIR 提出的 Skaling 只增加一个耦合指数,降低外推误差,还采用 L 形采样降低试算成本。
PDL 在 SGLang Kimi K3 中的应用
文章介绍 PDL 在 SGLang Kimi K3 中的应用,K3 内核优化接入 PDL 以缩短相邻内核间隙。分析 PDL 原理、在 bs=1 decode 中解决的问题,阐述计算链和通信链上的应用,还提及性能数据和实现问题。
国产GPU开始造世界!国内首个全栈具身智能仿真平台来了
摩尔线程发布国内首个全栈国产化具身智能仿真平台MT Lambda,实现Sim-to-Real真机验证。该平台像物理AI训练流水线,集成物理、渲染、AI引擎。其依托全功能GPU和MUSA架构,还构建了云端、端侧、生态闭环。
小模型用不好Skill?新范式让模型学会Skill的底层逻辑,3B模型推理token省5倍,性能反超
浙江大学联合美团龙猫团队、清华大学推出SKILL0,提出技能内化思路。它在训练中引入关键机制,让小模型把技能内化到参数里。实验显示,其效果出色,token效率高,为小模型成领域专家提供新方向。
OCR 发生了一件反直觉的事
百度 PaddleOCR 团队的 500 万参数模型 PP - OCRv5,在文字识别准确率上可与 Qwen3 - VL、GPT - 4o 等巨无霸模型抗衡。团队挑战‘模型越大,效果越好’,认为 OCR 中数据质量比参数重要,通过实验证明并优化数据。
Datadog 如何将其 Agent 的 Go 二进制文件缩减 77%
5 年里 Datadog Agent 从 428 MiB 增至 1.22 GiB,其工程师着手缩减二进制文件大小。发现膨胀主因是隐藏依赖等,采取审计导入项等措施,借助工具优化,还减少反射和插件使用,6 个月实现缩减且未移除功能。
ChatGPT本来要5天后关掉
翁家翌在播客透露,起初推出ChatGPT是为收集用户数据,预期5天后关闭。他是OpenAI多代大模型发布贡献者,还分享了OpenAI内部情况,如模型训练、迭代速度等问题,也谈及自身经历和对AGI看法。
顶级视频模型半衰期只有 30 天,但生成式媒体 infra 公司的收入却在一年增长了 60 倍
文章聚焦生成式媒体 infra 公司 fal.ai,其借统一 API 和云端平台让开发者高效调用多模态模型。深入分析其成功因素,如早期押注生成式视频、优化算力和成本、构建生态等,还探讨用户使用模式与行业发展趋势。
千问接入淘宝、闪购、飞猪,意味着什么?
2026 年初千问升级,上线任务助理并接入淘宝、闪购等。其能处理常见任务,但更重要的是可解决用户衣食住行等实际问题,虽目前部分场景待优化,但阿里有优势,不过千问也面临体验、协同和商业化挑战。
TEN VAD 开源:低延迟、高准确率,提升「语音 Agent」上限就靠它!
TEN-VAD是专为实时流式语音场景优化的开源模型,能解决语音交互中常见问题。它轻量级、跨平台、高性能、低延迟,获大佬背书,在多场景是必选组件,是语音交互里易被忽略却难替代的一环。