「预训练框架」共找到 3463 篇相关文章
吴恩达新作：87%推理token用不着，丢掉反而快3倍
吴恩达新作Prefix Sliding指出，模型推理时丢弃中间已贬值token，只保留前缀+滑动窗口，无需训练可提速3倍，配合RL训练能将推理轨迹扩展到10万token以上。该方法为Agent场景提供新思路。
如何利用pytorch memory snapshot进行显存分析
文章聚焦于用pytorch memory snapshot分析模型训推显存消耗，不讨论工具使用，侧重解读记录内容。以混合精度训练为例，介绍各步骤显存管理细节，还给出单层、双层模型及zero1训练的显存分析。
Pulsar特性在AI场景中的使用
随着AI发展，架构从单体到分布式演进，消息中间件成关键。Pulsar以存算分离等特性价值凸显，在多模态训练、模型训练、智能体等AI场景有独特优势，如处理超大消息、实现断点续训等。
The Batch: 839 | 好莱坞加入 AI 版权之争
好莱坞电影公司加入对用其版权作品训练AI模型公司的抗争。迪士尼和环球起诉Midjourney，指控其未经授权用版权作品训练模型、分发含其角色图像，请求停侵权并索赔，版权法相关界定尚不明确。
干家务一小时挣1000元，具身智能时代人类新岗位
机器人是AI热门领域，但面临数据荒。训练数据分真实与合成两类，前者质量高但成本高、规模有限，后者成本低。数据标注服务商高价回收做家务等视频作训练素材，各方努力下优质数据仍短缺。
默认选择 React，等于是在扼杀前端创新
文章指出默认选 React 正减缓前端创新。如今团队选前端常出于习惯而非技术契合度，使 Svelte、Solid、Qwik 等创新框架难被采用。默认选 React 还带来运行成本、架构惰性等问题，呼吁根据需求选框架。
国产AI击败Meta：ReasonRank荣登BRIGHT榜单第一
基于LLM的段落排序方法中，listwise排序虽有优势，但当前重排器难处理复杂推理查询。ReasonRank通过生成推理密集型训练数据及两阶段后训练，赋予listwise重排序器强推理能力，在BRIGHT榜单击败Meta。
华为创造AI算力新纪录：万卡集群训练98%可用度，秒级恢复、分钟诊断
大模型落地需强大算力集群支撑，构建万卡级算力集群是顶尖挑战。华为昇腾万卡算力集群近乎‘永不罢工’，其公开技术秘密，提出‘3+3’双维度技术体系，多项指标表现优异。
媲美Claude 4，支持100万上下文！阿里开源超强代码AI Agent模型
阿里巴巴开源超强AI Agent模型Qwen3 - Coder - 480B - A35B - Instruct，测试分数媲美Claude Sonnet 4，超越DeepSeek。它参数多、支持大上下文窗口，训练数据优质，还进行代码强化学习扩展训练等，有对应命令行工具。
仅用1/9的token拿下SOTA，用LLM当知识路由：全新RAG框架DeepSieve
大语言模型遇「最新」或「垂直领域」知识易出错，传统RAG做法有痛点。全新RAG框架DeepSieve把LLM当知识路由器，四步筛选信息，实验精度高、成本低，消融实验明确各模块价值，还有救场案例。