「优化训练」共找到 3096 篇相关文章
AI Infra 工程师们如何应对大模型流水线里的“暗涌”？
InfoQ《极客有约》X AICon 直播邀请华为、蚂蚁集团等专家探讨大模型 Infra 工程师实战日常。涉及大模型工程高频问题、版本迭代冲突处理、推理部署成本优化、开源项目挑战及 GPU 虚拟化趋势等内容。
55.9K star！微软硬核开源文档转换神器，LLM最佳拍档！
介绍微软开源的轻量级Python文档转换工具MarkItDown，它支持20+格式智能转换为结构化Markdown，专为LLM文本分析场景优化，解决开发者处理多格式文档痛点，还阐述其功能、技术架构等内容。
想进OpenAI？先解出这道题，百万美元算力已就位
OpenAI发起Model Craft Challenge「Parameter Golf」项目，要求在固定数据集上降验证损失，模型产物控制在16MB内，8张H100 GPU 10分钟完成训练。提供百万美元算力，6月招早期人才，挑战3月18日至4月30日。
AI 味的原因找到了，都是 NTJ 惹的祸
作者因常被说说话像AI，好奇大模型MBTI类型。实验发现Claude - 4、Gemini - 2.5 - pro、GPT - 4为INTJ，DeepSeek是ENTJ。分析了大模型呈现NTJ特质的原因、AI味根源，还给出让大模型有情感的思路和使用技巧。
基于闪电注意力机制，创新高效开源大模型
传统Transformer架构处理长文本和复杂推理任务有效率瓶颈，多数领先模型仍依赖传统注意力设计。MiniMax开源基于闪电注意力机制的专家混合模型Minimax，从架构、创新模块、训练框架等多方面优化，表现突出。
全球首次，Transformer「混血」速度狂飙65倍！英伟达已下注
康奈尔、CMU等机构研究者提出「混合体」Eso - LM，融合自回归和离散扩散模型范式。它引入KV缓存机制，推理速度相比标准MDM提升65倍，在速度与质量平衡上超越BD3 - LM，引发AI领域关注，英伟达或押注此方向。
因果发现大模型迎来「理论破局」： DAG-FM 破解异质机制下的因果图识别与涌现难题 | GAIR Paper 116
浙大、清华与稳准智能联合发布因果发现大模型DAG - FM，解决了现有模型缺乏理论基础、易产生非法环路和显存爆炸问题。它在理论上证明因果图可识别，架构上避免环路，处理数据能力强，还将推进特定领域预训练。
赌自己会失业！田渊栋八人天团狂揽44亿元，杀入「递归进化」赛道
Recursive Superintelligence由八位顶尖AI研究员创立，获GV、英伟达等投资6.5亿美元。他们要让AI自我训练，实现递归自我进化，若成功或使AI研究员岗位消失。此前已有相关成果，产品端Anthropic也在推进AI主动性。
所有环节都上最强模型，这可能是做 AI 智能体最贵的错误
开源项目 AgentOpt 指出，很多团队做 AI 智能体默认把最强模型塞进各环节，既贵效果也未必好。真正决定智能体效果和成本的是将合适模型放合适位置，智能体需要能找最优解的模型优化器。
来了，DeepSeek又悄悄开源LPLB项目
DeepSeek 悄悄开源 LPLB 项目，该项目解决 MoE 小批量训练专家每批 token 数抖动问题。LPLB 在 EPLB 基础上，将‘冗余专家’看成带容量边的图，每批解一次线性规划，实现 token 重新路由，单节点 100µs 级求解。