「深度主动优化」共找到 2044 篇相关文章
Thinking Machines 发布第二篇博文:用模块化流形让训练更加稳定高效
Thinking Machines实验室发布第二篇Connectionism研究文章,提出模块化流形理论框架,通过在权重矩阵施加流形约束让神经网络训练更稳定高效。文章从几何角度思考优化问题,提出流形Muon优化器,还探讨了模块化流形扩展到大型网络的方法。
构建能源领域的AI专家:一个多智能体框架的实践与思考
本文介绍阿里团队在能源领域构建多智能体框架的实践。因单智能体处理复杂任务有“注意力发散”问题,团队研发综合能源智能体平台,阐述框架搭建、各组件功能及设计考量,还分享思考与可优化点。
杨植麟回复:Kimi K2训练用的H800!但“只花了460万美元”嘛…
月之暗面团队回应Kimi K2 Thinking训练成本,透露用英伟达H800,GPU少但利用充分。该模型凭实力与低成本引迁移潮,还引发对闭源巨头估值反思。技术上有优化创新,团队还公开答疑。
回归C++: 在GGUF上构建高效的向量模型
Jina AI分享将纯解码器向量模型适配到GGUF格式及在llama.cpp工具链的优化经验。经处理得到特定任务v4模型,还生成量化版本并上传。介绍使用方法、注意事项,经测试推荐IQ3_S或IQ3_M版配合定制工具。
通过零开销逐层权重卸载技术将SGLang Diffusion wan2.2的推理速度加速60%
文章介绍在优化SGLang对Wan2.2视频生成模型支持时,发现双Transformer架构下第1步和第19步推理慢的问题。通过零开销逐层权重卸载技术,将整体推理速度提升60%,还突破显存墙,且该优化可扩展到其他模型。
究竟会花落谁家?DeepSeek最新大模型瞄准了下一代国产AI芯片
近期,DeepSeek发布V3.1新模型,采用全新混合推理架构,在多任务表现上有提升。它采用UE8M0 FP8,或为国产推理芯片优化机制。国内多家厂商新一代AI芯片支持FP8,未来国产大模型或针对其专门优化。
是剧本杀来了?还是儿童剧本杀教育机会来了!
儿童剧本杀教育的兴起,不仅为孩子们提供了一种新颖的娱乐方式,也带来了教育的新机遇。它通过沉浸式体验,让孩子们在玩耍中学习历史,培养兴趣,同时满足了市场对创新教育内容的需求。
深度解读黄仁勋的万亿美元蓝图
2026年3月16日,黄仁勋在GTC演讲中称AI计算需求至少达1万亿美元,实际或更高。他回顾AI三次拐点,介绍推理时代超级计算机Vera Rubin,还发布OpenClaw等软件,成立开源模型联盟,展示各行业应用,强调共封装光学重要性。
SGLang Hierarchical Sparse Attention 技术深度解析
阿里云等团队推出面向 Sparse Attention 的分层稀疏化框架,介绍其架构、机制与实践。此框架破解了长上下文推理时的计算与容量瓶颈,以 DeepSeek DSA 集成测试,使推理性能大幅提升,目前项目处于开发阶段。
独白:OpenAI前员工的深度反思
OpenAI前员工在博客分享工作体验,从文化、技术等多维度剖析公司。指出极速扩张面临挑战,文化独特,技术上用Python单体代码库、依赖Azure,还详述Codex项目诞生,认为AGI竞赛在OpenAI等三家展开。