「概念蒸馏训练策略」共找到 2514 篇相关文章
Life of a Token：像调试代码一样看懂大模型如何生成 Token
文章类比 Chrome 的 Life of a Pixel，追踪 LLM 里 token 从输入到输出的全程。以 GPT - 2 Small 为例，详细讲解其管线各阶段，如 Tokenization、Embedding 等，还介绍了残差流、KV Cache 等概念及 GPU 性能瓶颈和优化方法。
万亿级思考模型，蚂蚁首次开源！20万亿token搅局开源AI
10月14日蚂蚁集团发布万亿参数思考模型Ring-1T，在多领域表现出色，推理能力直逼闭源巨头。此前已开源旗舰通用大模型Ling-1T。还介绍了训练技术创新，虽模型有不足，但开源夺冠证明‘思考力’可工程化。
DeepDiver-V2来了，华为最新开源原生多智能体系统，“团战”深度研究效果惊人
华为发布DeepDiver-V2原生多智能体系统，采用“团队作战”模式，在复杂知识问答和长文报告生成上表现出色。它以Planner为中心协调多个Executor，有智能任务分解等优势，训练也有新机制，昇腾NPU集群加速。
这大概是我见过最通俗易懂的AI发展历程科普详文了
文章从历史时间线出发，介绍AI诞生、发展历程，涉及细分技术模块。结合案例说明AI在不同阶段的应用，如早期机器翻译、垃圾邮件过滤。还探讨AI大模型、智能体等概念，分析调优方法和‘幻觉’问题，展望其未来前景。
MiniMax-M1：全球首个开源超长上下文大模型，超越DeepSeek-R1，推理成本仅1/4
MiniMax-M1是全球首个开源超长上下文大模型，刷新三项记录。它采用混合专家架构，闪电注意力让推理复杂度近乎线性增长。CISPO算法加速训练，成本低。在工业级任务测试表现佳，已开源且方便开发者接入。
华为盘古大模型:被芯片牵制的“千古”模型
华为盘古大模型团队员工自曝内幕，称其受芯片限制，早期算力有限、训练困难。还指出内部存在造假、套壳等问题，如135B V2套壳Qwen 1.5 110B，pangu pro moe 72B套壳qwen 2.5的14b等，导致人才流失。
警惕全球“最大”芯片IPO的暴雷风险
Cerebras 5月14日上市成2026年迄今全球最大IPO。其核心产品WSE工程有突破，但良率计算方式与传统不同。训练未成功，推理找到新机会。与OpenAI超200亿美元合同背后是股权换订单，财务数据也有隐忧，上市后存诸多疑问。
腾讯混元世界模型1.1开源：单卡秒级重建3D世界成为现实
腾讯混元团队开源混元世界模型1.1，它是混元3D世界模型1.0升级版。新增多视图及视频输入，单卡可部署，秒级创造3D世界。有核心突破，能处理多任务，经训练策略优化，多测试表现佳。
“导演梦”不再遥远：Captain Cinema 让你用短片制作出电影
约翰·霍普金斯大学与字节Seed团队推出自动生成短片的Captain Cinema系统。它以剧情文字为输入，先规划关键帧，再补全画面动态合成短片。采用特殊训练法和模型，虽有局限，但为电影自动生成迈关键一步。
GPT-4o图像生成的「核燃料」找到了！万字长文拆解潜在变量，网友：原来AI在另一个维度作画
上月，GPT - 4o图像生成功能爆火。Sander Dielman在博客中探讨生成模型利用潜在空间提高效率和质量，将潜在变量比作「数据精髓」，深入对比多种模型，还介绍训练方法、损失函数等，兼具理论深度与直观洞察。