搜索：自蒸馏策略优化

「自蒸馏策略优化」共找到 2071 篇相关文章

央企怎么做超级智能体？对谈中电信天翼AI：自研模型为底座，自主规划是必须，能适应千行百业才行

中国电信天翼AI发布星辰超级智能体，获2025企业级AI Agent榜单央企第一。它依托自研“星辰大模型”，具备全模态、复杂推理等能力。访谈专家指出智能体可直接产出应用，落地需嵌入主业系统，电信持续迭代模型优化它。

本文基于M站首页重构项目，讲述借助AI编程工具Cursor和结构化Prompt，完成从Rax到React的组件迁移、DX到React的跨端重写，实现业务逻辑优化与工程规范落地，还分析了AI提效的优劣并总结迁移范式。

InfoQ对话小米小爱同学端侧AI负责人杨永杰，了解其团队在资源受限的端侧设备实现大模型高性能推理的策略。目前端侧大模型商业化落地慢，团队提前布局，自研框架，实现超180 tokens/s推理速度，还分享未来突破方向。

文章与三位具身智能领域的Z世代年轻人对话，他们有不同背景和经历。谭恒楷研究机器人，提出创新模型和算法；吴铭东专注真机强化学习；王乾旭研究蒸馏特征场。他们对AI有独特认知，展现出年轻人的冲劲和思考。

文章指出AI系统需要设计模式，如GoF塑造软件设计，云计算引入新模式，机器学习社区也有相关模式。文中介绍现代AI系统的5类实用设计模式，含提示和上下文、负责任的AI、用户体验、AI - Ops和优化模式等，并举例说明。

腾讯开源的高性能跨端框架 Kuikly，搭配 AI 开发，仅用 7.5 小时交付一套支持 Android、iOS、鸿蒙三端的 AI 聊天 App。介绍了开发过程，包括环境准备、需求分析、编码实现、集成自测、迭代优化和验收复盘，展示了“AI + Kuikly”的高效。

文章深入剖析多模态大语言模型核心技术架构与训练方法的进化，涵盖建模范式、视觉编码器、语言骨干网络、模态对齐、生成范式及训练方法等方面，介绍其演进路径与代表模型，还提及国内模型创新及开源模型OpenVLA。

在大模型时代，参数高效微调（PEFT）已成为迁移大规模扩散模型至下游任务的标准范式。但现有微调方法多采用「静态」策略，忽略扩散生成过程内在规律。新加坡国立大学LV Lab等机构提出FeRA框架，通过频域能量动态路由，实现高效微调。

苹果提出内存高效型反向传播（MeBP），可在内存使用量和计算时间上比零阶优化（ZO）有更好权衡，收敛更快、性能更优，还在iPhone 15 Pro Max验证其有效性，且公开了实现链接但目前为空。

OpenAI发布自研推理加速芯片Jalapeño，与博通和Celestica合作打造，专为大模型优化，9个月就流片。操刀者是前谷歌TPU核心成员Richard Ho，计划2026年底部署。此前谷歌、微软等已自研芯片，英伟达客户变对手。