搜索：自蒸馏策略优化

「自蒸馏策略优化」共找到 2068 篇相关文章

智谱清言微服务架构转型实践——基于 CloudWeGo 的技术演进

本文由智谱清言资深后端开发工程师肖文彬整理，阐述其从单体架构到微服务体系的转型实践。随着业务发展，传统单体架构显瓶颈，智谱清言开启转型，分享挑战、架构设计、技术选型等经验，为相关团队提供借鉴。

文章回顾华为、小米、OPPO造芯历程，分析OPPO哲库夭折与小米重启造芯的原因。指出小米重启造芯有财务、组织架构、经验等优势，且赶上制裁“窗口期”，AI时代也需自研芯片。

大语言模型启动时会接收系统提示词，决定其角色、回答风格与安全边界。提示词逆向是试图获取或绕过该提示的行为。本文介绍其作用、逆向手法及开发者防御措施，助于安全使用和设计大模型。

格灵深瞳等团队联合发布通用多模态嵌入新框架UniME，刷新MMEB训练榜纪录。它是两阶段框架，经文本判别知识蒸馏和困难负样本增强指令微调，在多任务达SOTA，项目已开源。

阿里云通义点金团队与苏州大学合作推出DianJin-R1金融领域推理大模型，介绍其开源数据集与模型、基于通义点金平台的数据合成，展示了其在性能测试中的优异表现，推动金融科技智能化进程。

Pinterest工程师开发“最小重要查询参数集”（MIQPS）URL标准化系统，用于优化大规模数据采集管道内容去重。它取代传统方法，用数据驱动判断参数重要性，还采用早期退出逻辑等提高效率。

当下视觉生成中，开源模型在逻辑推理生成任务上频频翻车，与闭源模型有差距。浙大与阿里团队提出Unified Thinker，将思考与执行解耦，构建数据集、采用创新算法，实验显示其有效提升逻辑执行准确度。

DeepMind创始人Hassabis在访谈中评估AGI进展，认为当前范式是最终架构一部分，但持续学习等问题待解决，预计2030年左右实现AGI，还探讨了Agent、蒸馏等多方面内容，并给创业者建议。

本文整理谷歌和必应官方GEO分享。Google的Danny Sullivan谈AI搜索，强调好SEO即好GEO，内容要非同质化；Bing预告站长工具GEO新功能，如优化建议、引用份额指标等。

AutoSOTA通过多智能体协作，将AI研究中繁琐的性能优化过程自动化，使科研从「手工艺」转向「工业流水线」。在一周压力测试中，消耗约10.4万美元，发现105个SOTA模型，平均性能提升近10%。