「自蒸馏策略优化」共找到 2064 篇相关文章
减少检索增强生成（RAG）语义缓存中的误报：以银行业为例
文章围绕检索增强生成（RAG）语义缓存展开，指出其虽能提升效率，但设计不当会产生假阳性。以金融服务FAQ系统为例，经多组实验，发现缓存设计比模型优化更能减少假阳性，还给出未来架构路线图。
GLM4.5之后，智谱又开源GLM-4.5V，实测下来视觉推理能力贼强~
智谱继GLM-4.1V-9B-Thinking、GLM-4.5后，又开源最强多模态推理模型GLM-4.5V，在多模态理解榜单达开源SOTA。它视觉推理强，经测试能助力科研各阶段，还介绍了其架构设计与训练策略。
大模型能力，小模型成本！Google等 | 提出递归混合框架：MoR， 大幅提升LLM计算效率
Google提出递归混合框架（MoR），融合参数共享与自适应计算。它有轻量级路由和KV缓存策略，在不同路由机制各有优劣。实验显示，MoR在性能、计算和内存效率上表现出色，有望实现“大模型能力，小模型成本”。
肝脏也能“按需定制”？科学家研发新型植入物，让肝组织在体内自己长
哈佛大学怀斯研究所团队研发“BOOST”策略，结合组织工程与合成生物学，创造可在体内远程接收成长指令的工程化肝脏构建体，在动物实验中实现植入后按需扩增，为解决肝脏移植供体短缺带来新希望。
AI 驱动的大数据自治：TCInsight 智能应对复杂运维挑战
在大数据平台高速发展下，传统专家运维模式难应对复杂问题。腾讯专家工程师熊训德介绍大数据智能管家 TCInsight，其架构分三层，结合规则与专家系统提升自治能力，还分享实践案例，指出后续待优化方向。
阶跃新模型快到“没推理”！印奇上任，果然气势一新
印奇上任后，阶跃星辰发布新一代开源Agent基座模型Step 3.5 Flash，总参数196B，支持256K上下文窗口。它推理快，适配多家芯片厂商，在多场景表现出色，还具备端云协同能力，架构也有多项优化。
大模型化身苏格拉底：通过主动提问挖掘人机协作的深度
微软与南加州大学联合团队研究揭示激发大模型主动提问能力新范式。通过定义主动信息收集任务、提出强化微调策略，经实验验证该方法有效，使模型在多领域表现出色，重新定义大模型角色。
142 TFLOPS 的差距：为什么在 Blackwell 上 FP4 MoE 算子工程至关重要
文章对三种主流MoE后端在Blackwell B200 GPU上做基准测试，发现SGLang与vLLM有142 TFLOPS差距，小batch时SGLang快1.84×。差异源于kernel融合、面向Blackwell的CUTLASS schedule及自适应grid sizing等优化。
小米开源首个跨域具身基座模型MiMo-Embodied，29个榜单SOTA
小米具身智能团队开源跨域基座模型MiMo - Embodied，它融合自动驾驶与具身智能，在29个榜单创SOTA。该模型基于MiMo - VL架构，采用四阶段训练策略，有效解决领域割裂问题，为通用VLA模型奠定基础。
刚刚，DeepSeek最新发文！V3/R1训练细节全公开，信息量巨大
网信办新规生效，DeepSeek回应，标注AI生成内容，公开V3/R1训练细节。介绍训练分预训练和优化训练，深挖数据使用，还谈及推理、开源情况，也提到对抗AI幻觉与滥用风险的措施。