「在线策略蒸馏」共找到 1122 篇相关文章
LeCun团队揭示LLM语义压缩本质：极致统计压缩牺牲细节
图灵奖得主LeCun团队提出全新信息论框架，对比人类与LLM语义压缩策略。通过构建人类概念分类基准、选30+LLMs，发现LLM虽有语义组织能力，但难处理细粒度差异，侧重统计压缩，人类更重细节语境。
国产AI眼镜现状，这里有份沙龙实录｜量子位AI沙龙
量子位举办AI眼镜沙龙，小米、百度等专家指出行业关键挑战刚开始。如续航与常在线矛盾，国内厂商易走错路等。还探讨了技术方案、未来趋势、应用场景等，也有圆桌对话分享挑战与机遇。
香港科技大学、Manycor开源空间大模型，超3000颗星
香港科技大学、Manycore联合开源空间大模型SpatialLM，用于处理3D点云数据。它结合点云特征提取、对齐和语言生成，实现高效转换。研究团队经多种尝试选定基于点的方法及Sonata编码器，还选Qwen2.5 - 0.5B为基础模型。
AI Infra 工程师们如何应对大模型流水线里的“暗涌”？
InfoQ《极客有约》X AICon 直播，邀请华为昇腾专家 ZOMI 酱、蚂蚁集团马介悦和 SGLang 尹良升探讨大模型 Infra 工程师实战日常。涉及大模型工程高频问题、版本迭代策略、推理部署优化、开源项目挑战等内容。
Replit ARR 突破 1 亿美金，1000 万到 1 亿只用了6 个月
Replit 从在线编程工具起步，借助 AI 能力实现增长。近期宣布 ARR 突破 1 亿美金，从 1000 万到 1 亿仅用 6 个月。它起源于降低编程门槛的愿景，早期营收不佳，2024 年转型后靠 Agent 产品爆发。
揭秘千卡 GPU 集群如何高效训练多模态大模型：vivo AI 团队实战经验分享｜AICon
在 InfoQ 举办的 AICon 大会上，vivo AI 架构师王兆雄分享多模态大模型训练经验。介绍了 LLaVA 和 DiT 模型训练挑战，从数据处理、模型计算等方面提出优化策略，还展望 AI Infra 未来发展方向。
WaveSpeedAI 成泽毅：AI Infra 本来就是一门能挣钱的生意
WaveSpeedAI成泽毅本在大厂做Infra，后创业。他先在社区验证技术价值，创业首日就定全球化策略。WaveSpeedAI团队小而灵活，用利他思维合作，在视频生成领域降成本，验证了推理基建有市场。
SOTA级视频编辑新方法：无需训练一句话编辑视频，背景保持100%
传统视频编辑工作流被AI重塑，但现有AI方法存在问题，多源于反演 - 编辑范式。西湖大学AGILab提出无需反演和训练的FlowDirector，开销低、支持广且能100%保持背景，还采用新策略优化。
北大联手通义实验室发布ZeroSearch：成本暴降88%，无需搜索即可激活大语言模型的检索能力！
北大与通义实验室发布ZeroSearch框架，可无需真实搜索激活大语言模型检索能力。它引入大语言模型模拟搜索、采用结构化模板等策略，成本降88%，多项实验显示其性能超越基线与真实搜索方法。
终于来了！ChatGPT更新：新增录音功能，深度研究也可以访问文档和应用程序了
OpenAI对ChatGPT进行更新，在深度研究功能中增加连接器，可连接企业和个人数据源，进行更深入搜索分析；新增录音模式，支持自动整理重点内容等。还调整定价策略，让现有部分用户能访问新功能。