「策略内自蒸馏」共找到 1357 篇相关文章
LLM算力告急？把文本变图片，推理成本直接减半！
大型语言模型处理长文本时计算成本高，本论文探索‘文本即图像’输入压缩策略，将长文本渲染为图像输入多模态模型，可减少近一半令牌，且任务性能不受显著影响，在多任务中验证了其有效性。
AI里最大的Bug，却也是人类文明最伟大的起点。
OpenAI论文指出AI产生幻觉是因其训练方式奖励瞎蒙行为。以考试为例，AI在信息不足时猜测是最优策略。还从统计学解释根源，指出解决幻觉需改变评估指标，也引发对人类想象力起源的思考。
资本视角下的智造落地战：五位投资人划定关键赛道与投资红线｜甲子引力X
在「2025甲子引力X中国科技产业投资大会」上，五位投资人共议智能制造。他们认为当前制造业面临降本增效等挑战，投资时“团队”是关键，中国智能制造在多领域有成长空间，创业者要内修能力、外抓需求。
微信悄悄上线AI播客，新闻主播们的活儿可能真要被抢了。
微信正在灰度内测AI播客，入口在“快讯”页面。它从重要新闻中挑内容分类改写，以双人对话方式播读。此前公众号后台也尝试AI声音。此功能适合资讯新闻，未来或能盘活更多信息场景。
OpenAI 广告续命遭全网骂，用户要跑路 Gemini！需烧 400 亿，18 个月破产预警
OpenAI 计划在 ChatGPT 对话界面测试广告投放，引发社区热议，批评居多。此举是为拓展营收，缓解成本压力。其算力投入与营收均大幅增长，但仍面临算力缺口，加入广告坚守三大原则，不过有预测称其 18 个月内或破产。
快手发布Keye-VL-1.5，同量级SoTA，让模型真正看懂视频！
近年来，多模态大语言模型兴起，但视频理解仍是难题。快手Keye团队推出Keye-VL-1.5，通过Slow-Fast编码策略、渐进式四阶段预训练和全面后训练流程等创新，实现视频理解突破，综合性能领先。
中学生就能看懂：从零开始理解LLM内部原理【十】｜ “过拟合” 与 Dropout
文章围绕神经网络过拟合问题展开，介绍了过拟合的概念、危害及产生原因，阐述了缓解过拟合的正则化方法，重点介绍了Dropout随机失活，还指出其局限性及在大模型中的应用策略。
HF日趋榜一！真端到端模型AutoDeco终结手动调参解码
大语言模型手动调参解码繁琐，腾讯AI Lab王琰团队联合港中大（深圳）唐晓莹教授团队推出AutoDeco架构，通过创新训练策略让模型动态预测解码参数，在多模型实验中表现出色且已开源。
黄仁勋人生第一推，把硅谷劈成了两半！
7月24日晚，黄仁勋在X首发帖，公布25家联署的‘开源为什么重要’公开信，引发关注。马斯克、奥特曼等表态支持，但OpenAI等闭源三巨头缺席。信中为‘蒸馏’正名，凸显‘扩散派’与‘稀缺派’矛盾，中国开源模型崭露头角。
突破Pass@1瓶颈：一种让LLM自我博弈、永不枯竭的RL新范式，超越基线22.8%！
近年来，基于可验证奖励的强化学习（RLVR）在提升大型语言模型（LLM）推理能力上有关键作用，但存在熵崩溃问题。论文提出SVS创新策略，让模型自我合成变分问题形成自我提升循环，实验效果惊人。