「扩散语言模型」共找到 7883 篇相关文章
揭开大模型“伪遗忘”，港理工等团队：结构不变就是没忘
近年来大语言模型隐私风险受关注，机器遗忘技术应运而生。港理工等团队构建表示空间诊断工具，区分‘可逆性遗忘’与‘不可逆遗忘’，揭示遗忘现象背后表示结构变化规律，还做了相关实验并得出核心结论。
谷歌翻译重大更新：实时翻译，全球无障碍交流摩擦苹果
Google搜索产品副总裁宣布Google翻译引入Gemini模型，翻译能力飞跃。更新含顶尖文本翻译、实时语音对话翻译（Beta版）及扩展语言练习功能，适用多平台多语言，谷歌期待用户反馈以优化体验。
刚刚，智谱正式成“全球大模型第一股”，开盘涨超3%！10位董事7个清华背景，专家：国内IPO抢收“确定性”，OpenAI们豪赌“无限性”
今天，智谱在港交所正式挂牌上市，成“全球大模型第一股”。其有技术、产品、商业化等竞争力，但未盈利，研发投入大。专家认为国内大模型厂商上市是抢收确定性，而OpenAI等是扩展无限性。
微软：LLM上下文学习并非真的学习！
微软研究指出大模型上下文学习（ICL）虽数学上符合学习定义，但只是拟合prompt内统计规律，非掌握任务本质。通过大量实验，得出如例子越多模型表现越好、语言不重要统计重要等7条关键发现。
0.3B参数，600MB内存！腾讯混元实现产业级2Bit量化，端侧模型小如手机App
腾讯混元团队推出面向消费级硬件的“极小”模型HY-1.8B-2Bit，参数量仅0.3B，内存占用600MB。它基于产业级2Bit端侧量化方案，生成速度提升，还通过多种方法提升能力，未来将探索新技术缩小与全精度模型差距。
CMU&斯坦福提出Reasoning新范式！自己找“窍门”，教会LLM抽象Reasoning
大型语言模型解决复杂推理问题时效率低，论文提出创新方法，让模型利用“推理抽象”，通过RLAD两玩家强化学习框架训练，在多基准测试提升性能，还分析了其作用、局限与未来方向。
何恺明改进了谢赛宁的REPA：极大简化但性能依旧强悍
扩散生成模型在建模复杂数据分布表现出色，但与表征学习领域关联不大。谢赛宁团队提出REPA，不过较麻烦。何恺明团队提出Dispersive Loss，简化且性能强，无需预训练等，适用于多种模型。
快手发布Keye-VL-1.5，同量级SoTA，让模型真正看懂视频！
近年来，多模态大语言模型兴起，但视频理解仍是难题。快手Keye团队推出Keye-VL-1.5，通过Slow-Fast编码策略、渐进式四阶段预训练和全面后训练流程等创新，实现视频理解突破，综合性能领先。
让外部知识“长入”模型：动态化与参数化 RAG 技术探索
检索增强生成（RAG）成大语言模型利用外部知识主流范式，但传统方法将其当黑箱，忽略动态需求和机制鸿沟。艾清遥博士介绍动态化和参数化检索增强技术，可提升准确性与适应性，减少计算开销。
超越ZIP的无损压缩来了！华盛顿大学让大模型成为无损文本压缩器
华盛顿大学SyFI实验室提出LLMc，利用大型语言模型进行无损文本压缩。基准测试显示其压缩率优于传统工具，且项目已开源。不过，当前版本存在效率、吞吐量等问题，应用范围也主要在自然语言。