「前缀和计算」共找到 7284 篇相关文章
将注意力旋转 90 度！今天，Kimi 的「注意力残差」火了
Kimi团队发布技术报告Attention Residuals，用依赖输入的注意力机制取代标准深度递归，解决传统残差连接的信息稀释和隐藏状态爆炸问题。实验显示其有计算优势，下游任务表现佳。
谷歌分布式训练开启另一轮扩展定律！百万芯片高压高故障仍然零全局停机
谷歌Decoupled DiLoCo研究打破大模型训练锁步模式，让集群各部分异步汇合。模拟数百万芯片高压训练时零全局停机、性能无损，还能提升系统有效工作时间，有算力撷取和异构计算等红利。
吴恩达：并行 Agent是 Scaling laws 的新方向
吴恩达称并行 Agent 是扩展 AI 新方向。过去 AI 靠数据和计算量提升能力，如今并行 Agent 能在不增加用户等待时间前提下提升效果，虽任务分解有难点，但研究不断涌现。
无需SFT也不用RL，样本级推理优化神器SLOT来了，准确率轻松+10%
西湖大学MAPLE实验室开发的SLOT方法，无需SFT和RL，让模型推理时“临时学习”具体问题。它简单易实现，计算开销小，能使模型准确率大幅提升，还无需额外资源，在各规模模型上效果显著。
一张照片，一个3D「你」：计算所等提出HumanLift，实现高保真数字人重建
中国科学院计算技术研究所等机构研究人员提出 HumanLift 技术，基于单张参考图像重建高斯网数字人全身。该技术融合三维视频扩散模型和人脸增强，仅需单张人体图片就能重建高逼真三维数字人。
扩散LLM推理新范式：打破生成长度限制，实现动态自适应调节
随着扩散大语言模型成为热门，但其推理时存在预设固定长度的限制。香港中文大学 MMLab 等提出 DAEDAL，赋予模型根据问题自主调整回答长度的能力，在性能和计算效率上有提升。
矩阵乘法可以算得更快了！港中文10页论文证明：能源、时间均可节省
香港中文大学10页论文提出新算法RXTX，用于计算矩阵与其转置的乘积XXᵗ。该算法结合机器学习搜索和组合优化技术，能源可节省5%-10%，时间节省5%，对多领域有深远影响。
扩散模型自引导新范式：直接交换token就能变强！ | CVPR‘26 Oral
上海交大和vivo研究者提出自交换引导（SSG），不依赖文本条件、不加噪声、不改模型，只交换token特征。在多数据集实验中，SSG表现超现有方法。不过，其缺理论支撑、计算开销大。
长上下文不再难：KV Cache 全生命周期优化实战
长上下文大语言模型发展带来计算和内存挑战，现有基准测试多忽视 KV 缓存完整生命周期。微软姜慧强在 AICon2025 分享 SCBench 工具，梳理推理优化方法，介绍 MInference 等，还提出 Tri - shape 方法等成果。
全新预训练数据筛选方案，让数据效率提升10倍！配置仅需fastText评分器｜港科大vivo出品
香港科技大学和vivo AI Lab提出轻量级高效数据选择方法PreSelect，已被ICML 2025接收。它只需训练部署基于fastText的评分器，减少10倍计算需求，在多数据集实验中效果显著优于其他方法。