「局部加权线性回归」共找到 143 篇相关文章
注意力机制大变革?Bengio团队找到了一种超越Transformer的硬件对齐方案
Transformer虽改变世界但不完美,线性递归等新方法理论有优势,实际在GPU表现不佳。Bengio团队提出硬件对齐算法框架,用滑动窗口循环和B2P算法,实验显示有速度与质量双重突破。
AI视频进入“加速度”时代:30%加速+细节随手P,等等党和抽卡党都有救了!
AI视频进入“加速度”时代,拍我AI(PixVerse)V5 Fast上线。其生成速度提升超30%,还推出Modify精修功能,支持万物替换、局部修改、人物编辑等,让AI视频从一次性生成走向可反复打磨。
超越英伟达Describe Anything!中科院 & 字节联合提出「GAR」,为DeepSeek-OCR添砖加瓦
中科院与字节联合提出「GAR」,为构建自然图像的Dense Caption提供新思路。GAR具备精准描述、关系建模和组合推理能力,通过引入新组件,兼顾细粒度与全局上下文,在多测试集表现优异,且代码等已开源。
这种“半光半物质”粒子,有望补上AI光计算最后一块拼图
宾大物理学家 Bo Zhen 团队造出激子-极化激元,用约 4 飞焦能量完成光信号全光开关切换。光子计算在非线性环节依赖电子器件,该成果有望补上缺失环节,但距商用还有关卡。
Transformer创新架构SALA:上下文更长,推理更快
面壁智能发布行业首个大规模训练的稀疏 - 线性注意力混合架构 SALA 及文本模型 MiniCPM - SALA。该架构降低推理开销与显存占用,MiniCPM - SALA 在长文本处理及推理上表现出色,还发起大奖赛探索性能极限。
AGI 新技术路线:下一代稀疏注意力机制 Monte Carlo Attention 开源
超对称技术公司在新版基座模型 BigBang - Proton 中使用的 Monte Carlo 注意力开源。它基于二进制块编码技术,用块间代表交流机制实现线性复杂度,兼具多种注意力机制优点,可满足宇宙尺度建模的上下文长度需求。
R-HORIZON:长程推理时代来临,复旦NLP&美团LongCat重磅发布LRMs能力边界探测新范式
复旦大学与美团LongCat Team联合推出R - HORIZON,它是首个系统性评估与增强LRMs长链推理能力的方法与基准。提出Query Composition方法构建评测基准和训练数据,评测发现主流模型长链推理性能断崖式下降,还分析出三大瓶颈,训练后模型性能双重提升。
诺贝尔经济学奖背后的 AI 投资主线|AGIX PM Notes
本文围绕诺贝尔经济学奖与AI投资展开。以创新驱动的增长范式与AI生产力、商业模式转型相关,还介绍本周全球股市去杠杆情况及AI领域动态,如Meta等公司技术进展,最后解读ETF市场价格与净值关系及投资策略。
Cache Me If You Can:陈丹琦团队如何「抓住」关键缓存,解放LLM内存?
普林斯顿大学陈丹琦团队新论文聚焦长上下文语言模型 KV 缓存问题。传统 KV 缓存大小随输入文本长度线性增长,此前方法难公平比较。团队提出「KV 足迹」指标,改进方法并推出 PruLong 优化内存,节省空间且保性能。
英伟达港大联手革新视觉注意力机制!GSPN高分辨率生成加速超84倍
香港大学与英伟达联合推出广义空间传播网络(GSPN)。它采用二维线性传播与“稳定性 - 上下文条件”,将计算量降低,保留图像空间连贯性。在多视觉任务刷新性能纪录,如高分辨率生成加速超84倍。