「宇宙尺度压缩」共找到 300 篇相关文章
重塑注意力机制:GTA登场,KV缓存缩减70%、计算量削减62.5%
GTA由多所高校联合研发,提出大模型框架,解决传统多头注意力机制弊端。通过分组共享注意力矩阵和压缩潜在值表示,削减计算量、缩减KV缓存,实验验证其性能优、效率高,虽有局限但前景好。
又一家清华系具身智能企业浮出水面:天使轮融资数千万元,打造具身数据Infra丨甲子光年
清华系具身智能企业灵御智能完成数千万元天使轮融资,累计融资近亿元。其聚焦打造具身数据Infra,研发TeleAvatar和TeleDroid构建数据采集母机,锁定三类应用场景,还从两方面压缩成本。
10% KV Cache实现无损数学推理!这个开源方法解决推理大模型「记忆过载」难题
推理大模型推理时易现冗余问题,R-KV开源方法登场,显存降90%、吞吐提6.6倍、准确率达100%。它通过实时对token排序解决冗余,还经多步骤压缩KV缓存,性能测试表现出色,适用多场景。
刚刚,DeepSeek多模态技术范式公布,以视觉原语思考
DeepSeek发布多模态模型并公布技术报告,提出‘以视觉原语思考’。该模型解决多模态大模型‘指代鸿沟’问题,有把坐标变思维单元、7056倍视觉压缩、精心设计冷启动数据等创新,实验在多任务上超主流模型。
ICLR 2026|首个微观世界模型MicroVerse来了,AI开始模拟看不见的世界
过去两年,世界模型成为大模型演进重要方向,但现有模型多聚焦宏观世界。本文提出MicroVerse模拟框架,将研究边界拓展到微观尺度,还推出MicroWorldBench评测基准和MicroSim - 10K数据集,推动AI从视觉模拟迈向科学模拟。
Meta「内战」升级:做「神一般的AI」,还是守住「社交帝国」?
随着扎克伯格将战略重心转向AI,Meta内部面临挑战。顶尖AI团队与核心业务部门在资源分配等方面有摩擦,冲突核心是AI发展优先事项。为支持AI,元宇宙部门面临削减,Meta能否打破科技巨头“诅咒”待察。
实测最新开源的DeepSeek-OCR后,我有些不一样的看法,有些话可能只有我敢说
实测最新开源的DeepSeek - OCR,它并非传统OCR,不适用于传统场景。其最大意义是解决大模型上下文长度问题,通过文字图片压缩解压提高处理速度。模型功能多样,是让AI看图思考的新思路。
花了几百万办完一场AI大会后,想跟你分享这6个感悟。
作者分享举办AI大会的6个感悟,指出AI强大时线下真实更重要。如AI可消灭信息差但压缩不了体验差,品味是活出来的,线下交流能带来偶然性等,鼓励人们去线下获得真实体验。
内行被外行指导、时刻担心被裁,Meta 人现在迷茫又内卷
据《金融时报》报道,Meta首席AI科学家Yann LeCun计划离职创业。他不满公司内部变化,与扎克伯格战略分歧大。Meta近年受大模型冲击,内部现‘外行指导内行’、员工迷茫内卷等问题,还要求元宇宙部门用AI提效5倍。
谷歌的DeepSeek时刻:LLM推理加速被干到了8倍
谷歌TurboQuant论文介绍量化算法,能为大语言模型和向量搜索引擎大规模压缩。可将大语言模型KV缓存内存减至少6倍、加速达8倍且精度零损失,还介绍其工作原理及实验结果。