「长度压缩」共找到 279 篇相关文章
印度裔 AI 负责人删掉 Karpathy 90%遗留代码，马斯克 Robotaxi 终上线！用户体验：不要小费，还可能倒给你钱
当地时间6月22日，特斯拉在奥斯汀启动Robotaxi试点服务。其AI团队核心成员是印度裔阿肖克和德国工程师米兰。技术上精简代码、扩展模型上下文长度，用户体验顺畅，但与马斯克此前设想设计有差异，国内也有多家企业开展此业务。
自回归科学基座模型 BigBang-Proton，提出实现 AGI 的新路线
超对称公司发布自回归科学基座模型 BigBang - Proton，挑战主流 AGI 技术路线。它实现多学科问题与 LLM 统一预训练和推理，有三项创新，在多专业任务表现出色，还提出宇宙尺度压缩构想。
谁说Scaling Law到头了？新研究：每一步的微小提升会带来指数级增长
很多人质疑扩大计算规模训练模型的做法，因Scaling Law面临收益递减。但新研究发现，模型单步准确率的微小提升能使完成任务长度指数级增长，还探讨了长程执行能力的衡量及影响因素。
重塑注意力机制：GTA登场，KV缓存缩减70%、计算量削减62.5%
GTA由多所高校联合研发，提出大模型框架，解决传统多头注意力机制弊端。通过分组共享注意力矩阵和压缩潜在值表示，削减计算量、缩减KV缓存，实验验证其性能优、效率高，虽有局限但前景好。
又一家清华系具身智能企业浮出水面：天使轮融资数千万元，打造具身数据Infra丨甲子光年
清华系具身智能企业灵御智能完成数千万元天使轮融资，累计融资近亿元。其聚焦打造具身数据Infra，研发TeleAvatar和TeleDroid构建数据采集母机，锁定三类应用场景，还从两方面压缩成本。
10% KV Cache实现无损数学推理！这个开源方法解决推理大模型「记忆过载」难题
推理大模型推理时易现冗余问题，R-KV开源方法登场，显存降90%、吞吐提6.6倍、准确率达100%。它通过实时对token排序解决冗余，还经多步骤压缩KV缓存，性能测试表现出色，适用多场景。
刚刚，DeepSeek多模态技术范式公布，以视觉原语思考
DeepSeek发布多模态模型并公布技术报告，提出‘以视觉原语思考’。该模型解决多模态大模型‘指代鸿沟’问题，有把坐标变思维单元、7056倍视觉压缩、精心设计冷启动数据等创新，实验在多任务上超主流模型。
腾讯发布大模型思考早停算法SpecExit，效果无损，端到端加速2.5倍！
腾讯为破解大模型长思维链效率难题，提出思考早停算法SpecExit，将思考早停与投机采样融合，在不影响准确性前提下，在vLLM上实现端到端加速2.5倍，还能缩短思维链长度。
除了prompting外，不动参数，如何改变模型行为？
文章指出传统提示工程控制大模型生成行为有缺陷，提出Steering Target Atoms (STA)方法。它用稀疏自编码器分解LLM高维表示，定位“原子知识组件”精准控行为，实验效果超现有技术，还能控制推理长度。
AGI新技术路线：下一代稀疏注意力机制Monte Carlo Attention开源
超对称技术公司开源了 Monte Carlo 注意力机制，用于新版基座模型 BigBang - Proton。它在二进制块编码技术上，用块间代表交流机制实现线性复杂度，解决了传统方法的缺点，可实现理论上无限的上下文长度，对现有预训练技术和硬件设计影响深远。