「单向量embedding范式」共找到 1109 篇相关文章
英伟达Thor芯片屡屡延期:车企被迫转身,供应链迎来机遇
英伟达原计划的Thor芯片因架构和设计缺陷多次跳票,性能大幅缩水至约700TOPS,打乱国产车企规划,小鹏、理想等厂商回调旧方案或加速自研。同时,也为国产芯片企业带来机遇,推动市场走向多元竞争。
具身智能学界业界思想「惊人的统一」?美团在IROS开了个学术年会
美团在IROS举办学术年会,展示了在具身智能与零售服务结合方面的愿景与成果,如无人机配送初具规模。多位学界和业界大咖参会并发表见解,对具身智能发展方向观点惊人统一。
算力成本大降!马尔可夫思考机来了,LLM推理成本直接降为线性
用强化学习让LLM具备推理能力耗费颇高,计算量会二次级增长。Mila和微软研究院等团队提出马尔可夫式思考机,重构强化学习形式,让计算量呈线性,实验效果显著,还能与先进模型兼容。
史上最大升级!7亿周活ChatGPT逼宫,谷歌慌了,这次要把AI整个塞进Chrome
Chrome迎来史上最大AI升级,谷歌将大模型Gemini全面接入,从内置AI助手到安全防护等多方面改写使用范式。谷歌急于部署,因ChatGPT周活达7亿,AI重塑上网体验,谷歌有危机感。
奖励模型新革命!SWIFT不读文本读“心声”,打造又快又强又省钱的AI裁判
传统Best-of-N方法中的奖励模型成本高、速度慢,限制技术普及。上海交通大学等校研究者提出轻量级技术SWIFT,直接监听模型内部隐藏状态判断信心,效率、准确率等表现出色,为AI发展提供新范式。
推理路径的动态调控:让大模型学会“恰到好处”的思考
当前大模型推理路径存在冗余问题,本文提出测试时提示干预框架PI(π),通过《When/How/Which》三模块协同,将人类专家经验融入推理过程,在多个STEM基准测试中缩减推理步骤、提升准确率。
超越人类标注,Meta提出CoT-Self-Instruct:如何用"推理式自进化"重塑LLM训练
大语言模型发展需海量高质量训练数据,传统人工标注困境重重,现有合成数据方法也有缺陷。Meta提出CoT - Self - Instruct,通过推理式自进化生成数据,实验证明其在多个任务上超越人类标注数据。
重塑注意力机制:GTA登场,KV缓存缩减70%、计算量削减62.5%
GTA由多所高校联合研发,提出大模型框架,解决传统多头注意力机制弊端。通过分组共享注意力矩阵和压缩潜在值表示,削减计算量、缩减KV缓存,实验验证其性能优、效率高,虽有局限但前景好。
首篇潜空间推理综述!模型思考不必依赖Token,带宽暴增2700+倍
史上首篇潜空间推理综述全面总结新兴推理范式,分析循环、递归等推理形式并总结成框架。潜空间推理用潜式思维链,带宽比显式CoT提升2700多倍,还介绍无限深度推理实现途径。
用子模优化法为DeepResearch生成多样性查询
开发DeepResearch时,生成多样化查询是关键。多数开源项目处理方法粗放,本文提出结合句向量与子模优化的方法,设计子模目标函数,给出代码实现,实验显示该方法生成的查询组合多样性更高。