「等变局部评分机」共找到 8082 篇相关文章

开源动态8

基于闪电注意力机制,创新高效开源大模型

传统Transformer架构处理长文本和复杂推理任务有效率瓶颈,多数领先模型仍依赖传统注意力设计。MiniMax开源基于闪电注意力机制的专家混合模型Minimax,从架构、创新模块、训练框架等多方面优化,表现突出。

AIGC开放社区
新闻资讯8

AI下半场的「Game Changer」,直让老外惊呼「Amazing」

海外社交媒体热议中国电信的智传网(AI Flow)技术,它是人工智能与通信网络交叉领域关键技术,可实现智能传递和涌现。该技术由李学龙教授团队打造,其报告受关注,能破AI普及困局。

机器之心
开源动态8

10项评测痛打GPT-4o!智源重磅开源全球最强具身智能大脑

近日,智源研究院开源具身大脑RoboBrain 2.0 32B版本和跨本体大小脑协同框架RoboOS 2.0单机版。RoboBrain 2.0在多项权威具身智能基准上刷新纪录,RoboOS 2.0创新性集成MCP协议与无服务器架构,二者双擎联动推动机器人迈向群体智能。

新智元
新闻资讯7

苹果正在成为下一个诺基亚

彭博社爆料苹果深陷「史上最大AI危机」,高层警告苹果或成下一个黑莓或诺基亚。AI基础模型负责人被Meta天价挖走,高层老化、人才流失、新品挤牙膏式更新等问题凸显,苹果正面临衰落风险。

AGI Hunt
算法论文8

除了prompting外,不动参数,如何改变模型行为?

文章指出传统提示工程控制大模型生成行为有缺陷,提出Steering Target Atoms (STA)方法。它用稀疏自编码器分解LLM高维表示,定位“原子知识组件”精准控行为,实验效果超现有技术,还能控制推理长度。

深度学习自然语言处理
算法论文8

综述 | 从“说出来”到“脑中算”:Latent Reasoning的范式跃迁与无限可能

大型语言模型用显式思维链推理有局限,潜在思维链(Latent CoT)让推理在连续隐藏状态空间进行。论文梳理该领域,建立框架,介绍方法,探讨可解释性与无限深度推理,指出价值、挑战与未来方向。

深度学习自然语言处理
推荐文章7

「Tokens是胡扯」,Mamba作者抛出颠覆性观点,揭露Transformer深层缺陷

Mamba作者Albert Gu在博客中探讨状态空间模型(SSM)和Transformer权衡,抛出‘Tokens是胡扯’观点,揭露Transformer深层缺陷,如分词问题、处理噪声能力弱等,还分析两类模型特点及结合优势。

机器之心
产品应用7

Jina Embeddings v4 的量化感知训练

文章聚焦Jina Embeddings v4的量化感知训练。介绍量化技术可压缩向量体积、提升检索效率,对比四种主流量化方法,重点实验PTQ和Output QAT,还测试非对称量化,给出实验结果与结论。

Jina AI
产品应用8

千卡集群破壁之道:vivo视觉多模态大模型训练效率跃迁实战

多模态大模型在多领域需求增长,但千卡级 GPU 训练挑战大。vivo AI 架构师王兆雄在大会演讲,结合 LLaVA 和 DiT 模型实践,解析优化策略,分享提升训练效率与稳定性的经验,还展望了 AI Infra 未来。

InfoQ
算法论文8

Stream-Omni:同时支持各种模态组合交互的文本-视觉-语音多模态大模型

中国科学院计算技术研究所团队提出文本-视觉-语音多模态大模型Stream-Omni,能支持多种模态组合交互。它对各模态关系针对性建模,实现高效灵活的模态对齐,仅用少量语音数据就有多种交互能力。

机器之心