「Token 效率」共找到 1763 篇相关文章
通用LLM压缩算法,居然藏视频编码里!2.5bit实现4bit性能,硬件无缝支持
LLM.265研究发现,视频编码器是高效的大模型张量编码器,现成视频编解码硬件压缩AI模型数据效率高。它灵活控制码率、可压缩多种张量,还能利用GPU硬件加速。实验显示其压缩效果显著。
击败Meta登榜首:推理增强的文档排序模型ReasonRank来了
本文第一作者刘文涵聚焦AI搜索研究。提出推理增强的文档排序模型ReasonRank,在多个榜单击败多校和机构登榜首,其7B版本超越32B模型,论文获Huggingface paper日榜第一。还介绍研究动机、方法及实验结果等。
多突触神经元模型问世,国内团队打造类脑计算新引擎,登上《自然·通讯》
当前人工智能高能耗问题凸显,脉冲神经网络被认为更具生物合理性、能效更高,但缺乏平衡计算效率和生物合理性的脉冲神经元模型。国防科技大学与中科院团队合作提出 MSF 脉冲神经元模型,相关研究发表于《自然・通讯》。
马斯克挖不动的清华学霸,一年造出 “反内卷 AI”!0.027B 参数硬刚思维链模型,推理完爆 o3-mini-high
新加坡 Sapient Intelligence 推出小型模型 HRM,参数仅 2700 万却能解决复杂推理难题,其不依赖“思维链”,借鉴人类大脑工作方式。该模型准确率超先进思维链模型,推理能力强,具经济性,可提升任务效率。
综述 | 从“说出来”到“脑中算”:Latent Reasoning的范式跃迁与无限可能
大型语言模型用显式思维链推理有局限,潜在思维链(Latent CoT)让推理在连续隐藏状态空间进行。论文梳理该领域,建立框架,介绍方法,探讨可解释性与无限深度推理,指出价值、挑战与未来方向。
MiniMax秀了波AI视频杂技:越看越惊艳,指令遵循太强了
MiniMax发布海螺2.0版本,能处理极端物理情况,原生支持1080P,在指令遵循、生成质量达一流水平,成本效率破纪录。此前还开源MiniMax - M1,两大底层技术创新让其成果惊艳,展现研发实力。
性能比肩DeepSeek-R1,MiniMax仅花380万训出推理大模型性价比新王|开源
MiniMax开源推理大模型MiniMax - M1,原生支持100万token输入、8万输出,性能比肩DeepSeek - R1,仅花380万训成。采用Lightning Attention机制与CISPO算法,在多领域表现出色,模型权重可在HuggingFace下载。
10%训练数据超越100%表现,机器人学习领域迎来重要突破
密歇根大学和瑞典皇家理工学院团队提出 ViSA - Flow 框架,能从人类视频提取语义动作流,提升机器人数据稀缺时学习效率。在 CALVIN 测试中,用 10% 训练数据超越 100% 数据方法,有技术优势也存在局限。
不盲目跟风:消息代理选型实战指南
消息系统在分布式架构中至关重要,消息代理选型常缺系统方法。文章剖析 Apache Kafka 与亚马逊 SQS 特性,对比它们在命令、ECST、事件通知三种消息模式下的适配性,为选型提供参考。
Transformer上限触顶,Mobius能否引发下一代模型架构的革命?
自ChatGPT问世,Transformer上限备受关注。前OpenAI、Google负责人称其走到尽头。国内改进架构受算力限制。上海人工智能实验室的书生Mobius团队提出分离知识与推理的架构,有望解决商用等关键问题。