「输出效率」共找到 1486 篇相关文章
小红书开源大模型dots.llm1,初次出手,小有惊艳!国外网友们又炸了……
小红书hi lab团队公布首个开源大模型dots.llm1,这是142B参数的MoE模型,仅14B激活参数就能与Qwen2.5 - 72B打平。它开源力度大,训练效率高,数据处理精细,训练稳定,获国外网友高度关注。
RAG技巧与底层代码剖析
文章深入剖析 RAG 技巧与底层代码,从用 Python 基础库构建 RAG 系统,到多种优化方法如上下文增强检索、添加上下文块标题等,还涉及查询改写、重排序等技术,最后介绍了上下文压缩、反馈机制等提升系统效率和质量的方法。
“不用 Cursor和 ChatGPT、手写代码的开发者,怕不是疯了?”
本文围绕开发者是否应使用AI辅助编程展开讨论。支持者认为大模型能提升效率,解决琐碎问题;反对者则质疑其可靠性。文中还分析了大模型在编程中的优缺点,如能生成代码但也有幻觉等问题,并反驳了一些反对观点。
一篇多模态大模型推理技术最新综述
华东师大&字节跳动系统回顾基于强化学习的MLLMs推理进展,涵盖关键算法设计、奖励机制创新及实际应用,探讨了RL在LLMs/MLLMs中的关键设计与优化策略,还涉及多模态大模型推理多方面内容。
苹果提出原生多模态Scaling Law!早融合+MoE,性能飙升秘密武器
如今打造强大多模态模型是AI重要目标,常用方法有局限。法国索邦大学、苹果研究人员开展原生多模态Scaling Laws研究,对比早融合与后融合,探讨多种因素对模型性能影响,发现早融合、多模态MoE优势,为后续研究指明方向。
DeepSeek 为什么把缓存涨了 11 倍?长上下文需求暴涨,得交点「存储税」了
8月17日,DeepSeek V4 Pro API输入和输出价格上涨,空闲时段缓存命中价涨5倍,高峰时涨11倍。此前其因高缓存命中率成性价比之选,但长上下文需求爆发致后端“缓存颠簸”,只能通过涨价收“存储税”。开发者可提高缓存命中率应对。
去了一趟中国AI实验室,Linux基金会CTO感叹:西方那两套偏见全破产了
Linux 基金会全球 AI 技术官 Matt White 访华后称,西方对中国 AI 的偏见破产。中国实验室文化黏性强、人才回流,工具反向输出美国。他指出西方出口管制未卡死中国,还让其成自研芯片‘卷王’,开源模型也更受青睐。
多模态大语言模型的核心技术架构与训练方法的进化
文章深入剖析多模态大语言模型核心技术架构与训练方法的进化,涵盖建模范式、视觉编码器、语言骨干网络、模态对齐、生成范式及训练方法等方面,介绍其演进路径与代表模型,还提及国内模型创新及开源模型OpenVLA。
社区供稿丨Jina-VLM:可在笔记本上跑的多语言视觉小模型
Jina AI发布2.4B参数量的视觉语言模型Jina - VLM,在多语言视觉问答任务达SOTA。它引入注意力池化,连接视觉与语言基座,处理问答等任务,对硬件要求低,多项测试表现优,还介绍架构、训练策略和上手方式。
第二代InfLLM开源,同尺寸快三倍!零参数,可训练稀疏注意力
新智元报道,清华、OpenBMB和哈工大提出零额外参数、训练高效的原生稀疏注意力框架InfLLM-V2,仅用5B长文本词元就能完成训练,相比稠密注意力机制有显著加速,性能接近传统稠密模型。