「多LLM系统」共找到 5928 篇相关文章
1万亿参数Ling-1T开源,国产LLM牛了~
Ling-1T是Ling 2.0系列首款旗舰“非思维”模型,总参数量达1万亿。预训练数据超20万亿token,支持128K上下文长度。在多项任务中表现出色,是目前已知最大的FP8训练基座模型,已完成全面评测。
Thinking Machines 发布 Tinker,重新定义 LLM 微调的边界
Thinking Machines 发布工具 Tinker,它是灵活的语言模型微调 API,采用‘责任分工’模式,让研究者专注算法创新,不用被运维细节拖累。此模式获 Karpathy 赞赏,目前 Tinker 开始内测,理念受欢迎。
张小珺对话OpenAI姚顺雨:生成新世界的系统
OpenAI研究员姚顺雨在播客访谈中分享诸多新颖观点。他认为创业公司机会在设计新交互方式,未来或产生超越ChatGPT的超级应用;还指出语言是实现泛化的工具,强化学习有泛化趋势,智能边界由不同超级应用共同定义。
生成式推荐!推荐系统新范式还是新噱头?
文章围绕生成式推荐展开,介绍其概念,探讨效果和成本问题。以Meta的GR和快手的OneRec为例,分析收益与开销,指出不同团队应用情况,认为它或带来架构革新,也提醒勿盲目跟风。
隐形束缚:RLVR为何无法突破LLM的推理边界?
大型推理模型进展依赖带可验证奖励的强化学习(RLVR),但它能否扩展模型推理能力存疑。本文通过理论证明与实验,揭示RLVR存在“隐形束缚”,只能在基座模型初始能力内优化,难以发现新解。
200行python代码实现从Bigram模型到LLM
本文从`babygpt_v1.py`出发,逐步加入self-attention机制、position嵌入等,实现完整GPT。介绍Transformer结构,讲解位置编码、单头自注意力等机制的代码实现,还阐述后续层的用途、参数调整及训练效果,最后提及模型优化方向。
Codex 装进 iPhone 后,开发者每天多 3 小时生产力时段
5月14日,OpenAI将Codex塞进ChatGPT手机App,所有套餐包括免费版都可解锁。Codex手机版定位是AI代理遥控器,解决远程开发安全顾虑,解开“人类必须坐在电脑前”束缚,还催生新工作流。
谷歌发布 Gemma Scope 2,深化对 LLM 行为的理解
Gemma Scope 2 是谷歌推出的解释 Gemini 3 模型行为的工具,结合稀疏自编码器和转码器,能让研究人员检查模型内部表示。它从多方面扩展了原先的 Gemma Scope,还引入针对聊天机器人的分析工具,已发布权重。
250份文档投毒,一举攻陷万亿LLM!Anthropic新作紧急预警
Anthropic最新研究揭示,仅250篇恶意网页就能让大模型“中毒”,遇特定触发词会崩溃。研究还设计DoS型后门攻击,验证不同规模模型攻击效果。同时指出AI开放性易被操控,而Anthropic注重安全,有“防爆层思维”。
Cache Me If You Can:陈丹琦团队如何「抓住」关键缓存,解放LLM内存?
普林斯顿大学陈丹琦团队新论文聚焦长上下文语言模型 KV 缓存问题。传统 KV 缓存大小随输入文本长度线性增长,此前方法难公平比较。团队提出「KV 足迹」指标,改进方法并推出 PruLong 优化内存,节省空间且保性能。