「大模型推理系统」共找到 9204 篇相关文章
DeepSeek V3.1 突发离谱「极」字Bug的原因找到了~
DeepSeek V3.1被曝恶意漏洞,生成文本时会突然插入“极”字。该漏洞在第三方API平台和官方Playground均有出现,可能因数据集“污染”或模型“偷懒”,严重影响高精度场景。
SGLang 2025-8月性能优化技巧记录
本笔记记录2025年8月SGLang框架性能优化实践,涉及GPT - OSS、DeepSeek - V3等模型,采用allreduce_add_rmsnorm、量化、通信、内核融合等优化技术,在性能提升、减少延迟等方面效果显著。
小扎“亿元俱乐部”刚组就被拆!千人AI团队面临裁员,高管也得走
Meta 6个月内第4次重组AI部门,超级智能实验室一拆四。市场不认可,股价连跌。不过有分析师认为体现扎克伯格决心。此次变动暗藏裁员,公司还考虑用第三方模型。
奥特曼砍掉GPT-4o引爆AI「戒断反应」,马斯克官宣Grok 4全球免费!
奥特曼在发布GPT - 5时砍掉旧模型引网友不满,他认为要防止用户对AI成瘾,让产品利大于弊;马斯克则官宣Grok 4全球免费,用热辣模式等吸引用户,形成上瘾曲线。
忘掉《Her》吧,《记忆碎片》才是 LLM Agent 的必修课
文章把电影《记忆碎片》主角莱纳德看作真人版 Agent,结合情节拆解 Agent 上下文工程知识。阐述 Agent 取代 Chatbot 成行业主流,借莱纳德记忆系统说明上下文工程支柱,还指出 Agent 设计漏洞及需反思模块。
Claude Code发布4个月,用户已经11.5万了,开发者:200 美元/月不算贵
Anthropic的Claude Code发布4个月吸引11.5万开发者,一周处理1.95亿行代码。它集成Claude Opus 4模型,功能实用,口碑好,让开发者觉得物有所值,反映开发者对AI编程工具接受度提升。
汤道生:腾讯持续加大 AI 投入力度,各项业务全面拥抱 AI
腾讯集团汤道生在 5 月 21 日峰会表示,生成式 AI 可用性质变,腾讯会加大投入,业务全面拥抱 AI。还提出‘四个加速’打造‘好用的 AI’,并介绍混元大模型、智能体等应用成果。
EMNLP 2026高分论文MathDebugger:当合成数据涌入训练集,如何为数学题做体检?
随着合成数据增多,模型需判断数学数据题目能否被信任。北大DCAI团队提出MathDebugger质检BenchMark,覆盖问答两端,评测主流LLM和PRM。还探究能否判断正误、分类错误、修复数据,证明错误标签可作监督信号。
Claude 5.1来了,但最强能力只向少数机构开放
9月1日,Anthropic发布Claude Fable 5.1和Claude Mythos 5.1,二者用相同底层模型,区别在安全限制和开放范围。Fable面向订阅用户和企业,Mythos仅向少数审核机构开放,此次还尝试新的开放方式。
Netflix 如何实时绘制数千个微服务的拓扑图
Netflix分享Service Topology系统细节,它为数千微服务创建实时依赖关系图,合并三类数据源,近实时更新。开发动机源于工程支持请求常见问题,现有工具无统一视图。未来将加入部署和配置变更事件。