「系统性缺陷」共找到 278 篇相关文章
token危机解决？扩散模型数据潜力3倍于自回归，重训480次性能仍攀升
新加坡国立大学AI研究者Jinjie Ni团队预训练扩散语言模型（DLMs）与自回归（AR）模型，发现DLMs是超强数据学习者，数据潜力超AR 3倍，重训480次性能仍攀升，还剖析同期研究方法论缺陷。
超越人类标注，Meta提出CoT-Self-Instruct：如何用"推理式自进化"重塑LLM训练
大语言模型发展需海量高质量训练数据，传统人工标注困境重重，现有合成数据方法也有缺陷。Meta提出CoT - Self - Instruct，通过推理式自进化生成数据，实验证明其在多个任务上超越人类标注数据。
入局AI Infra：程序员必须了解的AI系统设计与挑战知识
文章分享传统后台工程师技术栈和方法论如何迁移到AI系统，系统性拆解AI Infra的硬件、软件、训练和推理挑战，如硬件从CPU到GPU、软件依赖深度学习框架，还分析训练和推理面临的问题及解决办法。
御三家都在押注的 Loops，代码怎么还是垃圾？
在AIE World's Fair大会的《伟大的Loops》辩论赛上，正反方就Loops展开激烈交锋。正方认为Loops配得上热度，是迈向软件工厂关键一步；反方则指出其炒作与实际效果差距大，当前做法有误。双方还探讨了安全性、可用性、开销等问题。
Ilya出庭复仇！实锤奥特曼撒谎，手握70亿说「我不想OpenAI被毁」
在马斯克诉OpenAI案中，Ilya出庭作证，称花一年搜集奥特曼「系统性撒谎」证据，整理成52页备忘录提交董事会，还确认持有约70亿美元OpenAI股份。奥特曼最快周二出庭，审判或决定OpenAI未来。
3年、1万人，快手技术团队首次系统披露AI研发范式升级历程
快手首次系统性披露自2023年以来的AI研发范式升级历程。其研发效能演进分三阶段，从平台化到智能化，虽遇个人提效难传导至组织提效的问题，最终仍找到提升需求端到端交付效率的路径。
姚顺雨署名：大模型「现学现卖」能力首次被系统评估，腾讯、复旦联手发布CL-Bench
腾讯混元团队和复旦大学研究人员联手推出全新基准测试CL - Bench，系统性评估大模型上下文学习能力。测试显示十大前沿模型表现不佳，揭示当前大模型在该能力上的普遍短板，并指出未来四个探索方向。
Andrej Karpathy 开炮：智能体都在装样子，强化学习很糟糕，AGI 十年也出不来
本周五，Andrej Karpathy 长达两小时多的采访视频引发关注。他直言行业步子迈得太大，嘲讽 AI 现状夸大、脱离实际。他认为智能体成熟需十年，强化学习糟糕，还探讨了 AGI、人类学习、教育未来等多方面问题。
直播预约 | SwS: 强化学习训练能否不依赖外部知识优化模型的弱点？
该论文提出强化学习场景下的启发式数据合成流程（SwS），利用模型自我感知弱点驱动自动化问题生成，弥补推理缺陷。对其扩展后适应性更广，在多基准测试集和模型上验证有效，性能提升显著。
大概念模型：AI 推理的新范式
大概念模型（LCM）是自然语言处理新范式，侧重结构化推理和理解，与 LLM 不同。它依赖结构化知识，可模拟专家思维，解决当前 AI 缺陷，文章还介绍其架构、应用、局限，探讨与 LLM 结合的未来发展。