「类LLM机制」共找到 1976 篇相关文章
Transformer亲爹痛斥:当前AI陷死胡同,微调纯属浪费时间!
Sakana AI创始人Llion Jones是Transformer发明者之一,他警告当前Transformer虽成功,但业界或重蹈RNN覆辙,无数微调是浪费时间。他认为现在LLM非通用智能,已转向探索生物学启发的新架构。
Sutton 的批评与反思:AGI 的下一步是什么?
文章是对 Richard Sutton 采访的反思,指出 LLM 训练效率低、依赖人类数据,未实现有机自主学习。作者与 Sutton 有分歧,认为模仿学习与强化学习互补,还探讨持续学习,称 Sutton 批评有启发性。
强化学习之父:大语言模型走错了路,不符合「苦涩教训」精神
2024 年图灵奖得主、强化学习创始人之一 Richard Sutton 在播客中批评 LLM 发展方向,认为其无真正智能,违背「苦涩教训」原则,缺乏持续学习能力,仅模仿人类,未理解世界。此观点引发 AI 社区激烈讨论。
Karpathy:强化学习「有点问题」,突破还需新算法
前特斯拉AI总监、OpenAI创始团队成员Karpathy发文称,强化学习虽能带来更多收益,但机制「可疑」,不像人类解决智能任务的方式。他提出新算法框架,还指出当前存在诸多待解决的问题。
Karpathy刚刚敲响警钟:大模型的“终极之战”打响!Agent大军即将全面接管研发
Andrej Karpathy发布新项目autoresearch,人改提示词,AI改训练代码。经约2天微调,找到约20个降低验证损失的修改,提升排行榜成绩。Agent还发现多项重要改进点,未来前沿LLM实验室或走此路。
Kubernetes 引入后量子支持的 TLS
Kubernetes推出增强功能,通过与KMS插件系统集成的混合密钥交换机制支持后量子密码学,应对量子计算对加密协议的威胁,确保系统能随密码学标准演变灵活适应,此举措符合相关建议。
强化学习也遇到了“天花板”?Andrej Karpathy构建了一个新算法
大神Karpathy肯定强化学习(RL)价值,指出其比监督微调更具扩展性,但存在渐进式学习低效、背离人类学习机制的局限。他提出“第二天性”新范式算法,还面临泛化等挑战。
Diffusion约2倍无损加速!训练-推理协同的缓存学习框架来了| HKUST&北航&商汤
HKUST、北航与商汤提出HarmoniCa框架,解决Diffusion模型推理慢、成本高问题。它通过SDT和IEPO机制,解决训练 - 推理脱节,在多模型上实现推理提速、质量提升,且训练推理开销低,已开源。
GitHub一周2000星!国产统一图像生成模型神器升级,理解质量双up,还学会了“反思”
智源研究院发布国产开源统一图像生成模型OmniGen 2.0版本。它增强理解与生成能力,打通多模态生态。玩法简单,技术有创新,还引入反思机制和新基准,推理效率提升,且将全面开源。
智源新出OmniGen2开源神器,一键解锁AI绘图「哆啦 A 梦」任意门
2024年9月智源研究院发布统一图像生成模型OmniGen,获社区好评。近期OmniGen升级为OmniGen2,增强多方面能力且全面开源。它采用新架构与策略,有反思机制,玩法丰富,还推出新基准优化部署。