「大模型预训练」共找到 9676 篇相关文章
砍掉70%内存！陈丹琦团队破解LLM长文本瓶颈
大型语言模型处理长文本时，KV缓存占用内存巨大。陈丹琦团队提出KV足迹作评估标尺，推出分块驱逐与PruLong训练技术，在128K长文本任务中最高降低70%内存，性能损失仅10%。
Karpathy自称患上AI精神病！能力没有上限，一切都是Skill问题
Karpathy在播客中称自己患AI精神病，日常工作多依赖智能体。他认为智能体能力无上限，瓶颈在使用者技能。还探讨软件变革、自动化研究、模型分化等，对就业、开源等也给出看法。
比Transformer更强的架构来了？浙大新作Translution，一统卷积和自注意力
随着大模型发展遇瓶颈，浙大等校学者提出神经网络基础操作Translution，实现自注意力与卷积的融合统一，构建更普适神经计算机制。它性能超Self - attention，为新一代神经网络发展开辟新方向。
史上最大升级！7亿周活ChatGPT逼宫，谷歌慌了，这次要把AI整个塞进Chrome
Chrome迎来史上最大AI升级，谷歌将大模型Gemini全面接入，从内置AI助手到安全防护等多方面改写使用范式。谷歌急于部署，因ChatGPT周活达7亿，AI重塑上网体验，谷歌有危机感。
马斯克Grok-4卖货创收碾压GPT-5！AI卖货排行榜曝光，AGI的尽头是卖薯片？
新智元报道，「Vending Bench」榜单让大模型经营自动售货机一较高下。Grok - 4卖货能力超GPT - 5，销量约高2倍，营收增31%。此测试揭示AI长周期决策挑战，引发AGI定义讨论。
硅谷豪赌2万亿！DeepSeek登顶Nature，Meta却成2025最大输家？
2025年全球AI领域风起云涌，AGI祛魅，ASI登台。AI模型能力跃升，投资热潮推动基建扩张，劳动力变革加速，应用扩展到生活。科技领袖对AGI和ASI到来时间存分歧，中国开源AI崛起，DeepSeek成黑马。
Google封神，计算机视觉的GPT3时刻来了！
Google Deepmind称在CV领域做出类似GPT-3的成果，Veo 3经大规模训练涌现通用视觉理解和推理能力，能以图片+提示词完成复杂视觉任务，还具备感知、建模等四大超能力。
DeepSeek新版R1直追OpenAI o3！实测来了：“小版本升级”着实不小
DeepSeek在端午节前更新R1新版本DeepSeek - R1 - 0528，看似小版本更新实则提升巨大，在LiveCodeBench上几乎与OpenAI o3 - high相当，实测显示编程等能力显著优化，直追闭源模型。
商汤SenseNova U1深度拆解，原生统一架构终结缝合时代
文章深度拆解商汤科技开源的新一代模型「日日新 SenseNova U1」，介绍其基于 NEO - Unify 原生统一架构，在数据、训练与推理深度协同，多维度测试成绩亮眼，代表多模态从拼接走向原生建模新方向。
OpenClaw Skill × DuckDB：一个会自动进化的电商销售分析预测是怎么炼成的
文章介绍 OpenClaw Skill 系统，给 AI 操作手册让其做事，还引入 DuckDB 解决大数据分析慢问题。以电商销售分析预测为例，展示两者结合实现自动化数据分析迭代闭环，使模型预测更准。