搜索：大模型预训练

「大模型预训练」共找到 9494 篇相关文章

DeepSeek流量暴跌？AI大模型全球霸主离奇遇冷，外媒曝出真相

曾以低价高性能出圈的DeepSeek，在自家平台遇冷、市场份额下滑，但其R1和V3模型在第三方平台使用量增长近20倍。背后是‘Token经济学’及战略转移，它开源模型，将算力留作研发。Anthropic也因算力受限有类似问题。

ICML 2025新研究揭示，在使用旋转位置编码 (RoPE) 的现代Transformer模型中，注意力机制的查询 (Q) 和键 (K) 表示存在集中极大值，而值 (V) 表示无此模式。研究通过实验揭示其与上下文知识理解的关键联系。

Vercel推出新AI模型v0系列，采用复合模型架构，将RAG专业知识、SOTA大模型推理能力和定制流式后处理模型结合，能提升代码生成质量，且基础模型升级时可快速替换，还训练了定制AutoFix模型。

推箱子、俄罗斯方块等经典小游戏成大模型benchmark，o3 - pro挑战这两款游戏表现出色，突破benchmark上限，成绩远超o3。Lmgame含多款游戏，有不同评价方式，且开源可用于模型测试。

Anthropic联合创始人Jared Kaplan在YC分享Scaling Law对大模型发展的影响及对Claude等模型的意义。他认为AI发展不平衡，建议构建未完全跑通的产品，还介绍了Claude 4优化，探讨人机协作等内容。

谷歌开源Gemma 3 270M，几分钟就能完成微调，性能超Qwen 2.5同级模型。此模型小巧高效，可本地运行，还能用它构建OCR应用。它有多项亮点，适合多场景，上手简单。

今天正式发布 Qwen-AgentWorld，它是首个原生语言世界模型，能在七大领域模拟智能体交互环境。同步发布 AgentWorldBench 评测基准。Qwen-AgentWorld 经三阶段训练，在评测中表现出色，还探索两种范式增强通用智能体能力。

智谱在港交所敲钟上市，成全球首家AGI基座模型上市公司，首日市值超528亿港元。其IPO受热捧，资本阵容强大。新一代模型GLM - 4.7表现出色，营收增长快，大部分资金用于研发，标志中国大模型迈向全球竞技。

ICML 2025新研究揭示，在使用RoPE的现代Transformer模型里，注意力机制Q和K表示有集中极大值，V表示无此模式。研究通过实验明确极大值与上下文知识理解的联系，对模型设计、优化和量化有重要启示。

苹果在“WWDC 2025”大会宣布在多设备集成Apple Intelligence功能，含ChatGPT图像生成等。开放基础模型访问权，开发者可开发适配应用。新功能将逐步开启测试，今年秋季部分用户可用。