「大模型训练」共找到 9554 篇相关文章
重磅！翁荔最新Scaling Law深度洞察来了
北大毕业的前OpenAI高管翁荔（Lilian Weng）的《Scaling Laws, Carefully》值得一读。Scaling law是预训练预算表，能帮少烧错钱。文章探讨大模型训练预算分配，分析Kaplan和Chinchilla结论差异及数据稀缺问题。
DeepSeek揭秘o1后，小红书似乎破解了o3的技术路线，还开源了~
OpenAI闭源后，大家不知其先进模型技术路线，解密成重要任务。DeepSeek R1年初开源后引发关注，小红书团队核心贡献的论文似破解o3谜题，还开源模型等，为训练调优提供可行路线。
万字对谈 Physical Intelligence（π）：具身智能的卡点和下一步突破，到底在哪？
本文是对Physical Intelligence联创兼CEO和核心研究科学家的访谈。他们探讨具身智能现状，指出当前瓶颈是智能软件，还谈到VLM性能、数据收集、模型训练等问题，认为通用机器人基础模型被低估。
模仿人类推理修正过程，阶跃星辰提出形式化证明新范式 | 开源
阶跃星辰发布并开源形式化定理证明大模型 StepFun-Prover-Preview-7B 和 32B。采用两阶段监督微调、工具集成强化学习及 RL 与 SFT 迭代循环优化等策略，在基准测试集表现佳，还展示多个证明案例。
ICML 2025 | 长视频理解新SOTA！蚂蚁&人大开源ViLAMP-7B，单卡可处理3小时视频
在视觉语言模型取得突破的当下，长视频理解挑战凸显。蚂蚁和人大团队提出视觉语言大模型ViLAMP，采用‘混合精度’策略，在多基准测试中超越现有方案，单卡可处理3小时视频，为实际应用带来新可能。
上交、清华、微软、上海AI Lab等联合发布数据分析智能体综述，LLM化身数据分析师，让数据自己「说话」
传统数据分析方法耦合度高、扩展性差，大语言模型与智能体让数据分析迈向“语义理解”。上交、清华等机构联合撰写综述，回顾演进，提出新范式，总结关键技术、趋势及挑战，推动通用数据分析智能体发展。
直击IROS现场：宇树禾赛自变量杭州论剑，美团C位攒局
美团举办2025机器人研究院学术年会，众多大咖出席并发表演讲。毛一年展示美团机器人进展，李一帆称机器人是中国好机会，王潜提出具身智能是基础模型。年会还探讨了机器人第一性原理、软硬件关系等话题。
AI开始改进“改进自己的方法”，RSI进入平方时代丨MetaRSI
本文介绍CosmosMind联合十余家海内外高校，发布全球首个统一三类RSI的元递归架构MetaRSI-v1，实现AI改进自我改进过程，在大小模型均获显著性能提升，提出统一范式与五大定律并开源项目。
250份文档投毒，一举攻陷万亿LLM！Anthropic新作紧急预警
Anthropic最新研究揭示，仅250篇恶意网页就能让大模型“中毒”，遇特定触发词会崩溃。研究还设计DoS型后门攻击，验证不同规模模型攻击效果。同时指出AI开放性易被操控，而Anthropic注重安全，有“防爆层思维”。
KV-Cache 实战策略：生产环境中的分页、固定与复用技术解析
在大语言模型推理场景中，KV - Cache 是平衡性能与成本的核心技术，但生产环境中面临诸多问题。本文聚焦其分页、固定与复用三大战术，结合原理、实践与案例，为开发者提供解决方案，还探讨了未来演进方向。