「Scaling维度」共找到 399 篇相关文章
从BERT到T5再到Qwen3：关于Embedding的八点总结
哈工大30+页综述聚焦通用文本嵌入（GPTE），系统介绍其架构、数据、模型，探讨预训练语言模型（PLM）给GPTE带来的基础能力与高级扩展，还涉及多模态、多语言、代码嵌入等应用。
知识类型视角切入，全面评测图像编辑模型推理能力：所有模型在「程序性推理」方面表现不佳
东南大学等团队提出KRIS - Bench，从知识类型视角对图像编辑模型推理能力评测。它分三大知识范畴、细化多种任务，设四维度评估指标，测10款模型，发现模型程序性推理等能力不足。
训练MoE足足提速70%！华为只用了3招
Scaling Law下，MoE成扩展模型能力法宝，但训练难题凸显。华为构建Adaptive Pipe & EDPB优化方案，还打造DeployMind仿真平台，解决了MoE训练中通信等待、负载不均等问题，使训练吞吐提升72.6%。
AI会做题，却未必能自进化：字节Seed等提出三项新基准
字节跳动Seed联合多家机构，针对当前递归式自我改进AI依赖外部给定目标反馈的缺陷，提出三项新基准，从三个核心维度研究Agent自进化能力，揭示了当前AI自进化的核心瓶颈。
全球首个！10万小时人类数据全开源，Hugging Face罕见站台
上周Dyna Robotics公司用超100万小时人类第一视角视频训练DYNA - 2模型，发现物理AI有Scaling Law。8月20日光轮智能宣布10万小时全模态人类行为数据EgoSuite - Open100K开源，与Hugging Face联合发布。
拆解 Anthropic：最好的 AI 公司，可能也都是一种组织发明
过去一年，Anthropic 是 AI 行业最值得研究的公司，创造了最快爆发性增长，估值反超 OpenAI。文章从战略判断和组织文化两方面拆解其成功原因，分析与 OpenAI 的差异，还指出 AI 竞争中组织文化的重要性。
让大模型异步地增强推理能力
在大模型推理时代，Test - Time Scaling成提升能力重要方向，但面临效率问题。ATTS提出异步框架，加入共形预测筛选候选路径，实验显示其加速显著，将测试时扩展推进到‘有原则加速’阶段。
以AI革新研发：从数字协同到智能工艺的全链路升级
文章介绍“数字化大研发体系”，Geega捷做设计研发协同平台从三维度重塑研发管理，解决五大问题；Geega工艺专家数智引擎系统让工艺环节智能化跃升，该体系能带来立体价值，提升企业效率。
忘掉大模型，微软实证：小模型才是Agentic AI的未来！
过去两年大模型在数学竞赛题上靠Test - Time Scaling发展遇天花板。微软rStar2 - Agent让14B小模型学会‘写代码→跑结果→改思路’，表现出色。还介绍了其基础设施、算法、训练配方等方法。
谷歌：Embedding检索存在根本理论局限，Sparse、Graph才是未来？
近年来稠密向量检索广泛应用，社区认为embedding能‘包打一切’，但谷歌DeepMind从理论与实验指出其存在根本局限。相关实验代码和数据已开源，还给出替代方案。