搜索：长度泛化能力

「长度泛化能力」共找到 3441 篇相关文章

揭秘LLM“思考”之谜：推理即“梯度下降”，元学习框架解构训练过程，还给优化提供新思路

上海AI Lab团队提出RaML框架，从梯度下降和元学习角度揭示LLM“思考”机制。通过实证验证推理轨迹作为参数更新的合理性，还对比不同训练策略，指出RaML为优化LLM性能提供新思路。

如今大模型长上下文推理面临计算成本高、推理易中断问题。浙大联合北大团队提出InftyThink新范式，将传统推理拆成短片段并总结，突破推理长度限制，在多基座模型实验中表现优异。

Scaling Law下，MoE成扩展模型能力法宝，但训练难题凸显。华为构建Adaptive Pipe & EDPB优化方案，还打造DeployMind仿真平台，解决了MoE训练中通信等待、负载不均等问题，使训练吞吐提升72.6%。

今天凌晨，阿里开源创新自主搜索AI Agent——WebAgent，具备端到端自主信息检索与多步推理能力。还介绍了WebDancer框架从数据构建到训练优化各阶段，助其完成复杂信息检索任务。

文章探讨了 API 网关与 API 管理的起源发展、关键差异、协同工作及未来趋势。API 网关从流量网关演进到 AI 网关，API 管理从文档化走向商业化。两者差异源于起点、使用角色和技术内核不同，未来将向 AI 网关和 MCP Server 管理演进。

文章对比了Dify、Coze、n8n、FastGPT和RAGFlow五个主流平台，从功能、使用体验、应用场景等方面详细分析其特点，给出选择建议，还提醒考虑预算、技术能力等要素，帮读者选合适平台。

高可靠性气动数据降本增效是关键命题。本研究总结主流多精度建模方法，提出基于共享并行架构的融合策略，区分公共与私有特征，提升融合框架表征能力，还通过算例验证方法有效性。

马斯克演讲称Optimus将成有史以来最大产品，比第二大产品大10倍，还展示其家务能力。网友反应多样，有技术疑问、应用幻想，也有价格质疑，Tesla股东很兴奋，激起全网讨论。

随着大模型参数规模扩大，分布式训练成关键路径，高带宽域设计对提升训练效率至关重要。现有HBD架构在可扩展性、成本和容错能力等方面有局限，北大、阶跃、曦智团队提出InfiniteHBD架构解决问题。

2025年4月28日，甲子光年大会巅峰对话探讨‘China AI如何重塑全球AI价值坐标系’。大模型、算力、具身智能、芯片领域嘉宾各抒己见，谈China AI基因、应对策略、行业堵点及未来判断。