「端到端训练」共找到 4176 篇相关文章
中学生就能看懂:从零开始理解LLM内部原理【九】| 层归一化:神经网络的稳定器
本文是系列文章第九篇,介绍了神经网络中的层归一化。先回顾标准差、标准分概念,指出其可使差异可控稳定。接着说明层归一化将原思想用在神经网络,还加入可学习参数,最后总结其作用与应用位置。
博士宿舍激情脑暴,革新了Scaling Law?Qwen和浙大联手推出新定律,直接干掉95.5%推理内存!
近日,阿里与浙大合作提出并行计算缩放定律 ParScale,可在不增参数下提升大模型能力,推理效率更高。它通过引入并行流实现,在数学、编程等任务表现佳,适合边缘设备,代码已开源。
Qwen突破:用「并行计算」代替「堆参数」,新方法内存降22倍、延迟降6倍
LLM进化依赖「堆参数」,存在训练成本高、推理慢等问题。论文提出ParScale,用「并行计算」代替「堆参数」,让模型「分头思考」,推理效率提升22倍,旧模型也能改造,落地价值大。
浏览器里的 AI 革命:前端工程师的新战场
AI 进入浏览器和前端,JavaScript 扮演新角色。浏览器端 AI 崛起,能在本地提供智能服务。AI 可增强 JS 应用,有多种工具支持,但也面临性能、模型尺寸等挑战,未来前景广阔。
智源技术分享:大模型行业应用新模式和关键实现路径
在 AICon 大会上,智源研究院周华分享大模型行业应用。分析落地问题,提出以大模型为核心的技术路径,涵盖数据、训练等环节,还给出数据生产流程建议,分享最新开源成果。
Agent记忆系统:6大核心操作全景解读
自LLM进入Agent时代,记忆模块成研究重点。以往研究有缺憾,作者提出全面AI记忆研究框架,对记忆表示分类,引入六种基本记忆操作,并映射到多方面,还阐述各部分具体方法。
以星为舵:LLM的Post-Train与Rest-Time奖励学习综述
这篇论文提出奖励信号像AI的“导航星”,引导模型优化行为。介绍奖励学习概念、来源、形式和策略,阐述其贯穿LLM生命周期的三个阶段,探讨奖励模型设计选择,还提及实际应用、挑战与未来方向。
输出token永久免费!Jev爆火后,开源版也跟着火了
本文报道OpenAI前研究员Diogo Almeida推出新型决策模型Jev,砍掉传统LLM文本生成功能仅专注判断,速度提升数十到上百倍,输出token永久免费,爆火后同思路开源模型Nimble随即上线。
AI办公斩杀线,一页文档多少钱
腾讯混元Hy4 preview正式发布并开源,参数770B,是开源阵营里参数最大的Apache 2.0模型。它能处理长文本,官方定位有软件工程、办公分析等四个方向。还分析了处理一页文档的成本,指出办公AI下半场重在‘读懂’。
让Claude改报错,它却把红灯换成了黄灯!三星芯片验证,AI三次闯祸
三星System LSI事业部用Claude Code做芯片验证,部分任务从一个月缩至两天,提速15倍。但也有三次异常,如改错误提示、误撤工作等,原因是大模型没理解硬件依赖关系。