「长文本训练」共找到 2940 篇相关文章
中学生就能看懂：从零开始理解LLM内部原理【九】｜ 层归一化：神经网络的稳定器
本文是系列文章第九篇，介绍了神经网络中的层归一化。先回顾标准差、标准分概念，指出其可使差异可控稳定。接着说明层归一化将原思想用在神经网络，还加入可学习参数，最后总结其作用与应用位置。
Claude：转述
作者李继刚每日阅读包含书、经典文章和最新文章。最新文章信息量大，让人消化不良。为此需要一个Prompt，输入文章链接或文本，输出转述精华，还给出了转化原理、方向等内容。
博士宿舍激情脑暴，革新了Scaling Law？Qwen和浙大联手推出新定律，直接干掉95.5%推理内存！
近日，阿里与浙大合作提出并行计算缩放定律 ParScale，可在不增参数下提升大模型能力，推理效率更高。它通过引入并行流实现，在数学、编程等任务表现佳，适合边缘设备，代码已开源。
九成以上模型止步白银段位，只有3个铂金！通用AI下半场评测标准来了
OpenAI研究员姚顺雨提出AI发展步入新阶段，下半场关键在评估模型真实智能。新加坡国立大学等团队提出“通才智能”评测框架，剖析多模态大模型短板，推出五级评估体系和测试集，测试结果暴露模型弱点，引发社区积极反响。
Qwen突破：用「并行计算」代替「堆参数」，新方法内存降22倍、延迟降6倍
LLM进化依赖「堆参数」，存在训练成本高、推理慢等问题。论文提出ParScale，用「并行计算」代替「堆参数」，让模型「分头思考」，推理效率提升22倍，旧模型也能改造，落地价值大。
智源技术分享：大模型行业应用新模式和关键实现路径
在 AICon 大会上，智源研究院周华分享大模型行业应用。分析落地问题，提出以大模型为核心的技术路径，涵盖数据、训练等环节，还给出数据生产流程建议，分享最新开源成果。
OpenAI神秘项目曝光：cderGPT，用AI加速药物评估
OpenAI神秘项目cderGPT曝光，用于加速药物评估。FDA局长指出新药上市耗时长且未实现技术现代化，不过目前该项目细节未透露，有人支持用AI辅助审查，也有人担心其可靠性。
以星为舵：LLM的Post-Train与Rest-Time奖励学习综述
这篇论文提出奖励信号像AI的“导航星”，引导模型优化行为。介绍奖励学习概念、来源、形式和策略，阐述其贯穿LLM生命周期的三个阶段，探讨奖励模型设计选择，还提及实际应用、挑战与未来方向。
冷战核废墟变8吉瓦AI超级工厂！黄仁勋押15亿，OpenAI独霸20年
英伟达、OpenAI和软银要将美国俄亥俄州冷战核废墟改造成全球最大AI超级工厂，终极电力规划达8吉瓦。黄仁勋宣布注资、担保，OpenAI签长约，孙正义改造电网，这或成稳赚买卖。
我去，终于找到原因啦，58.4k Star MemPalace，不敢相信！！！！
AI编程中，上下文压缩后易丢失关键信息。MemPalace将对话和资料按原文存本地，按项目和主题精准找回。本文讲清其存储与检索原理、使用场景、注意事项及安装建议。