搜索：深度学习研究

「深度学习研究」共找到 3481 篇相关文章

这大概是我读过关于AI大模型最全面、好读又易懂的文章了

文章从神经网络入手，介绍其概念、学习过程，进而引出大语言模型，阐述其原理、训练方法，还提及AI浪潮下基础设施及大模型使用方式，如Agent、MCP等，展现神经网络和大模型发展现状与前景。

文章指出Transformer对词顺序不敏感，引出位置嵌入概念。介绍经典的函数编码、可学习位置嵌入法及新主流RoPE，还提及为让模型处理长文本，在RoPE基础上用PI和YaRN等扩窗技巧。

清华和快手团队提出新框架AttnRL，引入注意力机制提升过程监督强化学习效率与性能。它解决传统方法在分支位置选择和采样策略上的效率问题，实验显示在多基准测试中表现优异。

Google DeepMind研究者设计的语言模型，能判断关键单词并进行深度递归计算，通过轻量级“路由器”节省计算资源，在同等训练成本下表现显著优于传统模型，文中还提及其他解决动态算力分配问题的思路。

LLM推理依赖‘思维链’，传统方法在离散token空间生成步骤有信息丢失、多样性不足问题。SoftCoT++在连续空间生成‘软思维’，拆分‘思考’与‘推理’，用专用初始token和对比学习，实验中全面超越传统方法。

香港中文大学10页论文提出新算法RXTX，用于计算矩阵与其转置的乘积XXᵗ。该算法结合机器学习搜索和组合优化技术，能源可节省5%-10%，时间节省5%，对多领域有深远影响。

OpenAI发布自主编码代理Codex，它能独立完成编程任务。与其他工具不同，它是面向任务的，允许并行工作。虽经强化学习微调，代码有“品味”，但有局限，如后续请求处理不佳，未完全集成工程环境。

现在大家爱用代码AI客户端干活，但碰到安全和逆向任务时，AI易懵圈，因工具散落、经验没沉淀。开源项目`reverse-skill`可给AI装“安全研究导航仪”，支持多种AI编码客户端，有诸多功能特性。

ChatGPT正测试“Study Together”新功能，已出现在部分订阅用户工具列表。它或更多提问题让用户答，类似对谷歌LearnLM的回应，有望发挥积极教育作用，减少被滥用可能，也可能支持多人学习小组模式。

人类数学家与AlphaEvolve携手，一周内两次刷新18年未破的数学纪录。先是AlphaEvolve将和差集的θ下界提升，后人类数学家Gerbicz在其基础上再进一步，展现AI与人类协作在数学研究中的惊人潜力。