「预训练框架」共找到 3486 篇相关文章
林俊旸从阿里离开后首度发声:推理模型的时代快结束了
前通义千问Qwen负责人林俊旸离职后发长文,指出AI正从「推理思考」转向「智能体思考」,分析推理模型发展,谈混合思考模式失败,还提及智能体思考挑战及相关企业、学术界进展。
击败Meta登榜首:推理增强的文档排序模型ReasonRank来了
本文第一作者刘文涵聚焦AI搜索研究。提出推理增强的文档排序模型ReasonRank,在多个榜单击败多校和机构登榜首,其7B版本超越32B模型,论文获Huggingface paper日榜第一。还介绍研究动机、方法及实验结果等。
写顶会LaTeX论文的门槛彻底被谷歌PaperOrchestra打下来了~
谷歌推出多智能体协作框架PaperOrchestra,能将非结构化研究素材转化为符合顶会要求的LaTeX投稿论文。它解决了现有自动化研究框架在论文写作环节的问题,实验显示全面超越现有基线。
刚刚!北大校友Lilian Weng最新博客来了:Why We Think
北大校友Lilian Weng更新博客《Why We Think》,回顾利用测试时计算的研究进展,探讨让模型“思考更久”的方法。文中介绍了思维链、潜变量建模等策略,还提及多种提升生成质量的策略,如并行采样与序列修订,以及强化学习提升推理能力等内容。
LangChain Memory 太弱?试试用 MemOS 构建 Agent 专属的“记忆图谱”。
文章聚焦 MemOS 开源框架,深入体验其记忆“图谱”能力,探讨将它集成到基于 LangChain1.x 框架构建的智能体的方法。介绍了基于记忆“图谱”构建 ChatBot、体验记忆“图谱”自动重组,以及集成到 LangChain 智能体等内容。
中学生就能看懂:从零开始理解LLM内部原理【十】| “过拟合” 与 Dropout
文章围绕神经网络过拟合问题展开,介绍了过拟合的概念、危害及产生原因,阐述了缓解过拟合的正则化方法,重点介绍了Dropout随机失活,还指出其局限性及在大模型中的应用策略。
秋招超强助攻:零基础1小时上手GPT微调!全流程教程免费开源
新一年秋招季,岗位对AI能力要求提升。OpenAI发布新开源大模型GPT - OSS,博主Lorentz Yeung开源本地部署和微调训练GPT - OSS的教程,助零基础者上手,还介绍环境搭建、代码和训练前后效果对比。
这些大神在Meta的论文看一篇少一篇了
田渊栋团队剖析可验证奖励强化学习(RLVR)训练动态,戳破参数更新稀疏误区,提出三门理论说明其参数更新定位机制,还为RL训练算法设计提供指导,指出SFT时代参数高效微调方法在RLVR中迁移效果差。
管你模型多大,250份有毒文档统统放倒,Anthropic:LLM比想象中脆弱
Anthropic等联合研究打破传统观念,只需250份恶意文档就能在参数规模从6亿到130亿的LLM中植入后门,且与模型规模及训练数据量无关。研究还测试了特定后门攻击,评估了多种训练配置。
更高智商更快思考!蚂蚁开源最新万亿语言模型,多项复杂推理SOTA
蚂蚁正式发布拥有万亿参数的通用语言模型Ling-1T,超越多个开源和闭源模型,在多项复杂推理基准中取得SOTA表现。它推理和代码能力强,研发采用‘中训练+后训练’,还提出新奖励机制和LPO方法。