「强化预训练」共找到 2553 篇相关文章
Hinton与姚期智对谈：认为人类的意识特殊，那是危险的无稽之谈
图灵奖得主Geoffery Hinton与姚期智对谈AI相关话题。Hinton认为人脑可给AI借鉴，还探讨人类未来与AI道德，强调训练善良AI重要；他觉得大模型有理解能力，将人类意识特殊化是危险无稽之谈。
Transformers v5 中的分词系统：更简洁、更清晰、更模块化
文章聚焦 Transformers v5 分词系统，介绍分词概念、流程、主流算法，对比 transformers 和 tokenizers 库。着重讲 v5 改进，如架构与词表分离，解决 v4 黑盒问题，还能从零训练专属分词器。
毕树超入职Meta后首发声：十年前怀疑AGI，如今深信AGI已至！
Meta超级智能团队成员毕树超回溯70年AI进化，称多数人低估AI影响，从怀疑到深信AGI已至。他阐述技术进展、难题与趋势，分享研究心路，回顾自监督学习、强化学习等发展，打破诸多机器学习误解。
Anthropic 在 Claude 内部发现"全局工作空间"，可以直接读取模型没说出口的想法
Anthropic发布研究，在Claude内部发现J - space（雅可比空间），即“全局工作空间”，它在训练中自发形成。用雅可比透镜技术可读取其内容，还验证了其功能属性，可用于对齐审计等。
jina-reranker-v3刷新全球重排榜，效率狂飙4.79%
jina-reranker-v3作为LLM时代向量模型，提出“最后但不晚”交互机制，解决文档检索效率与效果权衡、多语言文档重排性能与效率平衡、模型泛化能力和适应性等问题，架构与训练方案有创新。
攻克大模型训推差异难题，蚂蚁开源新一代推理模型Ring-flash-2.0
9月19日，蚂蚁百灵大模型团队开源新一代推理模型Ring-flash-2.0，独创棒冰算法解决训推差异难题，实现稳定训练。该模型仅激活6.1B参数就能打平40B Dense模型性能，降低推理成本。
我们开源了一个可以降低 AIGC 率的模型
毕业季学校查 AI 率，作者为降 AIGC 率，经尝试不同路径后训练出模型。介绍训练数据和过程，包括 SFT、DPO 各阶段，展示改写效果，还开源模型和数据，最后引发对教育检测的思考。
一篇被证明“理论有误”的论文，拿下了ICML2025时间检验奖
2015年发表的Batch Normalization论文在ICML 2025会议获时间检验奖。它引用超6万次，推动了深层神经网络发展。虽2018年被指理论有误，但仍有新研究发现其对训练过程的根本影响。
中国具身模型狂揽全球第一！机器人的人类数据时代来了
00后带队的灵初智能用近10万小时人类数据拆解具身智能，1000小时数据开源。其发布Psi-R2和Psi-W0双系统架构，让Psi-R2登顶MolmoSpace榜单。灵初认为纯人类数据训练必要，还强调开源对具身智能落地重要。
小目标检测难点分析和解决策略
文章基于24年综述论文，分析小目标检测难点，如特征不足、难区分背景等，还给出主流改进方法，涉及数据增强、特征提取、特征融合、损失函数、训练策略等方面，介绍多种算法及效果。