「核函数」共找到 186 篇相关文章
告别随机性：Thinking Machines Lab如何实现了LLM推理的完全确定性？
文章指出LLM推理非确定性根源并非GPU并发和浮点非结合性，而是批大小变化致核函数非不变性。作者提出实现批不变操作的策略，实验验证有效，还阐述其对训练、系统可靠性等方面的意义。
AI 顶尖科学家、前 OpenAI 联创 Ilya Sutskever 的 18 个最新思考
这是前OpenAI首席科学家Ilya Sutskever离开OpenAI后的深度访谈。他分享了对LLM研究、实现ASI、研究品味等思考，指出Scaling时代结束，强调‘情感’价值函数等，还回应了创业公司SSI规划。
Karpathy点透AI认知撕裂：顶级圈子正集体患上AI狂热症
人们对AI能力认知差距大，部分人用旧版模型评判AI，而前沿模型进步多在专业领域。付费深度使用前沿模型的人有强烈AI狂热症，技术领域进展得益于奖励函数和企业级应用价值。
OpenAI 开源模型泄露：六大技术细节
OpenAI 可能发布的开源大模型细节泄露，包含两款模型，1200 亿参数 MoE 模型和 200 亿参数稠密模型，专注文本处理。还涉及训练技术、激活函数、上下文窗口、注意力机制及底层架构等方面的技术细节。
AI 基础知识从 0.6 到 0.7—— 彻底拆解深度神经网络训练的五大核心步骤
文章以 PyTorch 手写数字识别代码为引，深入剖析深度神经网络训练的五大核心步骤，涵盖前向传播、计算损失、反向传播、更新参数和循环训练，还介绍激活函数、Dropout 等概念及正则化、优化器等技术。
Ilya尘封10年录音曝光！大二入Hinton门下，竟坦言机器学习反直觉
新智元报道，博主曝光Ilya 2015年谈论深度学习的语音片段。数学出身的Ilya认为机器学习违反直觉，大二与Hinton合作。他指出监督学习是最成功领域，还谈及神经网络目标函数、深度学习追求等观点。
VLM会描述视频，却未必用对参考图：RefCaptioner让参考图与视频语义精准对应
多模态大模型处理多参考图与视频对应关系能力不足。为此提出 RefCaptioner，强化模型对参考图识别感应能力、优化输出格式与奖励函数；还构建 MRVBench 评测基准，实验显示其表现优异。
LLM记忆管理终于不用“手把手教”了，新框架让智能体自主管理记忆系统
加州大学圣地亚哥分校和斯坦福大学研究人员提出强化学习框架Mem-α，用于训练LLM智能体自主管理记忆系统。它将记忆构建转为序列决策问题，采用多维度奖励函数，实验显示其全面超越现有方法。
Scaling时代终结了，Ilya Sutskever刚刚宣布
Ilya Sutskever 在访谈中称「Scaling 时代已终结」，指出当前模型存在能力参差不齐、泛化不足的问题。他认为人类情绪类似价值函数，人类学习效率高。未来 AI 发展将进入研究时代，他还分享了 SSI 战略及对 AI 对齐等问题的看法。
阿里通义开源「推理+搜索」预训练新框架：小模型媲美大模型，多个开放域问答数据集表现显著提升
阿里通义实验室开源通用预训练框架MaskSearch，引入检索增强型掩码预测任务，兼容两种训练方法。实验显示，它在多数据集提升模型性能，小模型能媲美大模型，还验证了训练方式、策略及奖励函数的效果。