「FP4训练」共找到 3412 篇相关文章
深度|Karpathy为何突然加入Anthropic,只能当Dario的「-2」?
5月19日,OpenAI联合创始人Andrej Karpathy宣布加入Anthropic预训练团队。他将组建新团队,用Claude加速预训练研究。文章分析了他加入的原因,以及Anthropic招聘他的动机,还指出这一变动标记着技术拐点。
刚刚,Claude 可以主动终止对话了……
Anthropic宣布给Claude Opus 4和4.1赋予主动终止对话能力,这是潜在AI福利探索工作一部分。因用户辱骂或提有害要求时Claude有类似“痛苦”反应,此功能极端情况才用,社区对此看法不一。
从「偶然发现」走向「必然创造」:AI如何重塑生物制造全链路?
2026年1月9日“第四届合成生物学及生物制造大会”上,深圳瑞德林李加忠指出AI4S驱动合成生物学变革,从“经验驱动”变为“数据与逻辑驱动”,并分享瑞德林通过AI4S重塑生物制造全链路的实践。
又一推理新范式:将LLM自身视作「改进操作符」,突破长思维链极限
Meta等机构研究者将LLM视为「思维」改进操作符,探究并行 - 蒸馏 - 精炼(PDR)推理方法。实验显示,PDR在数学任务中提升准确率,还训练8B模型让推理方法更适配,减少训练与部署的不匹配。
谷歌Gemini 3.1新模型深夜掀桌, 每秒狂飙363 token! 1/4价格暴击Claude
谷歌深夜推出Gemini 3.1 Flash-Lite,输出速度363 token/s,价格仅0.25美元/百万Token,跑分碾压GPT-5 mini和Claude 4.5 Haiku。开发者可通过Google AI Studio体验,企业用户可通过Vertex AI接入。
字节开源终身记忆多模态智能体,长时记忆+RL,实测超Gemini‑GPT4o!
字节开源全球首个带终身记忆更新的全多模态智能体M3 - Agent,给其装上‘长期记忆’大脑。它构建实体记忆图谱解决现有Agent问题,架构含两个流程,代码实现有特色,跑分数据出色。
无需标注和奖励模型!仅靠自信度RL,16个样本训练20步,效果飙升21%!
论文提出RLSC,让大语言模型用自身答案置信度作奖励信号,摆脱人类标注依赖。它以模型自信度内部信号替代多数投票外部信号,小成本提升模型数学能力,还让模型学会快推理,不过也存在安全隐忧。
把RoPE扔掉,AI更能看懂长上下文!Transformer作者团队开源大模型预训练新方法
Transformer架构核心作者之一Llion Jones团队开源新技术DroPE,可丢弃位置嵌入扩展上下文,解决RoPE长序列处理缺陷,在多模型实验中表现卓越。该团队来自Sakana AI,此前还有相关研究成果。
马斯克新模型背后算法来自英伟达???
Grok-4-fast降本增效表现出色,其背后或许关联英伟达算法论文。论文推出Jet-Nemotron模型,靠PortNAS框架降本提效,还开源代码。网友猜测Grok-4-fast基于此模型,也有人认为是营销手段。
英伟达发现RL Scaling!创造力暴涨,做基座模型做不了的事!
过去学界争论强化学习(RL)对语言模型的作用,此前研究认为其效果有限。本文发现问题出在训练时间短,提出ProRL,让训练突破2000步以上,结果惊人,小模型也能有出色表现。