算法论文7
Meta让Transformer学会‘显式思考’
机器之心
AI 摘要
Meta研究科学家François在新论文中提出Free Transformer架构,通过在解码器内加入随机潜在变量,让模型能‘显式思考’,实验表明其在代码生成、数学题等多任务上性能显著提升。
阅读原文 · 机器之心
八年后,Meta教会了Transformer「显式思考」
10月20日Meta上线新论文《The Free Transformer》,作者François重写Transformer思维方式,造出Free Transformer新架构。它在解码器内加入随机潜在变量,让模型生成内容前先‘思考’,实验显示在多任务上性能显著提升。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
产品应用8
Meta推编码框架,低价换开发者数据
Meta推出Muse Code编码框架及Muse Spark 1.2模型,有不同输入输出、功能和性能表现。提供不同档位价格,贡献者档位低价但数据用于训练。测试显示其单任务成本低,Meta此举或为获取编码训练数据。
DeeplearningAI
算法论文8
COLM三篇论文暴击Transformer祖传设计
COLM 2026上,三篇论文对Transformer关键技术发难。《Cracks in the Foundation》指出长上下文架构选择影响大;《Lost in Backpropagation》揭示输出投影层信息损耗严重;《When Fewer Layers Break More Chains》表明层剪枝影响长链推理。
量子位
新闻资讯7
Manus重独立,通用Agent竞争白热化
8月11日,Manus宣布将恢复独立运营,此前它被Meta收购仅七个月。过去七个月其产品更新频繁,年收入大幅增长。但通用Agent竞争激烈,OpenAI等大厂及创业公司纷纷入局,Manus需做深产品,且重新独立后面临增长考验。
Founder Park
新闻资讯8
2026奇点大会北京将办,Łukasz Kaiser将演讲
2026年,Sam Altman等四位AI界大佬称已进入奇点。11月20 - 21日,奇点智能大会北京站将举行,两大核心会议同期举办。OpenAI资深科学家Łukasz Kaiser将演讲,会议汇聚专家探讨AI前沿与底层技术。
AI科技大本营