搜索：秘塔深度研究

「秘塔深度研究」共找到 2507 篇相关文章

Andrew Karpathy最新访谈：RL很糟糕、人类学习和教育、智能和文化的演变、AGI还要十年，将带来2%的GDP增长

Dwarkesh Patel 播客对 Andrej Karpathy 进行深度访谈。他认为 AGI 还需十年，目前算法有缺陷；强化学习虽有问题但必要；分析了 LLM 局限，探讨人类学习机制、AGI 经济影响等多方面内容。

谢赛宁团队研究表明VAE时代结束，RAE将接力。RAE是用于扩散Transformer训练的新型自动编码器，能提供高质量重建结果，有语义丰富潜空间，支持可扩展架构，收敛快，在ImageNet图像生成效果强劲。

文章围绕AGI展开，介绍AGI路线图第二阶段“游戏即训练”，指出游戏是训练agent的理想环境；还提及Dreamer系列研究进展。同时涵盖本周市场动态、多家公司AI动态及ETF复制指数的方法、优劣和影响。

当前微调大语言模型成本高、不灵活，‘上下文适应’方法有短板。斯坦福大学等提出ACE框架，将上下文变为动态‘战术手册’，解决现有问题。论文通过实验验证其在性能、成本和效率上优势，为大模型发展指明新方向。

tRPC是腾讯内部覆盖最广的RPC开发框架，tRPC-Go使用最广。2023年起LLM发展迅速，Agent开发框架成重要基础设施。tRPC-Agent-Go集成LLM等，支持创建多种Agent，为开发者提供构建智能应用的完整技术栈。

该论文通过对比学习理清潜在输入特征与目标输出的关联性，提出输出驱动的输入特征构造方法。所构造特征在高维代理模型构建中增强效果显著，还可减少预测误差分布及不同模型收敛性和鲁棒性差异。

谷歌DeepMind研究团队发表论文提出生成式数据精炼（GDR）方法，不直接生成新数据，而是用大模型净化原始数据，保留有用信息。该方法能解决数据枯竭、隐私等问题，实验显示效果良好。

苹果又失去四名AI研究员，其中机器人研究小组首席AI研究员Jian Zhang跳槽到Meta，基础模型团队三人分别去OpenAI和Anthropic。苹果AI进展不顺，此前已有6人跳槽，离职潮预计还会持续。

这篇文章解读论文Memory - R1，其由多所高校研究团队完成，旨在解决LLM在长对话和多轮任务中的‘记忆难题’。通过强化学习让LLM学会管理记忆，用152个问答对训练，大幅超越现有基线模型。

该论文首次系统性研究注意力头在LLM安全中的作用，提出Ships和Sahara方法，在极少参数改动下显著降低模型安全性，发现不同模型安全头高度重叠，为理解模型安全机制提供新视角。