搜索：并行循环Transformer

「并行循环Transformer」共找到 616 篇相关文章

扎克伯格发文正式告别“默认开源”！网友：只剩中国 DeepSeek、通义和 Mistral 还在撑场面

Meta 首席执行官扎克伯格分享“个人超级智能”愿景，透露公司调整 AI 模型发布策略。此前 Meta 强调开源优势，如今态度转变，巨额投入后或暂停开源新模型，计划并行训练开源与闭源模型。

文章指出Transformer对词顺序不敏感，引出位置嵌入概念。介绍经典的函数编码、可学习位置嵌入法及新主流RoPE，还提及为让模型处理长文本，在RoPE基础上用PI和YaRN等扩窗技巧。

投资人Deedy Das总结了估值最高的15家AI初创企业情况，OpenAI等霸榜。部分零收入企业估值惊人，AI行业或现泡沫，还存在烧钱循环，微软选择与新兴云服务商合作转嫁风险。

OpenAI发布自主编码代理Codex，它能独立完成编程任务。与其他工具不同，它是面向任务的，允许并行工作。虽经强化学习微调，代码有“品味”，但有局限，如后续请求处理不佳，未完全集成工程环境。

AionUi是本地优先、开源免费的AI Cowork平台，将散落终端的命令行AI工具统一到图形界面。它兼容主流工具，有统一平台、多工具支持等特点，还具备多任务并行等核心能力，适合多Code Agent用户。

《Loop Engineering橙皮书》发布，免费开源。Loop Engineering概念由多人共同推动，它是在提示词、上下文、缰绳工程基础上更进一步。文中介绍了循环的动作、零件，Claude Code的相关命令，也指出新手实践的坑。

Claude Code 创始人 Boris Cherny 分享内部团队使用 Claude Code 的十大技巧，包括并行处理任务、用‘计划模式’启动复杂任务、投资 CLAUDE.md 文件等，还给出各技巧的具体操作方法及相关文档链接。

业界对让 Agent 长时间运行、执行复杂任务无共识。最近 Cursor 和 Anthropic 分享实践，思路不同。Cursor 用多 Agent 并行执行长时任务，Anthropic 解决单个 Agent 跨工作周期的记忆连续性问题。

DeepSeek最新论文给Transformer加上“条件记忆”，补上原生知识查找机制。梁文锋署名，与北大团队合作。提出全新范式及Engram模块，解决传统N - gram问题，研究稀疏性分配，验证推理能力提升，兼顾工程优化。

Multi Agent应用有望成大模型应用范式，但Cognition AI团队认为2025年追求多智能体并行协作架构是歧途，存在信息孤岛和决策冲突问题。主张采用单线程线性架构与上下文工程。