「循环Transformer」共找到 386 篇相关文章
开源黑科技！向量数据库，居然要被 MP4 给干掉了！
GitHub开源项目Memvid，能用MP4视频文件替代昂贵的向量数据库，检索达亚秒级。它把文本编码成视频，用配套JSON索引记录位置，结合sentence-transformers和FAISS实现语义搜索，存储和检索性能出色。
林俊旸从阿里离开后首度发声：推理模型的时代快结束了
前通义千问Qwen负责人林俊旸离职后发长文，指出AI正从「推理思考」转向「智能体思考」，分析推理模型发展，谈混合思考模式失败，还提及智能体思考挑战及相关企业、学术界进展。
训练即服务！让模型训练回归算法语义，150行代码跑通RL
ModelScope团队开源Twinkle框架，采用Client - Server架构，支持20余种算法组件。开发者约150行代码就能编排复杂RL训练循环，底层调度等交给框架。它兼顾易用性与灵活性，有多种特点和优势，代码已开源。
DeepMind新论文炸锅：AI全自动进化算法，写出专家都想不到的解，网友：这可能就是“王牌”
谷歌DeepMind让LLM驱动的智能体AlphaEvolve改写、进化算法代码。选定CFR、PSRO框架，只开放关键决策逻辑给LLM，通过生成、运行、评估、筛选循环，进化出VAD - CFR和SHOR - PSRO算法，表现超人类手工版本。
Kimi开源新线性注意力架构，首次超越全注意力模型，推理速度暴涨6倍
月之暗面发布开源Kimi Linear架构，用新注意力机制首次超越全注意力模型。长上下文任务中，它减少75%的KV缓存需求，推理加速达6倍。核心创新Kimi Delta Attention有细粒度遗忘门控等特点。
谢赛宁新作：VAE退役，RAE当立
谢赛宁团队研究表明VAE时代结束，RAE将接力。RAE是用于扩散Transformer训练的新型自动编码器，能提供高质量重建结果，有语义丰富潜空间，支持可扩展架构，收敛快，在ImageNet图像生成效果强劲。
当下的 AI 产品：有 revenue，但不是 recurring 的
当下AI创企有收入但非经常性，ARR指标被扭曲。因定价权在巨头手里，传统SaaS的ARR已不适用。初创生态封闭循环，未来ARR可能不再是评估方式，新指标或聚焦留存率等。
“iFold”，苹果AI新成果
苹果发布基于流匹配的蛋白质折叠模型SimpleFold，被戏称“iFold”。它用通用Transformer模块搭配流匹配生成范式，3B参数版本追平谷歌AlphaFold2性能，还解决了传统模型算力依赖问题，效率高。
谷歌深夜打假！27页论文全公开，揭秘Gemini如何碾压OpenAI，拿下IMO真金牌
OpenAI高调庆祝自家模型获IMO金牌，谷歌DeepMind携官方认证和27页论文官宣Gemini碾压夺金。谷歌公开解题方法论，介绍三步思考法及相关Prompt，还对比批评了OpenAI的做法。
基于闪电注意力机制，创新高效开源大模型
传统Transformer架构处理长文本和复杂推理任务有效率瓶颈，多数领先模型仍依赖传统注意力设计。MiniMax开源基于闪电注意力机制的专家混合模型Minimax，从架构、创新模块、训练框架等多方面优化，表现突出。