搜索：整流流Transformer

「整流流Transformer」共找到 386 篇相关文章

腾讯混元 TurboS 技术报告首次全公开：560B 参数混合 Mamba 架构，自适应长短链融合

日前腾讯混元 TurboS 技术报告全公开。它是超大型 Hybrid Transformer - Mamba 架构 MoE 模型，有自适应长短思维链机制，总参 560B。在多榜单成绩亮眼，多语种和多任务处理能力强，还介绍了核心创新、训练策略等。

RockAI创始人刘凡平在量子位MEET2026大会提出，AI下一阶段要让模型“活起来”，实现硬件觉醒。他认为为Token付费愚蠢，应关注端侧智能，突破Transformer和反向传播算法，群体智能是迈向通用人工智能新路径。

大型语言模型在多步推理任务中受挫，因Transformer架构有计算深度限制。本文建立提示设计理论框架，揭示提示是信息选择器，优化提示可使推理性能提升超50%，将提示设计从试错艺术变为可计算科学。

文章详细拆解从0开发大模型的17种Agent架构演进，介绍各架构解决的问题、状态、拓扑、路由、失败模式等，指出Agent架构本质是控制流设计，还给出架构选择建议及判断新架构的方法。

文章整理了AI优质信息源，介绍Twitter在AI浪潮中的重要性及筛选优质信息流方法，还列举知乎、B站等平台，以及资讯平台、网站、播客、博客等资源，给出挑选标准和了解领域的技巧。

小米曾在2017年澎湃S1铩羽而归，2021年重启手机SoC设计研发。此次玄戒O1一次流片成功后回片，表现超预期。文章分析了小米此前失败教训，介绍其芯片战略，还谈及产业特点与小米面临的挑战。

在《Dwarkesh Podcast》访谈中，AI大佬Andrej Karpathy谈AI核心问题。他认为「智能体元年」说法过度，真正能用要十年；AGI也需十年，未来十年AI架构或基于Transformer；还分析了大模型、强化学习等现状与问题。

AI算力供需失衡致数据中心能耗激增，传统电芯片性能提升放缓。光本位科技由两位95后创立，2024年6月流片全球首颗128×128矩阵规模光计算芯片，推动光计算商业化，正布局产品商用。

视频编辑门槛高、现有方法开销大且效果不佳。西湖大学AGI Lab团队提出无需训练的FlowDirector框架，可将基于流的视频生成模型改造成编辑工具，质量高、功能广、开销低，解决了时序、结构和编辑幅度问题。

马斯克将xAI变成「算力包租公」，租数万GPU给Cursor训练模型，还挖来Cursor高管。同时，特斯拉AI5芯片流片成功，AI6也有规划，Dojo 3项目重启，他正用「硬件思维」重塑AI竞争格局。