「三阶段架构」共找到 3130 篇相关文章
当SFT遇上RL:基于样本学习阶段的动态策略优化机制
在大模型推理能力增强研究中,SFT和RL两种后训练范式难有效融合。研究团队提出DYPO动态策略优化方法,先判断样本学习阶段再匹配优化路径,在多场景实验中表现出色,不过有实验边界。
「有望成为Transformer杀手」,谷歌DeepMind新架构MoR实现两倍推理速度
谷歌DeepMind发布新架构MoR,有望成Transformer杀手。它统一实现参数共享、自适应计算,兼顾性能与效率。实验显示其推理吞吐量提升,降低计算需求,但能否取代Transformer存疑。
Physical Intelligence联创最新访谈:机器人尚未进入可预测的Scaling阶段
2024年末PI实验室测试,机器人表现有惊喜也有“语义上说得通的错误”。联创Levine在访谈中认为,机器人未到可预测Scaling阶段,还在确定规模化技术路径,也谈到数据、泛化、可靠性等问题。
Slack 淘汰 SSH:700+ EMR 作业迁移至基于 REST 的调度架构
Slack 完成大规模数据平台改造,将 Amazon EMR 数据处理流程中 SSH 作业执行模式替换为基于 REST API 的统一调度架构,移除对生产集群的直接 SSH 访问,迁移 700 多个 Airflow Operator,解决了安全、运维等问题。
VLA统一架构新突破:自回归世界模型引领具身智能
北京智源研究院联合中科院自动化所提出 UniVLA 全新 VLA 模型架构,基于全离散、自回归机制建模多模态信号,后训练引入世界模型。它刷新多项基准纪录,在真机操控和自动驾驶有潜力,为多模态感知决策融合带来新思路。
评论赠书 | CXL抢跑AI算力新战场,未来计算架构激发智算生产力
AI时代传统架构局限性凸显,CXL技术应运而生。它由英特尔等公司联合推出,解决内存鸿沟问题。‘2024 CXL技术创新方案大赛’推动其发展,《CXL体系结构》一书全面介绍该技术。
爆火的AI三宫格图片,比我们的生活更像电影。
最近三宫格AI图片爆火,起初是唯美电影感写真配文艺台词,后各地文旅、宠物赛道等画风渐趋抽象。其制作简单,用豆包的Seedream 4.0即可,文中还给出Prompt模板,该现象内核是将生活电影化。
《动手写AI Agent》多模型适配:一套代码跑通三家 LLM
上一章用火山引擎豆包 API 写了能跑的 Agent,但换模型重写代码会混乱。本章用 Adapter 模式解决问题,介绍火山引擎、Claude、OpenAI 三家 API 关键差异,还分析了 Claude 工具调用格式特殊之处。
彻底改写Transformer!「能量驱动架构」横空出世,通用推理时代要来了?
UIUC、斯坦福与哈佛联合提出全新「能量驱动Transformer(EBT)」架构,打破「前馈即推理」旧范式,以能量最小化模拟人类思维,训练更高效、推理更精准,在多方面超越传统Transformer。
Qwen3-Next全新架构,32K场景MTP吞吐提升10倍
随着模型大小和上下文长度增加,为应对成本和部署挑战,Qwen3 - Next有突破性架构创新,解决上下文长度和总参数缩放问题。它采用混合注意力、超稀疏MoE等,MTP机制让其长上下文推理吞吐量比前身高10倍以上。