「并行循环Transformer」共找到 626 篇相关文章
ParScale:一种全新的大模型Scaling Law
文章提出并行扩展(ParScale)路线,在不增模型参数下,通过引入并行流提升性能。新扩展定律打破传统范式,两阶段后训练策略降成本,还适用于边缘设备,研究仍在进行。
腾讯混元TurboS技术报告首次全公开:560B参数混合Mamba架构,自适应长短链融合
腾讯公开混元TurboS技术报告,该模型是超大型Hybrid Transformer - Mamba架构MoE模型,融合Mamba与Transformer架构优势,有自适应长短思维链机制,激活参数56B。在多评测中表现佳,推理成本低。
Claude强到不敢发的Mythos,被质疑用了字节Seed技术
Claude最强“神话”模型Mythos引发猜测,或用了字节Seed技术。社区热议其是否采用循环语言模型架构,关键线索来自Anthropic测试数据,在图搜索测试中Mythos优势明显,还有其他线索指向循环架构。
Loop Engineering 实战:实现从日志扫描到预发部署的全自主闭环
文章分享 Loop Engineering 实战经验,指出传统维护循环存在看不见、记不住、没闭环问题。介绍了从 Prompt 到 Loop 的四代 AI 工程化范式,阐述 Loop 原理、组件及落地实践,还提及范式迁移和踩坑教训。
全球电池回收技术爆发:中国专利断层式领先,宁德时代子公司排第一
欧洲专利局和国际能源署报告显示,全球电池回收技术创新爆发,循环利用专利增长快。中国在该领域表现突出,宁德时代子公司邦普循环专利领先,且中国掌控矿产精炼与回收两端,不过全球面临缺料挑战。
刚刚,OpenAI Astra核心架构爆出:大模型第三条Scaling法则诞生
The Information记者爆料OpenAI即将推出的Astra模型采用“recurrent depth”新推理方法,该技术能降本提效,但引发AI安全与可观测性担忧。清华与字节论文解决了循环模型“算力不公平”问题,并给出Scaling Law。
Claude Code 团队的 10 个内部技巧,但你不一定都要学
Claude Code团队分享10条内部技巧,像并行运行、Plan Mode等。介绍各技巧做法、价值及注意点,如并行运行虽提升效率但非适合所有人,投资CLAUDE.md性价比高,且强调找到适合自己的使用方式。
博士宿舍激情脑暴,革新了Scaling Law?Qwen和浙大联手推出新定律,直接干掉95.5%推理内存!
近日,阿里与浙大合作提出并行计算缩放定律 ParScale,可在不增参数下提升大模型能力,推理效率更高。它通过引入并行流实现,在数学、编程等任务表现佳,适合边缘设备,代码已开源。
The Batch: 865 | 机器人外科医生的切割与夹闭
约翰·霍普金斯大学等团队开发Hierarchical Surgical Robot Transformer(SRT - H),结合两个transformer模型,通过模仿学习训练,用达芬奇机器人完成胆囊切除关键步骤。虽在体外组织测试表现好,但应对人体手术仍有挑战。
为什么Claude Code 如此好?「以及如何在自己工作流中复刻Claude Code体验」
本文分析Claude Code好用的原因及如何复刻其体验。作者抓包分析其请求后给出要点,如可调试性优先、保持单一循环、LLM搜索优于RAG等,还阐述控制循环、提示词、工具等设计方法。