「并行思维」共找到 510 篇相关文章
大模型是「躲在洞穴里」观察世界? 强化学习大佬「吹哨」提醒LLM致命缺点
加州大学伯克利分校副教授、强化学习大牛Sergey Levine在博客指出,当前大语言模型(LLM)只是对人类大脑和思维的间接「扫描」,如同被困洞穴看人类智慧「投影」,无法代替真正思维。
断网后才发现脑子空空?132页论文实证:「脑腐」或成AI头号内伤
新智元报道,独立研究人员Rénald Gesnot从多维度审视AI对人思维的重塑。研究指出多数人用AI时被「降智」,存在认知卸载、「过滤气泡」、被「洗脑」等问题,还提出前进方向。
ParScale:一种全新的大模型Scaling Law
文章提出并行扩展(ParScale)路线,在不增模型参数下,通过引入并行流提升性能。新扩展定律打破传统范式,两阶段后训练策略降成本,还适用于边缘设备,研究仍在进行。
Claude Code 团队的 10 个内部技巧,但你不一定都要学
Claude Code团队分享10条内部技巧,像并行运行、Plan Mode等。介绍各技巧做法、价值及注意点,如并行运行虽提升效率但非适合所有人,投资CLAUDE.md性价比高,且强调找到适合自己的使用方式。
博士宿舍激情脑暴,革新了Scaling Law?Qwen和浙大联手推出新定律,直接干掉95.5%推理内存!
近日,阿里与浙大合作提出并行计算缩放定律 ParScale,可在不增参数下提升大模型能力,推理效率更高。它通过引入并行流实现,在数学、编程等任务表现佳,适合边缘设备,代码已开源。
24小时快速入门大热语言Rust!学不会来找我
文章从Rust核心语法等基础入手,介绍其不同于其它语言的思维方式,还通过实战项目带读者入门。阐述了安装、工具使用,用greplite小程序介绍语言特点,讲解组织数据方式、所有权等,最后实现mini - redis并给出学习建议。
超越MLA!新架构MLRA百万token,解码最高2.8倍速 | ICLR'26
大语言模型处理长文本时,自回归生成受限于显存带宽。为减少KV缓存开销,业界尝试多种方法,但MLA有缺陷。宾夕法尼亚州立大学等研究人员提出MLRA,拆分KV缓存为四个并行分支,降低显存占用,实现4路张量并行,性能更优。
【博客转载】CUDA Cooperative Groups
文章介绍CUDA cooperative groups,它让开发者创建和管理能同步通信的线程组,为GPU并行算法编程提供更灵活高效方式。文中讨论并行归约算法及用cooperative groups的实现,还对比不同归约求和方法及性能。
为大模型思考装上“猎鹰重装引擎” :腾讯混元 SEAT 重塑深度思考
本文深度解析腾讯混元最新发布的 SEAT 自适应并行扩展推理框架。它让大模型 CoT 升级,应对复杂推理任务。该框架通过多轮并行推理和语义熵导航,解决大模型深度思考的局限,且适配多种大模型,性价比高。
Transformer 中的专家混合模型 (MoE)
文章介绍Transformer中专家混合模型(MoE),它能解决稠密模型扩展瓶颈。阐述其优势,如计算高效、适合并行等,还介绍在transformers库中支持稀疏架构的演进,包括权重加载重构、专家执行后端、专家并行及训练方案。