万字长文！大模型(LLM)推理优化技术总结（非常详细）

文章聚焦大模型推理优化技术，介绍推理过程分预填充与解码阶段，还阐述模型并行、注意力机制优化、模型优化及服务技术等，如多查询注意力减少内存，FlashAttention 优化计算顺序。

1万4颗星！机械臂可以接大模型了！面向真实世界机器人的尖端人工智能LeRobot

LeRobot 为 PyTorch 中真实世界机器人提供模型、数据集和工具，降低入门门槛。包含尖端方法，已提供预训练模型等，未来将增加真实机器人支持，文中还介绍其安装、使用等内容。

Claude团队打开大模型「脑回路」，开源LLM思维可视化工具来了

Claude团队推出“电路追踪”工具，可生成归因图呈现LLM处理信息路径，支持在主流开源权重模型上快速生成。研究人员能借此解码LLM“决策逻辑”，官方还给出多语言电路等示例。

谷歌之后，英伟达入局扩散大语言模型，Fast-dLLM推理速度狂飙27.6倍

大语言模型领域，推理效率制约实际应用。谷歌Gemini diffusion曾展扩散模型并行潜力，但开源扩散LLM推理慢。近日，NVIDIA等推出Fast - dLLM，无需训练即插即用，推理速度狂飙27.6倍，兼顾速度与精度。

博士宿舍激情脑暴，革新了Scaling Law？Qwen和浙大联手推出新定律，直接干掉95.5%推理内存！

近日，阿里与浙大合作提出并行计算缩放定律 ParScale，可在不增参数下提升大模型能力，推理效率更高。它通过引入并行流实现，在数学、编程等任务表现佳，适合边缘设备，代码已开源。

九成以上模型止步白银段位，只有3个铂金！通用AI下半场评测标准来了

OpenAI研究员姚顺雨提出AI发展步入新阶段，下半场关键在评估模型真实智能。新加坡国立大学等团队提出“通才智能”评测框架，剖析多模态大模型短板，推出五级评估体系和测试集，测试结果暴露模型弱点，引发社区积极反响。

AI大佬教你如何中顶会：写论文也要关注「叙事」

NeurIPS投稿截止不到一月，Google DeepMind的Neel Nanda发布机器学习论文撰写指南，旨在解决论文表达晦涩问题。指南涵盖理想论文精髓、写作关键要素、结构解析、流程建议及常见问题应对策略。

突破多模态奖励瓶颈！中科院清华快手联合提出R1-Reward，用强化学习赋予模型长期推理能力

多模态奖励模型（MRMs）对提升多模态大语言模型表现至关重要，强化学习理论上可引入长期推理能力，但现有RL算法用于训练MRM会不稳定。中科院、清华等团队推出R1 - Reward模型，在多模态奖励模型benchmark上有显著提升。

我是如何破解 NotebookLM 系统提示词的？

作者分享通过“逆向推理”破解NotebookLM系统提示词的故事，介绍系统提示词概念、破解原因、策略及从播客音频逆推提示词的方法，还提到该方法的效果及局限性 。

4月30日凌晨，Meta举行首届AI开发者大会LlamaCon，推出Meta AI聊天机器人应用程序与ChatGPT竞争，发布Llama API。Meta试图强化开源模型生态系统以限制OpenAI发展，扎克伯格与微软CEO还探讨了开源闭源模型生态等内容。