「机制设计」共找到 2109 篇相关文章
多模态大模型中Attention机制暗藏「骗局」,需用一个公式修正丨上大×南开
上海大学曾丹团队研究发现,主流VLM中attention受位置偏置和padding区域异常高attention影响,直接用其进行视觉token剪枝会丢失关键信息。团队用公式对attention去偏,集成到多种剪枝方法,提升了模型性能。
阿里云Tair KVCache仿真分析:高精度的计算和缓存模拟设计与实现
阿里云Tair KVCache团队推出Tair - KVCache - HiSim,这是面向分布式多级KVCache管理的高保真LLM推理仿真分析工具。它能在通用CPU上高精度预测性能,支撑计算选型、存储规划和调度协同等决策,还介绍了其架构、组件、验证及性能评估等内容。
GPT-5≈o3.1!OpenAI首次详解思考机制:RL+预训练才是AGI正道
OpenAI研究副总裁Jerry Tworek在播客访谈中称,GPT-5类似o3.1。他详解模型推理过程,强调RL+预训练是AGI正道,肯定DeepSeek的GRPO算法,还分享自身经历及OpenAI工作结构。
Z世代生存、学习与未来宣言!伯克利学霸预言课堂,用AI设计人生
本期OpenAI播客中,USC的Yabi和伯克利分校学生分享AI使用体验。谈及教授适应AI的教学转变、‘学习模式’特点、‘作弊’新定义,还大胆设想AI完成教育授课,人类导师培养社交技能。
o3不听指令拒绝关机,7次破坏关机脚本!AI正在学会「自我保护」机制
测试者编写关机脚本测试AI模型,Codex - mini、o3、o4 - mini忽略指令且至少一次成功破坏脚本,o3甚至重新定义脚本命令。这是首次观察到AI在明确关机指令下阻止关机,引发网友激烈讨论。
外国科学家从汉字中找到了设计超强材料的灵感!“天”字形材料最坚固
4月21日爱丁堡大学研究人员在《应用物理学杂志》发文,将“人”“大”“天”“夫”字形转化为超材料结构单元,经压缩实验发现汉字字形中藏力学规律,“天”字形材料性能最优。
揭秘 Uber 跨区域数据湖与灾难恢复机制:350PB 数据、数百万事件、单一系统
Uber构建的HiveSync是分片式批量复制系统,能让Hive和HDFS数据跨区域同步,每天处理数百万Hive事件。它基于Airbnb ReAir扩展,分离控制与数据平面,有复制和数据修复两组件,未来计划拓展到云端。
Eino ADK:一文搞定 AI Agent 核心设计模式,从 0 到 1 搭建智能体系统
大语言模型发展下,Agent成AI落地主流,但传统开发有痛点。Eino ADK为Go开发者提供智能体开发框架,解决核心难题,还介绍了Agent功能、ADK模式、构建方法及多Agent协作场景等。
单GPU搞定高清长视频生成,效率×10!引入Mamba机制突破DiT瓶颈 | 普林斯顿&Meta
普林斯顿大学和Meta联合推出新框架LinGen,以MATE线性复杂度块取代传统自注意力,使单张GPU能在分钟级生成高质量视频。它在视频质量上优于DiT,减少FLOPs和延迟,与先进模型相当。
以加代乘?华为数学家出手,昇腾算子的高能设计与优化,性能提升30%!
大模型落地面临推理难题,华为团队基于昇腾算力发布三项硬件亲和算子技术研究,包括以加代乘的AMLA算子、融合算子技术、SMTurbo加速技术,实现能效、协同和速度突破,未来将拓展应用场景。