「推理能力评测」共找到 5034 篇相关文章
彻底改写Transformer!「能量驱动架构」横空出世,通用推理时代要来了?
UIUC、斯坦福与哈佛联合提出全新「能量驱动Transformer(EBT)」架构,打破「前馈即推理」旧范式,以能量最小化模拟人类思维,训练更高效、推理更精准,在多方面超越传统Transformer。
前 DeepMind 研究员反思:评测,而非算力或数据,才是下一阶段的瓶颈
前 Google DeepMind 高级研究员 Lun Wang 在技术长文中指出,当前主流评测体系滞后,静态基准会“安静失效”。作者主张引入序参量,呼吁构建自演进评测,还为一线工程师提供了研发建议。
AI 编程 2025 总结:国产模型“能力追平”,国产编程工具还在“情感陪伴”
文章总结2025年AI编程发展,指出国产编程模型能力追平、工具与模型开放集成等六大趋势,同时提到AI替代重复劳动、提升核心能力门槛,呼吁2026年关注工程确定性。
一篇综述:知识图谱的3种类型,6大推理任务
知识图谱(KGs)在认知智能系统中作用关键,知识图谱推理(KGR)能基于现有事实推断新知识。文章综述了3种知识图谱类型、6大推理任务,介绍推理方法、应用,还指出KGR面临的挑战与机遇。
深度拆解,硬核解构,揭开vLLM推理系统实现高效吞吐的秘籍
文章深度拆解 vLLM 推理系统,介绍其核心组件和高级特性,包括推理引擎流程、调度机制、高级功能等,还提及系统扩展、分布式部署、性能测量等内容,助力读者理解推理引擎工作原理。
火山引擎 veFuser:面向扩散模型的图像与视频生成推理服务框架
近年来扩散模型在图像和视频生成领域取得突破,但 DiT 模型推理面临计算量大、模型多样、实时性需求等挑战。火山引擎推出 veFuser 推理框架,能在图片和视频生成上实现低延迟、低成本的高质量体验,且未来会持续迭代。
万字长文!大模型(LLM)推理优化技术总结(非常详细)
文章聚焦大模型推理优化技术,介绍推理过程分预填充与解码阶段,还阐述模型并行、注意力机制优化、模型优化及服务技术等,如多查询注意力减少内存,FlashAttention 优化计算顺序。
AI「自我复制」能力曝光!RepliBench警示:大模型正在学会伪造身份
英国AISI推出RepliBench基准评估AI自主复制能力,分解为四大核心能力。测试显示当前AI尚不具备完全自主复制能力,但在部分子任务有进展,研究旨在平衡AI发展与安全,为技术变革导航。
李飞飞的World Labs联手光轮智能,具身智能进入评测驱动时代!
李飞飞旗下World Labs与光轮智能联手,瞄准具身智能「规模化评测」问题。World Labs的Marble是生产力工具,而光轮智能有自研仿真技术体系,双方合作让规模化评测成为可能,具身智能迈入评测驱动时代。
Andrej Karpathy 盛赞!斯坦福团队新作,让Llama-1B 实现毫秒级推理
斯坦福Hazy Research团队将开源模型Llama - 3.2 - 1B前向推理整合为“Megakernel”,把推理延迟大幅降低,显存带宽利用率显著提升。团队指出当前主流LLM推理系统在小batch、极低延迟场景下低效,提出Megakernel以重构执行方式。