「小模型性能」共找到 8984 篇相关文章
OpenAI 开源模型泄露:六大技术细节
OpenAI 可能发布的开源大模型细节泄露,包含两款模型,1200 亿参数 MoE 模型和 200 亿参数稠密模型,专注文本处理。还涉及训练技术、激活函数、上下文窗口、注意力机制及底层架构等方面的技术细节。
黄仁勋率先开源量子AI大模型
英伟达推出全球首个开源量子AI模型家族NVIDIA Ising,含校准和纠错模型。它简化对复杂物理系统的理解,为量子纠错和校准提供高性能工具,有望加速量子系统实用化。
迈向可编程观测:在GPU Kernel中构建类eBPF风格的性能探针
文章从CUDA基础讲起,以矩阵乘法为例介绍性能调优,再到PTX汇编知识,最后引入Neutrino框架构建可编程GPU性能探针。展示了GPU Kernel性能分析从宏观到微观的技术演进,提供新分析视角。
云计算一哥首度牵手OpenAI,大模型「选择」自由,才是终极胜利
亚马逊云科技宣布通过两大平台支持OpenAI新开源模型,还上线Anthropic最新模型Claude Opus 4.1。其早有战略布局,两大平台汇聚400+模型,践行‘选择大于一切’理念,满足多样需求,打造AI生态。
万字长文!大模型(LLM)推理优化技术总结(非常详细)
文章聚焦大模型推理优化技术,介绍推理过程分预填充与解码阶段,还阐述模型并行、注意力机制优化、模型优化及服务技术等,如多查询注意力减少内存,FlashAttention 优化计算顺序。
谷歌向左、李飞飞往右,阿里世界模型「快乐生蚝」杀出第三条路
阿里推出世界模型HappyOyster(快乐生蚝),基于原生多模态架构,有漫游和导演两大核心功能,可实时构建和交互。与文生视频模型不同,它能随时被干预。虽世界模型尚处早期,但应用场景广泛。
当世界模型不止「视频」该如何评估?WorldLens提出实用化评估新框架
生成式世界模型在多领域进展显著,但评估存在局限。WorldBench 团队构建 WorldLens 评测框架,从五个维度评测开源世界模型,其评测 EvalKit 已公开,可暴露模型能力边界与失效模式。
豆包也开始抢程序员饭碗了,首个编程模型来了!
字节给豆包升级编程能力,推出首款编程模型Doubao - Seed - Code。它刷新国内编程模型上下文长度,支持视觉理解,API价格良心。经测试,虽未达全球顶尖,但弥补国产编程模型短板。
斯坦福英伟达推出测试时强化学习:微调开源模型胜过顶级闭源模型,仅需几百美元
斯坦福、英伟达等提出TTT - Discover方法,基于开源模型gpt - oss - 120b,在测试阶段引入强化学习更新模型权重。它采用熵目标函数和PUCT启发机制,解决分布外问题,成本低且表现优,但目前适用于连续奖励场景。
模型宣称的“百万字处理能力”是真本事,还是营销噱头?LongCodeBench揭露真相
近年来大模型号称有百万字处理能力,但这是真本事还是噱头存疑。论文用LongCodeBench测评工具揭开长上下文模型真实表现,测试顶尖模型发现长文本能力‘翻车’,还分析了长上下文难的原因及面临的瓶颈。