「计算量降低」共找到 2034 篇相关文章
万字长文!大模型(LLM)推理优化技术总结(非常详细)
文章聚焦大模型推理优化技术,介绍推理过程分预填充与解码阶段,还阐述模型并行、注意力机制优化、模型优化及服务技术等,如多查询注意力减少内存,FlashAttention 优化计算顺序。
Google一口气发了多少东西?I/O 2026完整梳理
Google I/O 2026发布会成果丰硕。token处理量大幅增长,13款产品月活超10亿。对话式AI融入多产品,基础设施投入增至约1800亿美元。还发布新模型、平台及工具,构建从芯片到应用的Agent体系。
100万亿Token看懵硅谷!全球一半算力写代码,另一半在「搞颜色」 ?
OpenRouter和a16z联合发布报告,基于100万亿Token实证数据揭秘2025年AI发展。开源模型流量占比达30%,推理模型成主流,编程和角色扮演是主要使用场景,亚洲付费使用量翻倍,中文成全球第二大交互语言。
从少样本到千样本!MachineLearningLM给大模型上下文学习装上「机器学习引擎」
新研究 MachineLearningLM 提出轻量可移植「继续预训练」框架,突破 LLM 在上下文学习局限,能学上千示例,在多领域分类任务超基准模型。它有三项核心创新,效果惊艳且应用潜力大,还指明未来研究方向。
浙大联手字节:开源大规模指令跟随视频编辑数据集OpenVE-3M
浙江大学与字节跳动合作,提出大规模指令跟随视频编辑数据集 OpenVE-3M,有 3M 样本对。还提出数据构造管线、编辑模型 OpenVE-Edit 及评测集 OpenVE-Bench,小参数量下超越现有开源模型。
字节Seed团队发布循环语言模型Ouro,在预训练阶段直接「思考」,Bengio署名
现代LLM依赖显式文本生成训练“思考”,未充分挖掘预训练数据潜力。字节Seed团队联合多家机构推出循环语言模型Ouro,将推理能力构建到预训练阶段,实现参数效率提升,还降低了有害性。
n8n官方推出AI工作流生成器,用自然语言构建工作流
n8n官方推出AI Workflow Builder,可将文字提示转成可执行工作流,本周向n8n Cloud用户推送。该功能降低构建门槛,但易用性提升也带来新挑战,其是否沦为‘面向VC’功能待验证。
长上下文不再难:KV Cache 全生命周期优化实战
长上下文大语言模型发展带来计算和内存挑战,现有基准测试多忽视 KV 缓存完整生命周期。微软姜慧强在 AICon2025 分享 SCBench 工具,梳理推理优化方法,介绍 MInference 等,还提出 Tri - shape 方法等成果。
震撼,马斯克联手老黄扔出星际大脑!AI算力中心射上天
SpaceX财报公布,携手英伟达推出轨道AI计算网络Starmind,将AI算力底座搬至太空,解决耗电与散热问题,还介绍了其卫星、优势及马斯克建造太空AI大脑的计划和野心。
从 SQL 到自然语言,下一代 Lakehouse 为何必须「AI 优先」
随着大模型技术爆发,数据分析范式重构,未来数据多模态、分析复杂、查询方式转变。文章指出构建下一代 AI-First Lakehouse,要在存储计算、内核能力、架构适配、平台自治等方面升级,打破数据壁垒。