「低延迟推理」共找到 2954 篇相关文章
卡帕西8000行代码手搓ChatGPT，成本仅100美元，训练12小时CORE表现超越GPT-2，手把手教程来了
AI大神Andrej Karpathy新作nanochat，用8000行代码、100美元成本纯手搓克隆ChatGPT。它是极简全栈训练/推理pipeline，训练12小时，CORE表现超GPT - 2，还给出快速上手详细指南。
超越ZIP的无损压缩来了！华盛顿大学让大模型成为无损文本压缩器
华盛顿大学SyFI实验室提出LLMc，利用大型语言模型进行无损文本压缩。基准测试显示其压缩率优于传统工具，且项目已开源。不过，当前版本存在效率、吞吐量等问题，应用范围也主要在自然语言。
腾讯混元图像3.0开源榜一，工业级800亿参数可商用，附提示技巧
28日，腾讯开源800亿参数的工业级原生多模态生图模型HunyuanImage 3.0，个人和月活≤1亿公司可免费用。它是全球参数量最大、性能最好的开源图像生成模型，技术强、评估表现优，官方还整理了提示词手册。
Fluss 湖流一体：Lakehouse 架构实时化演进
湖仓一体 Lakehouse 成主流架构，但数据时效性最多达分钟级。阿里云罗宇侠在 QCon 大会分享 Fluss 湖流一体方案，解析技术架构与原理，介绍融合趋势、核心优势、使用方法及未来规划。
超越RAG，DRAG让LLM准确率飙升45.5%，问题越复杂能力越强
RAG技术虽能让LLM检索资料生成答案，但存在短板，听不懂话里有话。DRAG方法应运而生，有DRA和RSC两大法宝，经对比实验，它在多任务上领先，准确率大幅提升，计算开销小。
阿里王牌Agent横扫SOTA，全栈开源力压OpenAI！博士级难题一键搞定
阿里昨晚开源通义DeepResearch，在多项权威基准上表现出色，超越OpenAI、DeepSeek。模型、框架、方案全开源，开发者可在相关平台下载。它告别一问一答模式，像研究员一样工作，还构建了独特数据体系。
提速30倍，Meta重新定义了新一代RAG！
LLM时代，RAG成知识密集型任务标准范式，但处理长上下文时面临延迟高、内存贵问题。Meta超级智能Lab针对RAG特殊结构优化，提出REFRAG框架，有独特训练策略，实验效果显著。
长视频生成可以回头看了！牛津提出「记忆增稳」，速度提升12倍
牛津大学团队提出VMem，把「看过什么」写进几何小片，用基于3D几何的记忆索引替代短窗上下文，实现「一致性更强、资源更省、速度更快」，实测速度比常规管线快约12倍。
首个为具身智能而生的大规模强化学习框架RLinf！清华、北京中关村学院、无问芯穹等重磅开源
人工智能从‘感知’迈向‘行动’，具身智能成焦点。当前强化学习框架对具身智能支持受限，清华等机构联合开源面向具身智能的框架RLinf，提出混合式执行模式，设计灵活可扩展，在多方面表现出色。
谷歌技术报告披露大模型能耗：响应一次相当于微波炉叮一秒
大模型耗电舆论高，谷歌用数据还击。谷歌首席科学家称Gemini能耗低于预期，一年间能耗降至1/33，碳排放降至1/44。谷歌用更全面指标计算能耗，还从多方面优化使Gemini能耗降低。