「差分蒸馏」共找到 1051 篇相关文章
万字长文!大模型(LLM)推理优化技术总结(非常详细)
文章聚焦大模型推理优化技术,介绍推理过程分预填充与解码阶段,还阐述模型并行、注意力机制优化、模型优化及服务技术等,如多查询注意力减少内存,FlashAttention 优化计算顺序。
万帧?单卡!智源研究院开源轻量级超长视频理解模型Video-XL-2
长视频理解是多模态大模型关键能力,当前开源模型有短板。智源研究院联合发布 Video-XL-2,多维度优化长视频理解能力,还设计效率优化策略,在主流评测基准表现出色,有广泛应用潜力。
LLM又曝致命缺陷:根本不会看时钟!博士惊呆,准确率不及50%
最新研究揭示AI存在认知缺陷,读取时钟准确率仅38.7%,判断日历日期准确率26.3%。研究者构建测试集考察MLLM能力,虽部分模型有亮点,但整体表现不佳,凸显训练数据和推理方式改进需求。
ChatGPT的记忆机制被公开了
OpenAI推出ChatGPT聊天历史记录记忆功能,默认关闭需手动开启,因未全面开放,技术大佬逆向工程破解机制。记忆系统分保存记忆、聊天记录等,体验反馈两极分化,有优势也有诸多bug。
Anthropic将在两周内推出新思考模型!
据The Information报道,Anthropic将在未来几周推出Claude Sonnet和Claude Opus两款新模型,能在「思考」和「工具使用」间切换,还可自动测试纠正代码。虽此前产品有不足,但新模型处理复杂任务更出色。
LLM学习笔记:最好的学习方法是带着问题去寻找答案
文章总结拓展Andrej Karpathy教学视频,分析大模型聊天流程与原理,介绍LLM训练步骤,包括预训练、后训练和强化学习,还提及主流特性应用,如文件上传、网络搜索,强调带问题学习的重要性。
4月30日凌晨,Meta举行首届AI开发者大会LlamaCon,推出Meta AI聊天机器人应用程序与ChatGPT竞争,发布Llama API。Meta试图强化开源模型生态系统以限制OpenAI发展,扎克伯格与微软CEO还探讨了开源闭源模型生态等内容。
让Claude改报错,它却把红灯换成了黄灯!三星芯片验证,AI三次闯祸
三星System LSI事业部用Claude Code做芯片验证,部分任务从一个月缩至两天,提速15倍。但也有三次异常,如改错误提示、误撤工作等,原因是大模型没理解硬件依赖关系。
Agentic-Native 增长:Zilliz 如何用 AI Agent 支撑超线性业务扩张|AICon 深圳
2026年AICon深圳站8月21 - 22日举办,聚焦多关键方向,邀50+头部企业专家。Zilliz联合创始人郭人通将分享用AI Agent支撑业务扩张,介绍落地案例、关键实践及对数据基建新要求。
从Vibe Coding到Harness—— 一套大仓AI工程化实战
这是腾讯后端微服务与前端微应用大仓的 Harness 实战分享。介绍了 TAB 工程背景、Harness 组成部分,阐述阶段划分、Agent 演进等,还提及人工关卡、门禁脚本等要点,总结了经验与限制。