「在离线混部」共找到 8278 篇相关文章
LLM加速利器LMCache，极大降低GPU资源消耗
LMCache是大语言模型服务引擎扩展组件，能降低首次响应延迟、提升吞吐量，适用于长上下文场景。它将KV缓存存于多级存储，跨服务实例复用任意重复文本的KV缓存，节省GPU算力，与vLLM结合优化显著。
小米模型实现声音理解新SOTA！数据吞吐效率暴增20倍，推理速度快4倍 | 全量开源
小米全量开源MiDashengLM - 7B模型，它基于Xiaomi Dasheng和Qwen2.5 - Omni - 7B Thinker，实现声音理解新SOTA。性能领先，推理效率高，革新训练范式，全栈开源，将赋能多场景。
你和ChatGPT的私密对话正在全网裸奔！网友炸锅：我把ChatGPT当知己，它却把我隐私挂网上
近日，谷歌搜索惊现4500条ChatGPT对话，其中含大量用户深层个人信息。OpenAI称是用户主动分享致索引，将移除该功能并清理。但聊天记录仍在其他搜索引擎现身，引发网友质疑。
别只盯着李飞飞！AI的「3D数据底座」已被这家中国公司悄悄建好
群核科技构建具身智能时代的「3D版ImageNet」，其SpatialVerse平台为机器人提供三维数据与仿真环境。借助新技术发布全球首个3D语义数据集InteriorGS，还与多机构合作，成果获学术和产业认可。
GPT-5将揭示人类的"创造力"其实就是模式识别？
有传言GPT - 5将发布，X上一博主称其或揭示人类‘创造力’是模式识别，引发热议。有人认为创意是碎片重组，也有人坚持创造力不只是模式识别，还需推理等，AI完美识别模式反被困住。
自我进化Agent综述：通往超级智能的进化之路
当前大型语言模型面对新知识、动态环境时存在固定参数瓶颈，自进化智能体研究应运而生。本论文作为该领域首部系统性综述，提出革命性框架，解析自进化智能体技术脉络与未来挑战。
节目预告丨艺术⁺Talk—AI 艺术创作的边界探索
2025年AI融入艺术创作，艺术从业者面临诸多选择。此次Talk将围绕AI对艺术创作主权、表达路径与生存策略的影响展开对话，探讨艺术创作边界，还介绍了嘉宾、直播信息等。
重磅！Meta开源通用神经输入系统！人人可用的非侵入式手环登场
Meta开源通用神经输入系统，用基于手腕的输入技术结合上下文感知AI带来新交互体验。关键技术EMG可读取大脑电信号，将其转成数字命令，系统表现优秀，为“隐形”人机交互奠基。
突破单token预测局限！南洋理工首次将多token预测引入微调，编程任务准确率提升11.67%
当前主流大语言模型依赖下一token预测训练，难理解跨多token完整概念。南洋理工大学提出概念感知微调（CAFT）技术，首次将多token预测引入微调，能让模型理解完整概念，多领域实验显示其可显著提升模型性能。
五倍推理加速，激发自回归潜能，苹果新工作让LLM预测未来
近年来自回归训练方法成语言模型主流范式，但推理阶段计算开销大。苹果研究人员开发框架，让预训练自回归大模型多 token 预测，代码和数学任务推理加速达 5.35 倍，一般任务约 2.5 倍。