「高效推理框架」共找到 3696 篇相关文章
超低标注需求，实现医学图像分割！UCSD提出三阶段框架GenSeg
GenSeg用AI生成高质量医学图像及对应分割标注，在仅有几十张样本时也能训练出媲美传统深度模型的分割系统，显著降低医生手工标注负担。它是通用、与模型无关的框架，可集成到现有分割模型。
Gemini再揽金牌，力压大学学霸，AI数学推理时代来了！
苏黎世联邦理工学院博士生在大学生国际数学竞赛（IMC）测试了Gemini三种模式，其表现远高于金牌门槛，远超普通大学生。研究人员还从模型输出提取见解，展现了Gemini在数学推理上的优势，凸显AI数学推理能力日益强大。
三个月、零基础手搓一块TPU，能推理能训练，还是开源的
加拿大西安大略大学工程师暑期打造开源 ML 推理、训练芯片 TinyTPU。他们非专业出身，从基础学起。还介绍了造 TPU 原因、硬件知识、构建方法，及推理、训练的实现。
GitHub 狂飙 2.5 万标星，这款「会自愈」的 Python 爬虫框架杀疯了！
GitHub上爆火的Scrapling项目，是自适应Web爬虫框架。它能让爬虫‘学习’和‘适应’，解析器可自动定位元素，请求器能绕过反爬系统，性能强且支持多种会话类型，还能与AI工具集成。
刚刚，Thinking Machines Lab首次发长文，揭开LLM推理不确定性真相
Thinking Machines Lab发长文《克服LLM推理中的不确定性》，指出大语言模型推理不确定性的真正元凶是缺乏批次不变性，还解释核函数计算中数字加法顺序问题，介绍使核具有批次不变性的方法并给出实验结果。
时空压缩！剑桥大学提出注意力机制MTLA：推理加速5倍，显存减至1/8
在大语言模型发展中，Transformer自注意力机制有计算复杂度问题且KV缓存成推理瓶颈。剑桥大学提出MTLA，结合时空压缩策略，提升推理效率，在多任务中表现出色，代码已开源。
0.016%参数撬动18%性能：关键表征微调破解LLM推理瓶颈
大语言模型在推理任务依赖思维链技术，传统PEFT方法需修改大量参数，新兴ReFT虽只需调整少量参数，但存在不足。本文提出CRFT，仅用0.016%参数量就提升性能，为轻量化推理增强开辟新路径。
告别抽卡、散装工具拼凑！通用AI视频智能体框架UniVA开源
在AI视频创作中，创作者常因频繁切换工具而疲惫。近期多所高校联合开源的UniVA框架，像「AI导演」，能整合视频工具，提供一站式自动化体验，改变「抽卡」式创作，还支持多轮交互等功能。
Mira Murati 创业公司首发长文，尝试解决 LLM 推理的不确定性难题
OpenAI前CTO Mira Murati创立的Thinking Machines Lab首发文章《克服LLM推理中的不确定性》，指出大语言模型推理难获可复现结果，深入探究其不确定性根源，提出使核函数具备批次不变性的方法并给出实现与实验。
开源即屠榜！UniME多模态框架登顶MMEB全球训练榜，刷新多项SOTA纪录
格灵深瞳等团队联合发布通用多模态嵌入新框架UniME，刷新MMEB训练榜纪录。它是两阶段框架，经文本判别知识蒸馏和困难负样本增强指令微调，在多任务达SOTA，项目已开源。