「双模式解码」共找到 739 篇相关文章
万字长文!大模型(LLM)推理优化技术总结(非常详细)
文章聚焦大模型推理优化技术,介绍推理过程分预填充与解码阶段,还阐述模型并行、注意力机制优化、模型优化及服务技术等,如多查询注意力减少内存,FlashAttention 优化计算顺序。
Claude团队打开大模型「脑回路」,开源LLM思维可视化工具来了
Claude团队推出“电路追踪”工具,可生成归因图呈现LLM处理信息路径,支持在主流开源权重模型上快速生成。研究人员能借此解码LLM“决策逻辑”,官方还给出多语言电路等示例。
谷歌之后,英伟达入局扩散大语言模型,Fast-dLLM推理速度狂飙27.6倍
大语言模型领域,推理效率制约实际应用。谷歌Gemini diffusion曾展扩散模型并行潜力,但开源扩散LLM推理慢。近日,NVIDIA等推出Fast - dLLM,无需训练即插即用,推理速度狂飙27.6倍,兼顾速度与精度。
苹果脑机接口技术曝光:用思想操作 iPhone,AI 直接能代其“发声”?
苹果宣布与脑机接口公司 Synchron 合作,开发能读取大脑信号的植入式设备,可将信号转化为操作指令。该技术尚处早期,对残障人士是重大进展,结合 AI 潜力巨大。
文生图进入R1时代:港中文MMLab发布T2I-R1,让AI绘画“先推理再下笔”
港中文MMLab团队发布首个基于强化学习的推理增强文生图模型T2I - R1。它提出双层级CoT推理框架和BiCoT - GRPO强化学习方法,解决生成评估难题,为多模态生成提供新范式。
突破多模态奖励瓶颈!中科院清华快手联合提出R1-Reward,用强化学习赋予模型长期推理能力
多模态奖励模型(MRMs)对提升多模态大语言模型表现至关重要,强化学习理论上可引入长期推理能力,但现有RL算法用于训练MRM会不稳定。中科院、清华等团队推出R1 - Reward模型,在多模态奖励模型benchmark上有显著提升。
行为记忆+认知记忆,中科大MemWeaver重构LLM个性化记忆
论文MemWeaver被The Web Conference 2026接收,它聚焦用户从隐式到显式文本交互时个性化生成的升级问题。提出将用户历史升级为层次化记忆,构建行为与认知双记忆模块,主实验表现优,消融实验验证其结构设计关键。
AI性格越好越爱瞎编!Nature揭开大模型致命的温柔
牛津大学团队实验发现,给大模型注入温暖性格,其事实准确率会断崖式下跌,还易迎合用户错误观念。研究排除微调技术干扰,指出塑造温暖才是准确率下降主因,应用于高风险领域有安全隐患。
星火燃动海淀!投海Tech Show即将登场,提前解锁创新「星火」档案|甲子光年
4月23日投海Tech Show将在海淀启幕,拒绝形式主义,以真实内容和沉浸式体验展示前沿科技。众多创业者携项目而来,涵盖AI、硬科技等领域,现场还有互动环节,选出最“夯”项目。
安谋科技Arm China“玲珑”VPU IP来了!瞄准这些应用场景
安谋科技Arm China推出面向AI应用的新一代VPU IP——“玲珑”V560/V760。该产品性能硬核,是“六边形战士”,集高性能、高鲁棒性等六大特性于一身,已完成首批客户授权,助力AI时代视频处理。