卡帕西点赞Transformer内置计算机！每秒3万Token吞吐，拿下世界最难数独

当前大模型推理顶尖但精确计算不足，Percepta团队在Transformer权重里内嵌可执行程序，通过2维注意力头设计提升推理效率，能在普通CPU上实现每秒3万+Token的流式输出，还精确求解了世界最难数独。

刚刚，英伟达祭出下一代GPU！狂飙百万token巨兽，投1亿爆赚50亿

昨天，英伟达发布专为海量上下文AI打造的CUDA GPU——Rubin CPX，将大模型推理带入「百万Token时代」。它性能强大，能带来高回报，可重写推理经济，还将得到英伟达全栈AI生态支持，预计2026年底可用。

CVPR 2026 | ReFTA：打破张量化PEFT的「权重重建」瓶颈

随着大模型发展，全参数微调成本高，参数高效微调（PEFT）成主流。常见基于矩阵低秩分解的PEFT方法有局限，张量化PEFT虽有优势但存在权重重建问题。本文提出ReFTA方法解决该问题，有工程和理论优势。

总成本降低30倍，告别昂贵后训练，在线策略蒸馏敲开大模型后训练的未来

明星公司Thinking Machines由前OpenAI首席技术官联合创立，其研究团队提出在线策略蒸馏的LLM后训练方法。该方法结合在线策略训练与蒸馏优势，解决后训练两难困境，成本降30倍，还为持续学习和个性化打开新大门。

仅隔一天，OpenAI同步上线o3和o4 mini，它们能调用ChatGPT里的多种工具，可基于图像思考。o3是强大推理模型，o4-mini专为快速经济推理优化。即日起部分会员可体验，还开源了Codex CLI。

杀疯了！单卡4090跑通全量微调，面壁1B级多模态性能怪兽硬刚大厂

面壁智能推出MiniCPM-V 4.6，参数约1B，性能和推理效率出色。它在多模态任务综合能力、推理速度上领先竞品，靠ViT架构改造和4倍/16倍混合视觉Token压缩实现创新，有工业验证，对开发者和普通用户意义大。

RAG技巧与底层代码剖析

文章深入剖析 RAG 技巧与底层代码，从用 Python 基础库构建 RAG 系统，到多种优化方法如上下文增强检索、添加上下文块标题等，还涉及查询改写、重排序等技术，最后介绍了上下文压缩、反馈机制等提升系统效率和质量的方法。

社区供稿丨Jina-VLM：可在笔记本上跑的多语言视觉小模型

Jina AI发布2.4B参数量的视觉语言模型Jina - VLM，在多语言视觉问答任务达SOTA。它引入注意力池化，连接视觉与语言基座，处理问答等任务，对硬件要求低，多项测试表现优，还介绍架构、训练策略和上手方式。

第二代InfLLM开源，同尺寸快三倍！零参数，可训练稀疏注意力

新智元报道，清华、OpenBMB和哈工大提出零额外参数、训练高效的原生稀疏注意力框架InfLLM-V2，仅用5B长文本词元就能完成训练，相比稠密注意力机制有显著加速，性能接近传统稠密模型。

究竟会花落谁家？DeepSeek最新大模型瞄准了下一代国产AI芯片

近期，DeepSeek发布V3.1新模型，采用全新混合推理架构，在多任务表现上有提升。它采用UE8M0 FP8，或为国产推理芯片优化机制。国内多家厂商新一代AI芯片支持FP8，未来国产大模型或针对其专门优化。