「推理优化技术」共找到 5329 篇相关文章
杀疯了！单卡4090跑通全量微调，面壁1B级多模态性能怪兽硬刚大厂
面壁智能推出MiniCPM-V 4.6，参数约1B，性能和推理效率出色。它在多模态任务综合能力、推理速度上领先竞品，靠ViT架构改造和4倍/16倍混合视觉Token压缩实现创新，有工业验证，对开发者和普通用户意义大。
算力稀缺时代，如何把 GPU 用“满”
在 GPU 稀缺且利用率低的背景下，本文分析其‘用不好’的原因，探讨业界共享技术方案的局限。以腾讯云 TencentOS qGPU 为例，解析内核态虚拟化及在离线混部技术，还介绍其在多行业降本增效的实践。
Python语言从2.7到3.14的能力变化与演进逻辑
文章从编程风格、类库生态、性能优化等多维度，阐述Python从2.7到3.14版本的能力变化与演进逻辑。如编程风格现现代化转型，类库生态战略性调整，性能优化有突破性进展等，还分析了演进背后的推动力及未来趋势。
社区供稿丨Jina-VLM：可在笔记本上跑的多语言视觉小模型
Jina AI发布2.4B参数量的视觉语言模型Jina - VLM，在多语言视觉问答任务达SOTA。它引入注意力池化，连接视觉与语言基座，处理问答等任务，对硬件要求低，多项测试表现优，还介绍架构、训练策略和上手方式。
第二代InfLLM开源，同尺寸快三倍！零参数，可训练稀疏注意力
新智元报道，清华、OpenBMB和哈工大提出零额外参数、训练高效的原生稀疏注意力框架InfLLM-V2，仅用5B长文本词元就能完成训练，相比稠密注意力机制有显著加速，性能接近传统稠密模型。
【5500字长文】AI出海一年简单回顾：从新手到养得起20人团队
AI技术+场景落地+出海，如何从零开始，用一年时间养得起20人团队？
Hermes Agent 终于有入门指南了
Hermes Agent 是 Nous Research 推出的开源 Agent 框架，功能强大但开发者不知如何使用。4 月 8 号，Kevin Simback 整理出 Hermes 生态全景图，另一人推出《Hermes Agent: The Complete Guide》，48 小时获 568 星。
半导体材料巨头涨价“突袭”！涨幅高达30%！
日本半导体材料巨头Resonac宣布，对覆铜层压板与黏合胶片全系列产品提价超30%，2026年3月1日生效。调价受原材料紧张、成本上升等因素驱动，其看好市场前景，此次调价或影响下游产业。
本周推荐的5个超级6的Github开源项目！
文章推荐了5个Github开源项目。如htmx，能在纯HTML搞定多种交互，无需JS；Flow.Launcher可快速搜索文件、启动应用；Maple Mono是编程字体，中英2:1对齐；Trilium Notes是分层笔记神器；Hyprnote可实时转录会议内容。
对话 PyTorch 掌门人 Matt White：AI 应用应该做到“润物细无声”
近日，PyTorch 基金会执行董事 Matt White 在北京智源大会指出，开源虽形成‘良性循环’，但围绕‘开放’定义权的战争已打响。他还分享了对 PyTorch 发展、AI 应用等多方面的看法。