搜索：异构混合推理

「异构混合推理」共找到 2243 篇相关文章

社区供稿丨Jina-VLM：可在笔记本上跑的多语言视觉小模型

Jina AI发布2.4B参数量的视觉语言模型Jina - VLM，在多语言视觉问答任务达SOTA。它引入注意力池化，连接视觉与语言基座，处理问答等任务，对硬件要求低，多项测试表现优，还介绍架构、训练策略和上手方式。

新智元报道，清华、OpenBMB和哈工大提出零额外参数、训练高效的原生稀疏注意力框架InfLLM-V2，仅用5B长文本词元就能完成训练，相比稠密注意力机制有显著加速，性能接近传统稠密模型。

华为诺亚方舟实验室发布 RoboHarness 系统，解决不同策略协作问题。它将独立控制系统封装成可调度技能，由 Coding Agent 决策，还设计辅助技能和 Memory Bridge 模块，促进策略协同，推动具身智能发展。

PaperDebugger是AI驱动的学术写作助手，能调试和改进论文，提供智能建议。它用基于MCP的编排引擎，模拟学术流程，有聊天、插入、评论等功能，只读取项目，保障隐私。

清华大学智能驾驶课题组 iDLab 与加州大学伯克利分校人工智能研究院 BAIR联合发表研究，提出 MVP 策略。它引入瞬时速度约束解决均值流学习问题，设计复合生成与选择机制，在多任务测试中表现出色。

Semantica是LLM、向量库与Agent框架下的语义/上下文层，能把碎片化企业数据变成结构化、可查询的上下文图与知识图谱。介绍了其面向对象、功能、优势、使用方法、架构等内容。

近期具身智能领域竞争激烈，银河通用联合多机构发布 LDA-1B 模型，能统一利用各类具身数据。它在基准测试中表现出色，代码已开源，还解决了数据格式、质量等问题，实战效果也很突出。

东方理工大学沈晓宇团队提出HiDrop，基于MLLM不同层功能差异，设计出延迟注入、凹金字塔式剪枝和提前退出的视觉Token压缩策略。实验显示，它能压缩约90%视觉Token，保持98.3%性能，实现训练和预填充加速。

文章从传统思路实现诗词生成器入手，介绍了词汇表、Bigram模型等概念，接着用Python和PyTorch实现了真正的Bigram模型，阐述模型、训练等内容，最后回顾成果，下一篇将基于此实现完整GPT。

大神卡帕西宣称Anthropic用《指环王》给大模型评测上强度，这一‘指环王基准’正接替‘鹈鹕骑自行车’SVG测试。虽Opus 5生成的画面粗糙，但网友测试展现出丰富创意，不过新测试也引发争议。