搜索：高效推理框架

「高效推理框架」共找到 3722 篇相关文章

字节Seed新作：模型合并如何改变大模型预训练范式

字节跳动Seed团队在arXiv发表论文，提出预训练模型平均（PMA）技术。该技术将模型合并引入预训练阶段，可提升性能、预测衰减阶段表现，还能解决训练问题。不过，高学习率影响和强化学习应用待研究。

Vercel推出新AI模型v0系列，采用复合模型架构，将RAG专业知识、SOTA大模型推理能力和定制流式后处理模型结合，能提升代码生成质量，且基础模型升级时可快速替换，还训练了定制AutoFix模型。

文章介绍Spring AI框架，它简化企业数据或API服务与大模型集成，降低开发复杂度。还给出调用DeepSeek的实战步骤，包括手动请求、代码自动发起、实现流式响应等，也提及OpenAI starter的兼容性及生产环境监控。

微软在官网开源用于浏览器网络任务的Agent——Magentic - UI，基于Magentic - One开发，支持人机协同。GAIA测试显示其能提升任务完成率和准确率。它以人为本，有独特机制，框架含多阶段，在Github超4000颗星，支持MIT许可证商用。

Hugging Face开源全新视觉语言模型框架nanoVLM，仅750行代码就能从零训练高效能VLM模型。它在单张H100 GPU训练6小时后，在MMStar数据集准确率达35.3%，且能在免费Google Colab跑。

OpenAI的GPT-6 Astra亮相，在ARC - AGI - 3测试成绩逼近100%，远超GPT - 5.6 Sol。它生成的符号世界模型被认为是AI迈向高级推理必经之路。不过出题人指出其靠Harness加持，离AGI还远。

8月13日，DeepSeek开放DeepSeek Harness v0.1开发者预览版，在Github获4.5万星。它提出“一切皆插件”概念，核心组件可插拔。还联合北大提出Cordis框架，解决组件插拔问题，但面临价格与组件膨胀挑战。

这是 WorkBuddy 的「从入门到精通」指南。介绍了它在 Windows 和 Mac 上的安装、登录、更新方法，功能涵盖新建任务、助理页面、项目页面等。还讲了技能、连接器、专家中心的使用，以及自动化、资料库、灵感等功能，还有实践案例、使用技巧和常见问题解答。

本文介绍了专门测量「主动观察」能力的视觉推理基准 ActiveVision，评测显示无外部工具时，大模型与人类准确率有近 9 倍差距，用工具后虽提升但仍远不如人类，还说明了其出题与避免取巧的方式。

作者花大成本从后端、人味、前端、推理等维度，对glm 5.2、kimi k3等国产模型进行测试，展示各模型在不同测试中的结果，指出国模2T俱乐部的kimi和qwen下限高，且刻板印象需改变。