「性能成本平衡」共找到 3351 篇相关文章
回归C++: 在GGUF上构建高效的向量模型
Jina AI分享将纯解码器向量模型适配到GGUF格式及在llama.cpp工具链的优化经验。经处理得到特定任务v4模型，还生成量化版本并上传。介绍使用方法、注意事项，经测试推荐IQ3_S或IQ3_M版配合定制工具。
终于！OpenAI 开源了2款模型：gpt-oss-120b 和 gpt-oss-20b
OpenAI 发布 gpt-oss-120b 和 gpt-oss-20b 开源模型，性能出色，如 120b 版本媲美 o4-mini，20b 版本能在笔记本甚至手机运行。采用 Apache 2.0 许可证，有多种特性与运行方式，还经安全分析。
1.5B刷新数学代码SOTA！快手&清华精细化Token管理，LLM推理能力飙升
快手与清华团队用1.5B参数小模型在推理基准上超越同量级SOTA。其Archer方法通过精细化Token管理，对知识型和推理型Token差异化训练，让知识和推理同步更新且互不干扰，在数学和代码任务表现出色。
万字长文！大模型LLM推理优化技术总结
文章围绕大模型LLM推理优化技术展开，先介绍LLM推理各阶段、批处理、KV缓存等概念及内存需求，再阐述模型并行、注意力机制优化、模型优化和模型服务等技术，如Pipeline并行、MQA、量化、动态批处理等。
《TAML》好文推荐 | 来自清华大学张宇飞团队最新研究成果 基于文本生成翼型：FoilCLIP,一种语言驱动的气动设计新框架
传统翼型设计依赖CFD和风洞试验，成本高。清华大学张宇飞团队提出端到端双向映射框架FoilCLIP，通过对比学习建立文本与翼型几何双向映射，还提出数据增强策略，验证了其在语言驱动设计中的应用潜力。
AI 渗透金融行业：大模型如何破解风控、服务与决策难题？
在数字化与人工智能驱动下，金融行业变革深刻。InfoQ《极客有约》X AICon 直播栏目邀多位专家探讨大模型赋能金融，涉及风控、服务、决策等难题，分享了大模型应用场景、技术渗透、权衡可解释性与性能等观点。
Agent与工具交互平台级探索，只用接入一个MCP服务就能调用6000+工具
在模型性能趋同背景下，知识库、工具成AI应用差异壁垒。MCP规范Agent与工具交互，但在实际生产中有挑战。ACI.dev项目维护者Aipotheosis Labs探索简化Agent与外部工具集成等过程，对企业级应用有示范意义。
AI在「赚钱锦标赛」夺冠，比人类还会做生意！躺赚时代要来了？
研究人员提出自动售货机运营模拟环境Vending - Bench，测试大模型智能体管理业务能力。实验显示不同大模型性能方差大，Claude 3.5 Sonnet净资产表现最佳，人类基线在可靠性上表现较好，各模型长周期表现波动大。
OpenAI很看好！首个SWE-1模型发布，软件开发或将提速99%
Windsurf发布首个前沿模型SWE-1，目标将软件开发提速99%。它不只能写代码，还能协助软件工程流程。有三个系列模型，SWE-1运行成本低，SWE-1-lite对所有用户开放，SWE-1-mini适用于低延迟场景。
本周六直播预约 | Test-Time Reasoning综述分享！
当大模型训练成本飙升、数据枯竭，推理阶段扩展Test-Time Scaling（TTS）成研究热点。论文提出四维正交分析框架，梳理主流技术路线，提炼发展路径，给出操作指南与未来思考，本周六将直播分享该综述。