「产品优化」共找到 2731 篇相关文章
千星项目LLMRouter:多模型路由,16+策略优化推理
UIUC开源智能模型路由框架LLMRouter,可自动为大模型应用选最优模型,有16+路由策略。该框架打通训练、评测等链路,解耦Route与Training模块,支持多轮协同等,还可插件式扩展。
谈一谈TP推理场景下MoE Group GEMM的优化思路
作者在使用H20测试SGLang CUTLASS MoE时,发现其在中小Batch Size场景下性能不佳。为此设计Expert Specialization方案,启动多个不同配置Kernel,依Expert计算特性选合适的。还介绍了该方案在H20和Hx00上的实现细节及性能测试结果。
Anthropic官方解密:3招上下文优化,破解Agent性能暴跌
本文是Anthropic官方文章翻译,从提示词工程拓展到上下文工程,阐述其构建方法。介绍上下文工程对构建智能体的重要性、上下文构成,还提及上下文检索、智能体搜索及长期任务的上下文工程解决方案。
独家丨滴滴悄咪咪上线了个「AI 图寻」产品
2013 年 GeoGuessr 地理猜测游戏走红,衍生出「图寻」玩法。2024 年 AI 让“猜地点”能力大增。今年滴滴悄悄上线 AI 图寻产品「在哪儿问问」,具实用工具属性,但 AI 识图在冷门场景表现欠佳。
腾讯把这个 AI 产品做活了:两分钟一次按快门
作者分享使用腾讯会议AI纪要的体验,它每两分钟自动记录会议要点,还能捕捉气氛意图。会后可一键送进腾讯元宝追问,适配多样场景。此外,腾讯会议还有录制、语音转文字等功能,音效也有提升。
腾讯混元Hy3发布:Agent能力和产品体验跃升
7月6日腾讯混元Hy3发布,智能水平强于同尺寸模型,比肩大尺寸旗舰模型,定价降低。它已接入多个业务,API上线腾讯云TokenHub。在多领域表现出色,性价比高,采用开源协议,将在多平台上线。
AEPO:智能体熵平衡策略优化,让探索更稳,推理更深!
中国人民大学与快手团队联合提出 AEPO 算法,解决熵驱动式智能体强化学习训练不稳等问题。它设计两项核心机制,在 14 个基准上优于主流算法,在 X 等平台获高关注。
硅谷资深工程师:不止是 AI 产品,Coding 也需要好的 taste
硅谷资深工程师sean goedecke指出,技术品味与能力不同,其核心是为项目选适配工程价值观的能力。文章给出判断技术品味的方向,还阐述了好坏品味的识别方法及培养良好品味的建议。
Kubernetes环境中作业帮大模型服务流量调度优化实践
随着大语言模型应用渐广,Kubernetes 现有 Ingress 组件在大模型服务流量管理上有局限。作业帮提出创新调度方案,整合成模型网关,具备五项核心功能,提升了资源效率、稳定性和易用性。
可能是比Lovable还好的Vibe Coding产品-MiniMax Agent体验
作者测试MiniMax Agent,用其生成法国景点介绍、艺术家作品对比、攻壳机动队分析等网页。它能自主找信息、整理,生成图、音等。和Lovable对比,它表现更优,还支持免费试用。