搜索：泛化推理能力

「泛化推理能力」共找到 4686 篇相关文章

RTP-LLM 在相关性大模型中的推理优化最佳实践

淘宝搜索场景引入大参数LLM模型，面临系统性能挑战。本文分享基于RTP - LLM框架的优化实践，如大BatchSize调度、批次内前缀复用、MoE Kernel动态调优等，还提及未来优化方向。

国内大模型圈因智谱启动A股上市而兴奋时，GLM系列再展“卷王”姿态，本月开源旗舰GLM - 4.7。它从代码大模型变为任务交付引擎，实测在多场景表现出色，能理解复杂意图、交付高质量代码。

作者在使用H20测试SGLang CUTLASS MoE时，发现其在中小Batch Size场景下性能不佳。为此设计Expert Specialization方案，启动多个不同配置Kernel，依Expert计算特性选合适的。还介绍了该方案在H20和Hx00上的实现细节及性能测试结果。

近日 SuperCLUE 发布 11 月 DeepSearch 评测报告，国产大模型 openPangu - R - 72B 名列第一。它采用 MoE 架构平衡效率与性能，经预训练技术优化和 DeepSearch 专项突破，彰显国产算力与大模型研发融合成效。

随着大型语言模型兴起，基于LLM的聊天机器人能完成多样语言任务。上海交通大学和华为团队提出分析框架，探讨LLM聊天机器人向AI智能体进化的五个关键维度、改进方法及未来发展方向。

吴恩达发文剖析GenAI应用工程师这一新兴职业。指出其技能要求与传统软件工程师不同，强调掌握多种AI积木块、利用AI辅助编程工具的重要性，还提及产品技能是加分项，并给出面试关键问题。

全球云数据库巨头Snowflake宣布收购Crunchy Data，发布新型Postgres数据库Snowflake Postgres，满足企业级AI和事务系统需求，具有安全合规等特点，有三大特色功能，推动其成为企业数据负载目的地。

今天凌晨1点30，OpenAI宣布开放GPT - 4.1，可在ChatGPT中使用。它针对编码任务，支持100万tokens上下文，在多项测试中表现优于前代，价格更优，不同用户将陆续获得使用权限。

7月6日腾讯混元Hy3发布，智能水平强于同尺寸模型，比肩大尺寸旗舰模型，定价降低。它已接入多个业务，API上线腾讯云TokenHub。在多领域表现出色，性价比高，采用开源协议，将在多平台上线。

谷歌TurboQuant论文介绍量化算法，能为大语言模型和向量搜索引擎大规模压缩。可将大语言模型KV缓存内存减至少6倍、加速达8倍且精度零损失，还介绍其工作原理及实验结果。