「LLM框架」共找到 2439 篇相关文章
让AI创作不千篇一律，提示词随机插词汇就行
最新研究发现，在AI开写前由人类提供开头或随机插入词汇，写作效果会更多样，AI写作同质化或因“启动条件”问题。研究创建三类同质化评价指标，还发现向系统提示注入随机词汇可提升模型输出多样性。
梳理SGLang中DP Attention及其Padding问题
作者梳理SGLang中DP Attention及其Padding问题。介绍DP Attention背景、流程，指出padding分max和sum模式，旧版sum padding浪费计算、影响cuda graph使用，v0.4.10后有优化，max padding仍待完善。
反常识！GPT-5和Opus 4同时翻车：AI越强，越不爱用工具？
作者用GPT - 5和Claude Opus 4做进化实验，让其开发工具。两模型表现出色，但面对实际任务却不用自制工具。原因包括模型规模使脚手架工作无价值、RLHF带来工具厌恶、逼近AGI渐近线等。
AI Agent平台Delve获3200万美元融资，估值3亿美元
21岁麻省理工辍学生创立的AI Agent安全合规平台Delve获3200万美元融资，估值3亿美元。它从医疗记录助手转型，业务扩展到多合规框架，用AI智能体自动化流程，但也面临竞争。
拆箱开源版Coze：Agent核心三件套大公开，48小时揽下9K Star
扣子两款子产品扣子开发平台和扣子罗盘近期开源，加上此前开源的开发框架Eino，覆盖了Agent开发全链路。其采用宽松的Apache 2.0开源协议，降低开发门槛，有望带动Agent在更多场景落地。
阿里开源创新AI Agent：媲美Deep Research，Github每日增长第一
人类信息检索能力受限，OpenAI的Deep Research虽能解决难题但闭源。阿里巴巴通义实验室开源AI Agent框架WebSailor，在多基准测试表现出色，核心技术围绕复杂任务生成和强化学习模块展开，在Github成绩亮眼。
基于闪电注意力机制，创新高效开源大模型
传统Transformer架构处理长文本和复杂推理任务有效率瓶颈，多数领先模型仍依赖传统注意力设计。MiniMax开源基于闪电注意力机制的专家混合模型Minimax，从架构、创新模块、训练框架等多方面优化，表现突出。
文心大模型 4.5 系列正式开源，涵盖 10 余款模型
6月30日，百度正式开源文心大模型4.5系列，含10款模型，实现预训练权重和推理代码全开源。可在飞桨星河社区等平台下载，百度实现框架与模型“双层开源”，技术创新多，性能表现优。
新“SOTA”推理模型避战Qwen和R1？欧版OpenAI被喷麻了
“欧洲的OpenAI”Mistral AI发布首款推理模型Magistral，却再遭质疑未与最新版Qwen和DeepSeek R1对比。该模型亮点是支持多语言推理，以纯RL方式训练，为LLM强化学习提供新范式。
图解Vllm V1系列4：加载模型权重(load_model)
文章聚焦vllm加载模型权重的流程。从入口函数切入，详细分析DefaultModelLoader的工作步骤，包括初始化模型架构和实际加载权重，还给出各步骤代码及作用，为想操作load_model的人提供框架。