「类LLM机制」共找到 1976 篇相关文章
从零开始200行python代码实现LLM
文章从传统思路实现诗词生成器入手,介绍了词汇表、Bigram模型等概念,接着用Python和PyTorch实现了真正的Bigram模型,阐述模型、训练等内容,最后回顾成果,下一篇将基于此实现完整GPT。
OpenClaw 类自主智能体生态构建
文章围绕OpenClaw类自主智能体生态展开,从生态视角、记忆系统、上下文管理等多方面阐述其构建,还分析了安全风险、治理体系、角色分工及面临的挑战与机会,为理解和发展Agent生态提供参考。
Cloudflare 构建了面向 LLM 的高性能基础设施
Cloudflare发布全新基础设施,可在全球边缘网络运行大型AI大语言模型。它将模型输入处理与输出生成拆分,自研Infire推理引擎,还推出Unweight模型压缩系统,分享提示词缓存优化方案。
Anthropic 发布最新研究:LLM 展现初步自省迹象
Anthropic 最新研究表明,Claude 展现出真实但有限的内省能力,能在某种程度上识别自己内部状态。研究团队开发验证方法,通过概念注入等实验进行测试,还发现认知控制证据等,不过该能力有局限。
LLM加速利器LMCache,极大降低GPU资源消耗
LMCache是大语言模型服务引擎扩展组件,能降低首次响应延迟、提升吞吐量,适用于长上下文场景。它将KV缓存存于多级存储,跨服务实例复用任意重复文本的KV缓存,节省GPU算力,与vLLM结合优化显著。
砍掉70%内存!陈丹琦团队破解LLM长文本瓶颈
大型语言模型处理长文本时,KV缓存占用内存巨大。陈丹琦团队提出KV足迹作评估标尺,推出分块驱逐与PruLong训练技术,在128K长文本任务中最高降低70%内存,性能损失仅10%。
隐形束缚:RLVR为何无法突破LLM的推理边界?
大型推理模型进展依赖带可验证奖励的强化学习(RLVR),但它能否扩展模型推理能力存疑。本文通过理论证明与实验,揭示RLVR存在“隐形束缚”,只能在基座模型初始能力内优化,难以发现新解。
灵码+Qwen3-Coder——使用Skill机制实现代码审核
本文探讨在灵码内使用Claude Skills能力,介绍其实现机制、灵码适配方案。还以代码审核场景为例,展示自定义Skill的创建方法,总结Claude Skills优势及应用场景,展望其与MCP的发展前景。
关键突破:理论验证了 RL for LLM 路线的可行性
传统RLHF依赖人工标注偏好数据训练奖励模型,成本高且难扩展。本文发现任何通过Next - token预测训练的LLM内部隐含通用奖励模型,从理论和实验证明其可高效实现模型对齐。
见微知著:LLM 奖励建模的「Analytic Rubric」范式全面综述
该文是对LLM奖励建模的「Analytic Rubric」范式的全面综述。介绍了Rubric概念来源,指出传统奖励模型存在对齐风险,而Rubric RM在多方面取得平衡,还阐述其工作流、各维度研究情况及面临的挑战。