「上下文token」共找到 1207 篇相关文章
关键突破：理论验证了 RL for LLM 路线的可行性
传统RLHF依赖人工标注偏好数据训练奖励模型，成本高且难扩展。本文发现任何通过Next - token预测训练的LLM内部隐含通用奖励模型，从理论和实验证明其可高效实现模型对齐。
自建一个 Agent 很难吗？一语道破，万语难明
作者分享给传统研发平台接入 Agent 开发能力的经验，介绍技术选型、方案落地、系统提示词优化、知识库建设等内容，还提及工具接入、上下文管理等方面，为想自建 Agent 的人提供启发。
一句“Hi”，80$蒸发！O3-Pro：地表最强，也最“坑”的AI！
昨晚ChatGPT宕机，OpenAI 2折甩卖o3模型并发布o3 Pro。o3 Pro编程能力强，达全球top150程序员水准。官方称甩卖的o3是原版但推理快近40%。o3使用成本高，还需足够上下文。
堆了一仓库GPU，却生产不出专业智能？九章云极用AI工厂给出解答
企业接入通用大模型到业务系统，却发现它难以执行任务。九章云极在发布会上推出‘AI工厂’战略，通过训练工厂和Token工厂填平执行鸿沟，前者用强化学习造专业模型，后者让专业智能规模化流通。
AGI 新技术路线：下一代稀疏注意力机制 Monte Carlo Attention 开源
超对称技术公司在新版基座模型 BigBang - Proton 中使用的 Monte Carlo 注意力开源。它基于二进制块编码技术，用块间代表交流机制实现线性复杂度，兼具多种注意力机制优点，可满足宇宙尺度建模的上下文长度需求。
Anthropic 断供，国产 Coding 模型的中场战事开启
Anthropic对中国企业断供，国产模型面临成为Claude平替的机遇。Kimi等模型纷纷尝试，Kimi K2 0905版本在编码、上下文及工具调用上提升，其终极目标或构建具Agent特质产品，未来Agent是决胜场。
SSM+扩散模型，竟造出一种全新的「视频世界模型」
在AI热词不断涌现的时代，斯坦福大学等机构研究将长上下文、状态空间模型、扩散模型等结合，创造全新「视频世界模型」。它用状态空间模型实现长期记忆，还设置局部注意力机制，训练和推理表现出色。
Claude Opus 5发布，砍掉了Claude Code 80%的系统提示词
Anthropic发布Claude Opus 5，接近Claude Fable 5智能且价格减半，测评成绩出色，科研和视觉输出能力也有进步。同时发现砍掉Claude Code 80%系统提示词，编码评测分数不变，还总结出上下文工程新方法论。
首创双NPU架构一鸣惊人！联发科天玑9500重磅加码主动式AI体验
联发科天玑9500首创超性能+超能效双NPU架构，让AI始终在线，融入用户操作。其输出性能、上下文窗口等有显著提升，还解决了模型加载慢等问题，与多厂商合作推动端侧AI落地。
这可能是Claude Code最重要的功能
Claude Code新功能Sub - agents很实用，能创建多个专精任务的Agent，有独立上下文窗口防‘记忆污染’，配置灵活，还能组成工作流。创建简单，比社区项目有优势，是Claude Code截至目前最重要功能。