「上下文长度」共找到 697 篇相关文章
Gemini新手教学
最近Google推出教育优惠，可免费使用15个月含Gemini Advanced等在内的AI产品。作者分享使用Gemini经验，指出其在上下文长度和生态打通方面优于ChatGPT，老牌厂商家底足，OpenAI下半场有压力。
微软深夜发布SambaY架构，Phi-4min加速10倍推理
微软基于Phi-4-mini版本，针对特定推理任务微调出Phi-4-mini-Flash-Reasoning 3B模型，将其扩展到200064 tokens。采用新型SambaY架构，支持64K token上下文长度，运行快10倍，有诸多优点。
AGI 新技术路线：下一代稀疏注意力机制 Monte Carlo Attention 开源
超对称技术公司在新版基座模型 BigBang - Proton 中使用的 Monte Carlo 注意力开源。它基于二进制块编码技术，用块间代表交流机制实现线性复杂度，兼具多种注意力机制优点，可满足宇宙尺度建模的上下文长度需求。
印度裔 AI 负责人删掉 Karpathy 90%遗留代码，马斯克 Robotaxi 终上线！用户体验：不要小费，还可能倒给你钱
当地时间6月22日，特斯拉在奥斯汀启动Robotaxi试点服务。其AI团队核心成员是印度裔阿肖克和德国工程师米兰。技术上精简代码、扩展模型上下文长度，用户体验顺畅，但与马斯克此前设想设计有差异，国内也有多家企业开展此业务。
实测最新开源的DeepSeek-OCR后，我有些不一样的看法，有些话可能只有我敢说
实测最新开源的DeepSeek - OCR，它并非传统OCR，不适用于传统场景。其最大意义是解决大模型上下文长度问题，通过文字图片压缩解压提高处理速度。模型功能多样，是让AI看图思考的新思路。
AGI新技术路线：下一代稀疏注意力机制Monte Carlo Attention开源
超对称技术公司开源了 Monte Carlo 注意力机制，用于新版基座模型 BigBang - Proton。它在二进制块编码技术上，用块间代表交流机制实现线性复杂度，解决了传统方法的缺点，可实现理论上无限的上下文长度，对现有预训练技术和硬件设计影响深远。
突破一亿Token极限：EverMind提出MSA架构，实现大模型高效端到端长时记忆
机器之心发布文章介绍，大模型长期记忆能力受限于上下文长度。《MSA: Memory Sparse Attention for Efficient End-to-End Memory Model Scaling to 100M Tokens》提出MSA架构，突破扩展性、精度和效率的不可能三角，实现100M长度的大模型长时记忆框架。
精打细算虾养成指南： 省 Token 和把 AI 用好，从来就是一件事
文章指出用AI时Token成本高、模型变笨，原因是上下文管理不善。介绍了省Token和用好AI的方法，如按需取上下文、明确约束、多智能体协作、按阶段切换模型等，核心是在合适时间将合适上下文装入合适模型。
长上下文快2.9倍，解码快6倍：Kimi 用线性注意力实现性能与效率双突破
月之暗面团队的Kimi Linear模型，是混合线性注意力架构，核心是Kimi Delta Attention模块。它解决线性注意力的记忆及遗忘问题，在多任务测试表现出色，还开源相关资源，推动高效长上下文模型研究。
Andrej Karpathy：“ChatGPT套壳”的说法大错特错，提示词工程已过气
Andrej Karpathy力挺用“上下文工程”取代“提示词工程”，指出“提示词”过于简单，“上下文工程”更能揭示构建强大AI应用的本质。他强调“上下文工程”仅是构建大模型应用的一环，“ChatGPT套壳”说法大错特错。