搜索：长上下文问题

「长上下文问题」共找到 4135 篇相关文章

大模型API的大众点评来了：7×24小时实测，毫秒级延迟智能路由，选API必备

清程极智推出的AI Ping像大模型API领域的大众点评，用7×24小时实测数据为开发者提供参考，解决信息差和重复劳动问题。它有持续评测榜单、智能路由匹配等功能，还统一了API度量衡，推动选型从经验走向数据驱动。

随着大模型规模扩展，思维链（CoT）成处理复杂推理任务标准范式，但显式CoT依赖长序列生成，隐式CoT面临优化挑战。腾讯提出RoT新框架，利用视觉编码器将文本推理步骤转为视觉嵌入，实现Token压缩与推理加速，且过程可分析。

国内最大AI数字员工公司冲刺IPO，要做企业Agent第一股，但其官网无法访问。该企业级Agent平台是RPA+AI组合，RPA有致命问题，大模型加入后虽有变化，但事情本身护城河不深，公司靠定制化冲击IPO，且仍亏损。

文章围绕FlashAttention展开，从Attention性能瓶颈引出问题，阐述其各版本演进。FA-1实现算法突破，避免O(N²)内存；FA-2适配架构，提升性能；FA-3深度协同，实现异步；FA-4探索更深异步和角色分工。还探讨跨芯片迁移及未来优化方向。

在 InfoQ 举办的 QCon 全球软件开发大会上，小红书梁啟成分享云成本优化实践。介绍了小红书用云情况，分析成本优化面临的问题，阐述成本洞察和优化的探索，如内外账分离、CPU 和 GPU 资源提效等，还展望了 AI for FinOps 实践。

OpenAI首席财务官Sarah Friar透露7月单月收入破10亿美元，因GPT - 5发布和新订阅服务，算力压力大，所以联合投资打造“星际之门”。虽GPT - 5有争议，但订阅用户增长，开发者反馈好。

为应对网络攻击，需将非结构化网络威胁情报转化为结构化情报。IntelEX是自动化攻击级威胁情报提取工具，通过LLM上下文学习等增强，能识别攻击序列并提取结构化情报为STIX格式，还可转化成Sigma，在测试中表现优异。

火山引擎原动力大会发布豆包大模型1.6，它是国内首款多模态SOTA模型，支持256k上下文长度。实测中它解答高考数理化带图大题表现出色，还具备图像识别、视频理解、GUI操作等能力。此外，火山引擎还推出系列工具和平台助力企业。

学界对强化学习能否让模型学会新推理技能争论已久，过去研究多悲观。英伟达研究指出，问题源于任务在基础模型训练数据中过度呈现及训练步数不足。其ProRL框架提升训练步数，释放小模型潜力，还构建技术组合拳。

保险业规模庞大但运营效率极低，超 60%流程依赖人工，索赔周期长、客户满意度低。过去两年，LLMs 提升了 AI 处理非结构化信息的能力，使 AI 接管保险核心流程成为可能。GenAI startup 围绕保险流程构建产品，AI-native 保险公司也应运而生。