「上下文架构」共找到 2357 篇相关文章
Thinking Machines 发布 Tinker API,实现灵活的模型微调
Thinking Machines公司发布Tinker API用于开放权重语言模型微调,可减少开发者基础设施开销。支持多种模型架构,集成LoRA,还发布开源存储库。虽有竞品,但Tinker侧重暴露低级原语,尚处封闭测试。
美团开源新模型,多项能力实测第一
美团发布5600亿参数的LongCat - Flash模型,有创新动态计算机制和高效训练推理架构。它在多项测评中领先,尤其在代理工具使用测试表现出色,还以宽松许可开源,降低使用门槛。
对话张笑宇:一个科技史学者选择成为“AI降临派”|甲子光年
科技史学者张笑宇成“AI降临派”。他以“人类当量”和成本说明人类与AI的能力代差,提出全新治理架构,还谈AI应用困境、情感陪伴风险等,认为人类要与AI商定未来。
DevProxy 0.28 发布,增加 AI 支持
微软发布 DevProxy 0.29 命令行工具,新版本增加 AI 支持,便于配置使用。它能模拟 API 及网络行为,结合 dev tunnels CLI 可检查云服务通信,还利用大模型生成文件,有重大架构变更等。
√N并行+84倍计算加速!英伟达港大全新图像注意力:空间结构都保留
英伟达、港大等研究人员提出新型视觉注意力机制GSPN,通过线性扫描和稳定性 - 上下文条件处理图像空间结构,降低计算复杂度至√N量级,在多视觉任务达先进水平,生成16K图像加速超84倍。
给大模型装上「思维分段引擎」:浙大InftyThink解锁无限深度推理
如今大模型长上下文推理面临计算成本高、推理易中断问题。浙大联合北大团队提出InftyThink新范式,将传统推理拆成短片段并总结,突破推理长度限制,在多基座模型实验中表现优异。
字节跳动开源文档解析大模型Dolphin,告别繁琐的文档处理,上线狂揽1k星,真是绝了!
字节跳动开源文档解析大模型Dolphin,采用两阶段分析 - 解析范式,有异构锚点提示等功能,适用多领域。技术架构基于视觉 - 编码器 - 解码器,训练集超3000万个样本,安装推理简单,比同类更具竞争力。
一码难求的 Dia 浏览器,有了新进展
Dia 浏览器处于 Alpha 内测,需邀请码体验。测试反馈超预期,将打磨细节后发布。其优势是使用 AI 时能方便代入上下文信息,Chat 交互将成主流,Arc 部分功能会融合进 Dia。
kimi K3超大杯升级背后的技术内幕
文章介绍开源模型 K3 架构设计思路。主要探讨 MoE 和 MLA 部分,在 MoE 方面提出 SiTU、Norm、QB 改进;在注意力机制选择 MLA,与 KDA 混合缓解部分问题,还谈及 DSV4、NoPE 相关特点。
谷歌AGI底座降临!首个原生全模态嵌入模型上线,已实现全模态SOTA
谷歌发布首个原生全模态 Embedding 模型 Gemini Embedding 2,将文本、图、音视频及 PDF 融于统一向量空间,实现跨模态检索,降低架构成本,赋予 AI 连贯「记忆」,是重塑 AI 基建的里程碑。