「百万 token」共找到 800 篇相关文章
AI Infra入门干货总结：大模型是如何高效推理的
作者深入研读vLLM源码，以Llama 3为例，聚焦Decoder-Only架构LLM，介绍推理各环节及张量维度变化，讲解连续批处理和Paged Attention概念，还阐述推理流程、采样策略等，最后总结相关拓展内容。
o1之后下一个范式？隐式CoT大突破，让推理不再「碎碎念」
文章推荐 Implicit Chain-of-Thought 的最新进展 SIM-CoT，它直击隐式 CoT 核心痛点，用辅助解码器让隐式推理可解释。推理零额外开销，效果猛，研究已中稿 ICLR 2026，论文等均已开源。
AI 驱动的个人理财应用
这是AI驱动的个人理财应用，非记账软件，能像智能助理管钱、自动拆解支出并给建议。支持Docker自行托管，介绍了本地开发环境配置，该应用由Maybe Finance团队开源，此前商业运营未成功。
GPT-5.2来了…
OpenAI推出GPT - 5.2系列，是适合专业知识工作的模型。它在专业工作表现、编程能力、可靠性与安全性等多方面有提升，定价公布，已向付费用户逐步推出，此次更新重在夯实基础。
上下文工程的精髓在于删除？
Hugging Face工程师Philipp Schmid整理分享，Manus团队重写五次代理系统，发现删代码比加功能好。AI模型存在‘上下文腐败’问题，Manus给出清理上下文、避免共享大脑、精简工具等解决办法。
字节对 AI Coding 的理解，够深刻。
今年 AI Coding 赛道火热，国内外纷纷布局。字节跳动技术副总裁洪定坤在分享中阐述了字节对 AI 编程的理解，字节此前推出原生 AI IDE：TRAE。编程门槛因 AI 降低，未来有望贯穿软件开发全周期。
Anthropic的多智能体，真的有必要吗？
作者曾质疑多智能体系统，看了Anthropic对「Claude Research」的说明后有了改观。介绍了多智能体系统定义、性能提升、代价，还阐述构建方法、评估方式，公开三个核心提示词及协作模式。
颠覆传统向量数据库，直接将文本数据编码成视频文件，轻量级革命性的大规模AI记忆解决方案Memvid
Memvid将文本数据编码为视频，改变AI记忆管理，实现百万级文本块闪电语义搜索和亚秒级检索。它存储高效、轻量级、可离线，应用场景广，还给出安装、使用、配置等说明，并与传统方案对比。
刚亮相就传被英伟达收购：Gemini 老兵团队凭什么还敢押注 Coding Agent？
本文是InfoQ编译的科技播客访谈，Reflection AI由前Google DeepMind Gemini团队成员创立，近期发布了5010亿参数的开放大模型Beam，主打编程、推理和智能体任务，发布一周后传出英伟达拟收购该公司的消息，访谈中分享了对开放模型诸多问题的观点。
才发现 Google 出了个 Mac 版 AI 会议助手，居然还完全离线的
本文作者池建强介绍Google新推出的Mac端实验性AI会议助手Foresight，该产品核心AI功能可完全离线运行，基于本地Gemma模型，具备会议转写、笔记增强、个人知识库检索等功能，分析了产品特点与行业影响。