「全局token池」共找到 719 篇相关文章
The Batch: 931 | 统一视觉媒体的单一分词器
Apple团队开发多维分词器AToken,可将图像、视频、3D对象映射到共享token空间,统一处理视觉媒体。它由预训练编码器和解码器组成,经多阶段训练,在多任务上达或接近先进水平,为视觉模型带来通用性。
GLM-5架构曝光,智谱两日涨60%:采用DeepSeek同款稀疏注意力
GitHub代码确认GLM - 5架构细节,它采用DeepSeek - V3/V3.2架构,含稀疏注意力和多Token预测,参数量745B。OpenRouter上神秘「Pony Alpha」被指是其测试版,受消息影响智谱AI港股两日涨60%。
知识图谱推理新sota,兼顾性能+效率!中科大新作 | NeurIPS'25
知识图谱推理应用广泛,但现有方法面临推理效率低、表达能力不足等挑战。中科大团队提出DuetGraph,采用双阶段粗到细推理框架与双通路全局 - 局部特征融合模型,平衡推理精度与效率,缓解过平滑问题。
一位工程师对“好代码”的 7 年思考
本文围绕“什么是好代码”展开,作者结合自身职业发展,从初入职场的“黑盒认知”到深入思考多维度评价标准。还介绍代码评审标准,从稳定、体验、效率、成本衡量。最后给出写好代码的方法和面临的挑战。
推理成本骤降75%!gpt-oss用新数据类型实现4倍推理速度,80GB显卡能跑1200亿参数大模型
OpenAI在gpt - oss开源模型采用MXFP4数据类型,使推理成本降75%,内存占用为BF16模型四分之一,生成token速度提4倍,还能降低硬件资源需求。不过MXFP4也有缺陷,英伟达推出NVFP4提升质量。
【博客转载】CUDA Local Memory
文章围绕CUDA本地内存展开,介绍其为线程私有存储空间,访问特性与全局内存类似。通过两个计算滑动平均值的CUDA kernel示例,展示数组索引复杂度对存储位置的影响,还给出判断存储位置的方法及优化建议。
从零开始玩转循环 (Getting started with loops)【译】
Claude Code团队将“循环”定义为AI智能体不断重复执行工作周期,直至满足预设停止条件。文章介绍了回合制、目标导向、基于时间和主动式四种循环类型、适用场景及控制token消耗方法,还给出保证代码质量的原则。
Sonnet 5 翻车!同性能价差最高 56倍,海外巨头为何复刻不出 DeepSeek?
Anthropic发布Claude Sonnet 5,官方称补足了Agent能力,价格优惠,但开发者反应不佳。Sonnet 5因tokenizer换代,实际使用成本更高,且比同类模型贵。与之相比,DeepSeek V4 Pro便宜很多,其靠技术实现低价,海外厂商难以复刻。
破天荒!DeepSeek V4正式版居然要涨价,而且翻着倍地涨
DeepSeek官方邮件称7月上线V4正式版,高峰时段API各类token价格翻倍,但其他时段仍维持低价。此前它一直以低价著称,此次涨价或与算力紧张、自建数据中心有关,且更新将带来功能优化和性能提升。
英伟达MIT出手!华人团队重磅开源,大模型推理内存暴降10倍
英伟达、MIT、浙大华人研究者联合推出TriAttention,核心是在pre - RoPE空间用Q/K三角集中度估计KV token重要性,保留关键部分。它使内存消耗降10倍,吞吐量提2.5倍,还提供vLLM集成和MLX实验性支持。