「Token优化」共找到 1823 篇相关文章
LLM近期重大架构进化一览：从Gemma 4到DeepSeek V4
近期大模型长上下文需求增长，成本问题凸显。Google Gemma 4、Poolside Laguna XS.2、Zyphra ZAYA1 - 8B、DeepSeek V4 等模型各有架构优化，如 Gemma 4 跨层 KV 共享和 PLE，以降低长上下文推理成本。
获NVIDIA致谢：悟空Agent的实践、复盘与迭代
本文以悟空Agent获NVIDIA致谢为切入点，介绍多智能体架构闭环及实战挑战，如上下文断流、调度失衡。还阐述架构设计、迭代优化、数据飞轮体系，指出AI infra存在安全隐患，强调安全融入业务的重要性。
加一个JVM参数，让系统可用率从95%提高到99.995%
文章针对高并发系统不稳定问题，定位是系统内存索引切换时 GC 压力大所致。围绕让索引尽早晋升、直接分配到老年代等思路探索优化，经多番尝试，最终实现索引无感切换，使系统可用率达 99.995%。
消费级显卡跑大模型训练门槛再降：Qwen3-1.7B强化学习只需5GB显存
消费级显卡跑大模型训练门槛再降，Unsloth AI的FP8精度强化学习方案让Qwen3 - 1.7B的GRPO训练只需5GB显存且性能无损。该方案与TorchAO合作，有推理优势，还在内存优化等方面表现出色。
吃灰 AI 眼镜爆改“交警 Copilot”，函数计算AgentRun 实操记录
作者将吃灰的Meta Ray - ban眼镜爆改成“交警Copilot”，介绍了“端 - 管 - 云”协同框架，分享客户端与服务端开发过程。还探讨用Agent架构和FaaS的原因，指出其在应对需求变化、节省成本等方面优势，最后提及项目待优化处。
Cyber天花板被打穿！AISI实测Mythos能力正以4.5月翻倍速冲向ASI
英国AI安全研究所（AISI）实测Anthropic的Mythos和OpenAI的GPT - 5.5，发现其网络攻防能力4.5个月就能翻倍，加速冲向ASI。Mythos在模拟企业内网32步渗透任务中表现出色，瓶颈在于Token而非智力。
LLM 技术在有道词典笔上的应用实践
本文围绕LLM技术在有道词典笔的应用展开。先分析端侧大模型落地挑战，如算力、功耗等。介绍有道词典笔等硬件及应用，对比端侧与云侧AI优劣。还阐述模型落地模式、算法优化及“子曰3数学模型”开源情况。
EMNLP25 | 北大x腾讯光子发布 C3 Benchmark：中英双语语音对话模型“地狱级”测试基准，直击语音对话模型软肋！
近年来语音对话模型受关注，但处理人类对话复杂现象的效能缺乏研究。北大联合腾讯光子构建中英双语C3 Benchmark数据集，评估模型应对复杂对话的能力，结果揭示性能瓶颈，为模型优化提供参考，代码和数据已开源。
用 Astra+Codex 干掉 CUDA！奥特曼9个月AI造芯反杀英伟达 GB300
北京时间昨日凌晨，OpenAI 公布自研推理芯片 Jalapeño 实测结果，其在多指标挑落英伟达 GB300。OpenAI 用 GPT - 6 和加强版 Codex 造芯，9 个月完成硬件设计优化，3 个月搞定软件栈，威胁英伟达 CUDA 根基。
深度讨论新一轮模型发布：当智能进入月更时代 | Best Ideas
近期全球模型迎来高密度发布期，Anthropic、OpenAI、腾讯、DeepSeek 等纷纷推出新模型。文章复盘了 Opus 4.7、GPT - 5.5、DeepSeek V4 等模型实测体验，探讨架构变化、能力边界与产业影响，还分析算力、token 价格等问题。