「Tokens/s」共找到 846 篇相关文章
回归C++: 在GGUF上构建高效的向量模型
Jina AI分享将纯解码器向量模型适配到GGUF格式及在llama.cpp工具链的优化经验。经处理得到特定任务v4模型，还生成量化版本并上传。介绍使用方法、注意事项，经测试推荐IQ3_S或IQ3_M版配合定制工具。
御三家都在押注的 Loops，代码怎么还是垃圾？
在AIE World's Fair大会的《伟大的Loops》辩论赛上，正反方就Loops展开激烈交锋。正方认为Loops配得上热度，是迈向软件工厂关键一步；反方则指出其炒作与实际效果差距大，当前做法有误。双方还探讨了安全性、可用性、开销等问题。
面向 SGLang 的 Profile Analysis SKILL：3 张表定位 Kernel Fuse 和 Overlap 机会
文章介绍了面向SGLang的Profile Analysis SKILL，其工作流统一，输出3张表定位Kernel Fuse和Overlap机会，支持多种分析方式和模型。还给出Qwen/Qwen3.5 - 4B和openai/gpt - oss - 20b的分析结果，并表明该SKILL能节省token、缩短工期，作者厌恶Torch Compile。
击败PI ，清华系具身公司包揽「具身奥林匹克」三项全球第一，刷新世界纪录！
在Benjie's Olympics赛事中，星动纪元凭借自研具身智能模型获三项全球第一，击败具身领域老牌公司PI。该赛事规则严苛，星动纪元在剥橘子、开锁、翻袜子任务中表现出色，此前其在技术研发和场景落地也成果颇丰。
图像分词器造反了！华为 Selftok：自回归内核完美统一扩散模型，触发像素自主推理
华为盘古多模态生成团队推出 Selftok 技术，通过反向扩散将自回归先验融入视觉 token。它突破传统，实现因果 token、强化学习友好型 token 及纯 AR 大一统架构，实验在多方面表现优异，论文还入选 CVPR 2025 最佳候选。
重磅！翁荔最新Scaling Law深度洞察来了
北大毕业的前OpenAI高管翁荔（Lilian Weng）的《Scaling Laws, Carefully》值得一读。Scaling law是预训练预算表，能帮少烧错钱。文章探讨大模型训练预算分配，分析Kaplan和Chinchilla结论差异及数据稀缺问题。
AI 写代码太烧钱了：Copilot、Claude 一起涨价，不如把程序员请回来？
GitHub和Anthropic几乎同时宣布调整AI写代码的计费模式，引发AI写代码成本是否会超雇程序员的讨论。AI公司前期以低价或免费扩张，如今将成本转嫁用户，但浪费严重，临界点临近。
Transformer终结者！谷歌DeepMind全新MoR架构问世，新一代魔王来了
KAIST、谷歌DeepMind等机构发布的MoR架构，推理速度翻倍、内存减半，重塑LLM性能边界，碾压传统Transformer。它融合参数共享与按需计算，有路由和KV缓存策略，实验显示其性能优越、可扩展性好。
从芯片到集群：启邦泽益的推理算力性价比突围
本文整理自启邦泽益联席CEO马冠华在2026芯算力创新峰会上的演讲，针对大模型推理爆发、算力成本高企的行业痛点，介绍启邦泽益从芯片到集群的全栈高性价比推理算力方案。
何恺明首个语言模型：105M参数，不走GPT自回归老路
何恺明团队推出全新连续扩散语言模型ELF，不走GPT自回归老路。它将生成过程留在连续embedding空间，最后离散化变回token。ELF用较少参数、训练token和采样步数，跑赢主流扩散语言模型。