「Tokens/s」共找到 796 篇相关文章
Transformer终结者！谷歌DeepMind全新MoR架构问世，新一代魔王来了
KAIST、谷歌DeepMind等机构发布的MoR架构，推理速度翻倍、内存减半，重塑LLM性能边界，碾压传统Transformer。它融合参数共享与按需计算，有路由和KV缓存策略，实验显示其性能优越、可扩展性好。
何恺明首个语言模型：105M参数，不走GPT自回归老路
何恺明团队推出全新连续扩散语言模型ELF，不走GPT自回归老路。它将生成过程留在连续embedding空间，最后离散化变回token。ELF用较少参数、训练token和采样步数，跑赢主流扩散语言模型。
【AAAI 2026大会特邀报告】从推理到科学发现：AI迈向可精专通才之路
上海人工智能实验室周伯文在AAAI 2026大会提出，当前处于AGI前夕，需通专融合智能。他认为可深度专业化通用模型是实现AGI的可行路径，科学发现是AI前沿，还介绍了SAGE架构及相关成果。
首个语音智能体端到端测评出炉：Grok登顶，真实场景通过率仅一半
Artificial Analysis推出业内首个语音转语音智能体端到端性能基准τ - Voice，测试真实客服场景能力。结果显示最强S2S模型成功率刚过一半，Grok Voice Think Fast 1.0夺冠，但也面临诸多质疑。
杨植麟当主持人的大模型圆桌：张鹏罗福莉夏立雪都放开说了
中关村论坛上，杨植麟、罗福莉、张鹏、夏立雪、黄超齐聚，共论agent的下一代演进。各位大咖观点硬核，如罗福莉认为中国大模型团队优势在‘算力受限下的最优解能力’，张鹏解释智谱新模型涨价原因等。
MiniMax-M1：全球首个开源超长上下文大模型，超越DeepSeek-R1，推理成本仅1/4
MiniMax-M1是全球首个开源超长上下文大模型，刷新三项记录。它采用混合专家架构，闪电注意力让推理复杂度近乎线性增长。CISPO算法加速训练，成本低。在工业级任务测试表现佳，已开源且方便开发者接入。
超长推理还能节省计算！Salesforce开源神器两连发：教大模型边想边省，显著提升数学编程准确率
Salesforce AI Research开源Elastic Reasoning和Fractured Sampling。前者将推理流程分两部分，分配token预算，使输出缩短、准确性提高；后者打碎推理链条，从三维度采样，以更少tokens换更高准确率，均提升数学和编程任务准确率。
马斯克还在卷10秒，中国AI直接掀桌！16秒一镜到底，全球唯二
2026年AI视频圈竞争激烈，硅谷巨头激战正酣，马斯克Grok Imagine上线生成10s视频功能。在此背景下，中国AI的Vidu Q3登场，16s音画直出一镜到底，还支持多种功能，位列中国第一、全球第二。
AMD跑GLM 5.2，成本只要英伟达一半
推理优化公司Wafer公布数据，用AMD的MI355X芯片跑GLM 5.2，单节点吞吐达2626 tok/s，单流吞吐213 tok/s，成本不到英伟达B200的一半。该公司详述部署过程，还提及AMD软件生态的变化及英伟达面临的挑战。
像原始人一样和AI对话，费用可直接砍掉40%
开源项目‘caveman-compression’能帮使用ChatGPT API或其他大模型的用户省钱。原理是删废话留关键信息，有调用OpenAI和本地NLP两种压缩方式，不同场景省钱效果不同，还介绍了使用方法。