「流式输出」共找到 344 篇相关文章
豆包输入法Mac版正式上线，所有人都该试试AI语音输入了。
豆包输入法Mac版正式上线，作者推荐大家用其语音输入与AI对话。如今语音输入法渐成熟，能提升输入速度与质量。豆包输入法免费，体验好，有流式输出、自动纠错、中英混说、轻声抗噪等功能。
卡帕西点赞Transformer内置计算机！每秒3万Token吞吐，拿下世界最难数独
当前大模型推理顶尖但精确计算不足，Percepta团队在Transformer权重里内嵌可执行程序，通过2维注意力头设计提升推理效率，能在普通CPU上实现每秒3万+Token的流式输出，还精确求解了世界最难数独。
Life of a Token：像调试代码一样看懂大模型如何生成 Token
文章类比 Chrome 的 Life of a Pixel，追踪 LLM 里 token 从输入到输出的全程。以 GPT - 2 Small 为例，详细讲解其管线各阶段，如 Tokenization、Embedding 等，还介绍了残差流、KV Cache 等概念及 GPU 性能瓶颈和优化方法。
不是「电商 AI」，而是「AI 电商」
GenAI时代，AI与电商消费结合成趋势，“值得买科技”提出“全面AI战略”，发布火眼AIUC引擎等4个作品。其海纳MCP Server可输出消费服务能力，推动AI生态建设。还落地什么值得买Gen2和张大妈Agent等应用。
AI给你的总是平庸答案?5.8万星插件证明:问题不在模型,在你
GitHub上5.8万星的`taste-skill`仓库，无模型代码，仅用文本规则让AI编程工具输出更有品味。揭示AI默认给平庸答案是概率采样结果，还给出反中位数三问及AI时代变贵的是判断力。
百度智能云 DuMate 测评：办公 Agent 教我用 Claude Code，效果如何？
百度智能云桌面级AI智能体DuMate于今年3月22日全量上线。本文对其进行测评，设计围绕GitHub项目的复杂任务，测试它在研究、整理、文件生成和展示化输出的表现，探讨办公Agent从内容提供商到办公搭子的转变。
上新：Cache-DIT 支持LTX-2模型
作者和DefTruth在Cache-DIT上支持了LTX-2模型，记录适配关键点，包括模型侧、框架侧适配。介绍LTX-2特点，如支持T2V/I2V、输出带音频，还说明Cache-DIT加载区分T2V/I2V方法及cache侧修改内容，最后给出使用示例。
面向 SGLang 的 Profile Analysis SKILL：3 张表定位 Kernel Fuse 和 Overlap 机会
文章介绍了面向SGLang的Profile Analysis SKILL，其工作流统一，输出3张表定位Kernel Fuse和Overlap机会，支持多种分析方式和模型。还给出Qwen/Qwen3.5 - 4B和openai/gpt - oss - 20b的分析结果，并表明该SKILL能节省token、缩短工期，作者厌恶Torch Compile。
Google 发布 Gemini 3.1 Flash-Lite：每秒 363 tokens，百万 token 只要 $0.25
Google发布Gemini 3.1 Flash-Lite，输出速度达363 tokens/秒，比上一代快45%，首个token响应快2.5倍。价格降低，输入$0.25/百万tokens，输出$1.50/百万tokens。跑分不错，还有动态思考功能，支持多模态输入。
Google 开源 InkSight，把手写笔记直接变成可编辑数字笔记！
Google 开源 InkSight，能将手写照片转为数字墨迹，与传统 OCR 不同，它可「还原书写方式」。具备离线转在线、多语言支持等功能，核心是「阅读 + 书写」双重训练，有两种使用模式。