「Token 工程」共找到 1340 篇相关文章
重磅！翁荔最新Scaling Law深度洞察来了
北大毕业的前OpenAI高管翁荔（Lilian Weng）的《Scaling Laws, Carefully》值得一读。Scaling law是预训练预算表，能帮少烧错钱。文章探讨大模型训练预算分配，分析Kaplan和Chinchilla结论差异及数据稀缺问题。
AI 写代码太烧钱了：Copilot、Claude 一起涨价，不如把程序员请回来？
GitHub和Anthropic几乎同时宣布调整AI写代码的计费模式，引发AI写代码成本是否会超雇程序员的讨论。AI公司前期以低价或免费扩张，如今将成本转嫁用户，但浪费严重，临界点临近。
Transformer终结者！谷歌DeepMind全新MoR架构问世，新一代魔王来了
KAIST、谷歌DeepMind等机构发布的MoR架构，推理速度翻倍、内存减半，重塑LLM性能边界，碾压传统Transformer。它融合参数共享与按需计算，有路由和KV缓存策略，实验显示其性能优越、可扩展性好。
智源技术分享：大模型行业应用新模式和关键实现路径
在 AICon 大会上，智源研究院周华分享大模型行业应用。分析落地问题，提出以大模型为核心的技术路径，涵盖数据、训练等环节，还给出数据生产流程建议，分享最新开源成果。
Scaling Law 仍然成立，企业搜广推怎么做才能少踩“坑”？
InfoQ《极客有约》X AICon 直播邀请京东颜林等探讨生成式推荐落地洞察。指出搜广推场景 scaling law 成立且在上升，还分享大模型对搜广推的改变、架构成长方式，及平衡成本等方面的经验。
何恺明首个语言模型：105M参数，不走GPT自回归老路
何恺明团队推出全新连续扩散语言模型ELF，不走GPT自回归老路。它将生成过程留在连续embedding空间，最后离散化变回token。ELF用较少参数、训练token和采样步数，跑赢主流扩散语言模型。
杨植麟当主持人的大模型圆桌：张鹏罗福莉夏立雪都放开说了
中关村论坛上，杨植麟、罗福莉、张鹏、夏立雪、黄超齐聚，共论agent的下一代演进。各位大咖观点硬核，如罗福莉认为中国大模型团队优势在‘算力受限下的最优解能力’，张鹏解释智谱新模型涨价原因等。
OpenAI 的“编程”新范式？其实是瀑布模型的回魂：“听 PM 的话、写需求文档”
在今年AI工程师大会上，OpenAI研究员Sean Grove提出在AI驱动时代，清晰规范将取代传统代码成软件开发核心产物。他认为编程核心是结构化沟通，该转变是工程实践未来方向，但引发诸多讨论。
MiniMax-M1：全球首个开源超长上下文大模型，超越DeepSeek-R1，推理成本仅1/4
MiniMax-M1是全球首个开源超长上下文大模型，刷新三项记录。它采用混合专家架构，闪电注意力让推理复杂度近乎线性增长。CISPO算法加速训练，成本低。在工业级任务测试表现佳，已开源且方便开发者接入。
超长推理还能节省计算！Salesforce开源神器两连发：教大模型边想边省，显著提升数学编程准确率
Salesforce AI Research开源Elastic Reasoning和Fractured Sampling。前者将推理流程分两部分，分配token预算，使输出缩短、准确性提高；后者打碎推理链条，从三维度采样，以更少tokens换更高准确率，均提升数学和编程任务准确率。