搜索：高效长上下文建模

「高效长上下文建模」共找到 1402 篇相关文章

马斯克掀桌子了，最强开源大模型诞生！Grok-2近万亿参数性能首曝

xAI官宣向所有人开源Grok - 2，其有9050亿参数、128k上下文窗口等强大技术规格。还梳理了开源部分、技术特点、权限等，介绍使用方法，网友和大佬高度评价，马斯克预告后续计划。

本文作者杨磊介绍全新生成模型离散分布网络DDN，它建模目标分布机制简洁独特，有零样本条件生成等特性。文中详述其原理、网络结构、损失函数，还展示实验效果，最后给出未来研究方向。

中国人工智能初创公司 Manus 推出新功能“Wide Research”，可让用户借助多个 AI Agent 同时处理大规模任务。该功能不走“深度研究”路径，架构经优化，计算能力扩展 100 倍，但效果待察。Manus 撤出中国市场，欲借此求差异。

在最新播客中，DeepMind掌门Hassabis表示自然界规律能被机器学习算法模仿。他畅想AGI应用于游戏，还提及迈向AGI要扩大计算规模，算力需求或增10倍，且运营上以初创公司模式兼顾研究与产品。

这是一篇AI行业周报，涵盖多领域热点。如Manus季逸超复盘Agent研发经验；陶哲轩评OpenAI模型获IMO金牌；字节跳动绩效改革、人员变动；还有企业动态，像英伟达黄仁勋访华、宇树科技开启上市辅导等。

具身智能领域尚未迎来「GPT时刻」，现有模仿学习范式有缺陷。字节跳动与阿德莱德大学研究者提出「动作链」（CoA）策略，通过轨迹自回归建模解决累计误差，提升泛化性，实验效果显著。

浙大研究深度研究系统领域，分析自2023年以来80多个实现，提出4维度分层分类法，全面剖析4种实现架构，如单体、流水线、多智能体和混合架构，并阐述各维度演变与进步。

Anthropic公司的AI编码助手Claude Code推出4个月吸引11.5万开发者，单周处理代码量达1.95亿行，预估年化收入约1.3亿美元。开发者Indragie用其构建macOS应用，2万行代码中手写不到1000行，还分享使用技巧与体验。

中山大学和华为联合提出低成本开源方案 SWE-Factory，可自动收集代码打造高质量代码评估数据集。它能解决传统构建流程繁琐、依赖人工的问题，实现全流程自动化，还构建了 SweSetupBench 数据集，表现出色。

上海交通大学李元祥教授等团队提出ITFormer架构，构建EngineMT-QA数据集。ITFormer能融合时序数据与大语言模型，适配多种编码器和模型，在EngineMT-QA预训练后达SOTA水平，实现高效数据分析。