搜索：文本判别知识蒸馏

「文本判别知识蒸馏」共找到 940 篇相关文章

谷歌开源结构化信息提取神器！4K+ Star，精准定位+交互式可视化！

在医疗、法律等领域，手动从非结构化文本提取信息费力，传统NLP工具需复杂训练。谷歌开源的LangExtract是高精度信息抽取Python库，能自动提取结构化信息，有精确源定位等功能，还给出使用示例和典型场景。

香港大学NLP团队联合字节跳动Seed、复旦大学发布Polaris强化学习训练配方，让4B模型数学推理能力超商业大模型，且Polaris-4B可在消费级显卡部署，相关内容已全部开源。

AI 发展带动大量 AI 纪要工具兴起，Granola 凭借新颖 AI 交互方式和对 AI 产品的深入思考，成为领域后起之秀。它提供 AI 补充人工笔记功能，改变了很多知识工作者工作流，但也面临用户习惯和大模型公司切入等挑战。

最新研究推出 EMMA 基准测试，揭示顶尖多模态大语言模型在深度视觉与文本融合的复杂多模态推理上显著不足。该研究已被 ICML 2025 接收，代码数据开源。实验表明，现有模型与人类专家差距大，视觉推理是核心瓶颈。

周六凌晨Claude Opus 5全量上线，在所有Claude产品里可用。它有100万上下文，知识最新到2026年5月。跑分显示其在很多领域逼近Fable 5，价格仅为一半。它和Fable 5各有优势，还带来Claude Code使用的变化。

OpenAI的GPT - Image - 2虽未正式发布但已全量上线，实测在文字渲染、知识理解等方面超强大，有信息图、专辑封面、UI设计等多种玩法，Sam Altman官宣明天发布内容或含它，还可能宣布实现AGI时间。

大语言模型处理长文本时，自回归生成受限于显存带宽。为减少KV缓存开销，业界尝试多种方法，但MLA有缺陷。宾夕法尼亚州立大学等研究人员提出MLRA，拆分KV缓存为四个并行分支，降低显存占用，实现4路张量并行，性能更优。

文章围绕「上下文图谱」展开，探讨其定义、构建问题及创业机会。指出它是决策轨迹积累形成的结构，构建要解决双时钟等问题。大厂难以捕捉决策轨迹，初创公司有三条路可走，捕捉决策轨迹或成新万亿级平台。

预训练大型文本到图像扩散模型定制化时，样本有限易致过拟合。AIRI和HSE大学团队提出T - LoRA框架，动态调整训练能力、用正交初始化，实验显示其在单图像和多图像任务表现优，用户更偏好其生成图像。

文章区分了提示词、提示词工程和上下文工程的概念。提示词是给AI模型的输入文本；提示词工程是设计、测试、优化提示词的过程；上下文工程是为大模型构建动态上下文的学科，在AI Agent背景下诞生。