搜索：文本频率定律

「文本频率定律」共找到 566 篇相关文章

孙凝晖院士：集成芯片带来三大科学问题

随着摩尔定律发展放缓，集成芯片与芯粒技术对高性能芯片设计制造愈发重要。孙凝晖院士在2025年度晶上系统生态大会指出，集成芯片是提升性能新路径，但芯粒集成度提升带来三大科学问题。

文章详细解释大模型Token概念，指出分词器会把文字切成Token，不同分词器切分结果不同。还介绍分词器的分词方法，通过统计文字出现频率打包成Token并编号，不同模型切分结果有差异。

多模态是大模型热门应用概念，文本生成语音赛道受资本青睐。作者实测对比扣子空间和NotebookLM，发现扣子空间播客功能更优，能精准拿捏尺度，覆盖场景大，还能做旅行攻略、生成网站等。

谷歌开发者大会推出的Veo3模型，具备强大文本和图像转视频能力，首次实现视频与音频同步生成。实测中，它生成的视频音画效果惊艳，但也有翻车情况，谷歌还给出提示词编写指南。

随着Gemini、GPT - 4o等把基于文本的图像编辑推向高峰，提高性能常需大量数据和大参数量模型。而浙大哈佛团队提出ICEdit，用少量数据和参数实现高质量图像编辑，媲美甚至超越商业大模型。

介绍微软开源的轻量级Python文档转换工具MarkItDown，它支持20+格式智能转换为结构化Markdown，专为LLM文本分析场景优化，解决开发者处理多格式文档痛点，还阐述其功能、技术架构等内容。

LlamaIndex团队开源独立工具LiteParse，用Rust打造，可本地运行、零成本、高精度解析PDF。它能提取文本及精确位置，有多种输出格式，支持多格式输入，还介绍了安装、使用、OCR配置等内容及应用场景。

Google发布Gemini Embedding 2，首个原生多模态嵌入模型。能处理文本、图像等多种媒体类型，支持交错输入，覆盖超100种语言。与多模型串联方案比，延迟降70%、召回率升20%。已可在Gemini API等使用。

在Code RAG场景中，传统文本Embedding模型处理代码表现欠佳。蚂蚁集团与上海交通大学联合发布C2LLM系列模型，引入注意池化模块，在MTEB - Code榜单表现出色，还得益于优质训练流程，成果已回馈社区。

LTX-2开源，它是Lightricks团队开发的首个开源多模态基础模型，能联合生成音频和视频。采用非对称双流扩散变换器架构，用深度多语言文本编码器，速度比许多纯视频开源模型快，让模型理解声画关联。