向量数据库数据库人工智能后端【免费下载链接】lancedbDeveloper-friendly OSS embedded retrieval library for multimodal AI. Search More; Manage Less.项目地址https://gitcode.com/gh_mirrors/la/lancedb点击查看免费下载导读BaseTokenizer是 LanceDB Node.js SDK 中全文检索FTS索引的核心类型别名它决定了文本在建立索引与查询时如何被切分成词元token。本指南以该类型为线索完整讲解其全部 8 类取值simple、whitespace、raw、ngram、icu、icu/split 以及模型驱动的 jieba/*、lindera/*并结合仓库源码与测试用例说明如何在Index.fts()、tokenize()和Table.tokenize()中配置与验证分词行为。读完本文你将掌握为英文、中日韩CJK等多语言场景选择合适分词器、调整词元过滤参数以及排查模型词典缺失问题的一整套实战方法。BaseTokenizer 是什么在 TypeScript 定义中BaseTokenizer是一个字符串字面量联合类型定义于 nodejs/lancedb/indices.ts并在 docs/src/js/type-aliases/BaseTokenizer.md 中作为公开 API 文档发布type BaseTokenizer | simple | whitespace | raw | ngram | icu | icu/split | jieba/${string} | lindera/${string};它之所以是基础Base分词器是因为 FTS 索引的完整分词管道由FtsOptions见 nodejs/lancedb/indices.ts中的一组后处理选项共同构成baseTokenizer负责原始切词language、stem、removeStopWords、lowercase、asciiFolding、maxTokenLength、ngramMinLength等选项再对切出的词元做归一化、词干还原、停用词过滤等加工。选对BaseTokenizer是全文检索召回质量的基础。内置分词器逐一解析从源码注释nodejs/lancedb/indices.ts与 Python 侧文档字符串python/python/lancedb/table.py可以归纳出每个取值的确切行为simple默认值按空白与标点双重切分文本是最通用的默认选择。FtsOptions.baseTokenizer缺省即为simple。测试 nodejs/test/table.test.ts 验证了它对Running in cafés的切分结果const simpleTokens await table.tokenize(Running in cafés, { column: text, }); // 输出[{ text: run, position: 0 }, { text: cafe, position: 2 }]注意这里默认还叠加了词干还原stem与 ASCII 折叠asciiFolding所以Running变成run、cafés变成cafe。whitespace只按空白切分不按标点切分。适合标点具有语义、希望保留如C、state-of-the-art这类含标点词组的场景。raw完全不切分整段文本作为一个词元索引。适合精确匹配整串内容如 ID、哈希值、代码片段的检索需求。ngramN-gram 分词器按字符滑动窗口生成 n-gram 词元常用于容错检索与子串匹配。它与ngramMinLength默认 3、ngramMaxLength默认 3和prefixOnly是否只索引 token 前缀配合使用。测试 nodejs/test/table.test.ts 展示了关键行为默认最小 n-gram 长度为 3因此搜索la无结果、搜索lan命中两行将ngramMinLength设为 2 且prefixOnly: true后la也能命中但nce非前缀子串不再命中。await table.createIndex(text, { config: Index.fts({ baseTokenizer: ngram, ngramMinLength: 2, prefixOnly: true, }), replace: true, });icu基于 ICU 词典的词切分word segmentation能正确处理中文、日文等无空格语言的词组边界。测试 nodejs/test/table.test.ts 验证了对Hello, こんにちは世界!的切分const icuTokens await table.tokenize(Hello, こんにちは世界!, { indexName: japanese_icu_idx, }); // 输出[{ text: hello, position: 0 }, { text: こんにちは, position: 1 }, { text: 世界, position: 2 }]icu/splitICU 词典切分 simple 风格的标点分隔切分相当于在 ICU 识别语言单元的基础上再按分隔符细化适用于中英文混排等场景。模型驱动分词器jieba 与 lindera类型定义中的jieba/${string}与lindera/${string}是模板字面量类型表示必须以jieba/或lindera/开头的具体模型名称例如jieba/default、lindera/ipadic。这类分词器不是内置于二进制中而是从 Lance 的语言模型目录动态加载词典。jieba/*结巴分词面向中文常用模型名为jieba/defaultlindera/*Lindera 分词面向日语如 IPADIC 词典lindera/ipadic。Python 测试 python/python/tests/test_fts.py 与 python/python/tests/test_fts.py 验证了二者的实际效果# 中文 jieba搜索 我们 命中 我们都有光明的前途 table.create_fts_index( text, base_tokenizerjieba/default, stemFalse, remove_stop_wordsFalse, ascii_foldingFalse, ) # 日语 lindera搜索 成田 命中 成田国際空港 table.create_fts_index( text, base_tokenizerlindera/ipadic, stemFalse, remove_stop_wordsFalse, ascii_foldingFalse, )词典缺失时的错误提示使用模型驱动分词器时词典文件路径由环境变量LANCE_LANGUAGE_MODEL_HOME指定。若目录缺失会抛出包含Invalid directory path:、LANCE_LANGUAGE_MODEL_HOME与具体 tokenizer 名称如jieba/default的错误信息测试见 python/python/tests/test_fts.py。排障时确认该环境变量指向包含词典的目录即可。在 Node.js 中的三种使用方式1. 创建 FTS 索引Index.fts()通过Index.fts({ baseTokenizer })创建全文检索索引配置再传入table.createIndex()import { connect, Index } from lancedb/lancedb; const db await connect(./my_db); const table await db.createTable(docs, data); // 英文场景使用默认 simple中文场景改用 jieba await table.createIndex(text, { config: Index.fts({ baseTokenizer: jieba/default }), });Index.fts的实现在 nodejs/lancedb/indices.ts 中会把baseTokenizer连同withPosition、language、maxTokenLength、lowercase、stem、removeStopWords、customStopWords、asciiFolding、ngramMinLength、ngramMaxLength、prefixOnly、blockSize一并传给底层 Rust 绑定。2. 无索引独立分词tokenize()顶层导出的tokenize(query, options)nodejs/lancedb/index.ts不需要表或 FTS 索引可直接用任意baseTokenizer预览分词结果适合在建索引前验证分词效果import { tokenize } from lancedb/lancedb; const tokens await tokenize(Running in cafés, { baseTokenizer: simple }); // [{ text: run, position: 0 }, { text: cafe, position: 2 }] const icuTokens await tokenize(Hello, こんにちは世界!, { baseTokenizer: icu, stem: false, removeStopWords: false, });3. 按索引配置分词Table.tokenize()Table.tokenize(query, options)nodejs/lancedb/table.ts复用某列或某索引已配置的 tokenizer保证查询分词与索引分词完全一致。其选项通过column或indexName二选一指定来源二者都传或都不传都会报错测试见 nodejs/test/table.test.tsawait table.tokenize(hello, { column: text }); // 用 text 列索引的分词器 await table.tokenize(hello, { indexName: text_idx }); // 用指定索引的分词器注意模型驱动分词器jieba/*、lindera/*在重建时要求本地存在相同词典文件详见 nodejs/lancedb/table.ts 的注释说明。与 tokenizer 相关的其他配置项BaseTokenizer选型之外以下FtsOptions选项决定词元后处理默认值见 nodejs/lancedb/indices.ts选项默认值作用withPositiontrue是否保存词元位置关闭可缩小索引并加速构建但短语查询phrase query会报错language—词干还原与停用词所用语言仅在stem或removeStopWords开启时生效maxTokenLength—超过该长度的词元被忽略lowercasetrue是否转小写使查询大小写不敏感stemtrue是否做词干还原如 running/runs → runremoveStopWordstrue是否移除停用词如 the、andcustomStopWords—自定义停用词列表替换内置语言列表undefined保留内置空数组表示不启用停用词asciiFoldingtrueASCII 折叠如 café → cafengramMinLength/ngramMaxLength3/3ngram 词元的最小/最大长度prefixOnlyfalse是否只索引 token 前缀仅 ngram 有效blockSize128每个压缩 posting 块的文档数256使用实验性 FTS V3 格式可能引入破坏性变更Python 侧对应参数在create_fts_indexpython/python/lancedb/table.py中保持一致默认值为base_tokenizersimple、languageEnglish、max_token_length40、lower_caseTrue、stemTrue、remove_stop_wordsTrue、ascii_foldingTrue、ngram_min_length3、ngram_max_length3。Python 还保留了tokenizer_name作为兼容别名但源码注释明确指出它不支持jieba/default、lindera/ipadic这类模型驱动名称新代码应直接使用base_tokenizer。选型建议与验证流程综合内置分词器与模型驱动分词器的行为差异可参考以下选型思路英文等空格分隔语言默认simple即可配合stem/removeStopWords/asciiFolding获得大小写不敏感、词干归一化的检索需要保留含标点术语选whitespace精确整串匹配选raw子串/前缀容错检索选ngram并用ngramMinLength与prefixOnly控制召回粒度中文/日文等 CJK 文本优先icu或icu/split需要更高质量中文分词的用jieba/default如我们都有光明的前途能被我们命中日文用lindera/ipadic如成田命中成田国際空港。无论选择哪种 tokenizer都建议按先tokenize()预览 → 再建索引 → 用Table.tokenize()验证一致性的流程操作并利用 nodejs/test/table.test.ts 中的断言方式对每个分词器输入混合语料确认切词边界与后处理效果符合预期后再投入生产。若使用 jieba/lindera务必在部署环境配置LANCE_LANGUAGE_MODEL_HOME并预置词典避免索引创建阶段因词典缺失而失败。相关参考类型定义docs/src/js/type-aliases/BaseTokenizer.md、nodejs/lancedb/indices.ts选项接口docs/src/js/interfaces/FtsOptions.md、nodejs/lancedb/indices.ts独立分词函数docs/src/js/functions/tokenize.md、nodejs/lancedb/index.ts表级分词docs/src/js/classes/Table.md、nodejs/lancedb/table.tsNode.js 测试用例nodejs/test/table.test.tsPython 侧对应实现与测试python/python/lancedb/table.py、python/python/tests/test_fts.py赞分享向量数据库数据库人工智能后端【免费下载链接】lancedbDeveloper-friendly OSS embedded retrieval library for multimodal AI. Search More; Manage Less.项目地址https://gitcode.com/gh_mirrors/la/lancedb点击查看免费下载相关推荐LanceDB Node.js 全文检索分词TokenizeTableOptions 类型别名详解LanceDB Node.js 全文检索分词TokenizeTableOptions 类型别名详解 TokenizeTableOptions 是 LanceD向量数据库数据库人工智能后端Lance 全文检索分词器Tokenizer完整指南内置 ICU、Jieba、Lindera 与自定义语言模型Lance 全文检索分词器Tokenizer完整指南内置 ICU、Jieba、Lindera 与自定义语言模型 全文检索Full Text Search数据库向量数据库数据湖全文检索LanceDB Node.js 全文检索分词tokenize() 函数完全指南LanceDB Node.js 全文检索分词 tokenize 函数完全指南 全文检索Full Text Search, FTS的效果高度依赖分词策略同向量数据库数据库人工智能后端创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考