UNPKG

2.62 kBJavaScriptView Raw
1"use strict";
2Object.defineProperty(exports, "__esModule", { value: true });
3exports.useDefaultBlacklistDict = exports.useDefaultSynonymDict = exports.useDefaultDicts = void 0;
4function useDefaultDicts(segment, options = {}) {
5 if (!options.nodict) {
6 // 字典文件
7 segment
8 //.loadDict('jieba') <=== bad file
9 .loadDict('char')
10 // 盘古词典
11 .loadDict('pangu/phrases')
12 .loadDict('pangu/phrases2')
13 .loadDict('phrases/*')
14 .loadDict('dict')
15 .loadDict('dict2')
16 .loadDict('dict3')
17 .loadDict('dict4')
18 .loadDict('pangu/dict005')
19 .loadDict('pangu/dict006')
20 //.loadDict('synonym/后')
21 //.loadDict('synonym/參')
22 //.loadDict('synonym/发')
23 .loadDict('dict_synonym/*')
24 //.loadDict('pangu/wildcard', 'WILDCARD', true) // 通配符
25 .loadStopwordDict('stopword') // 停止符
26 .loadDict('lazy/dict_synonym')
27 /*
28 .loadDict('names/area')
29 .loadDict('names/job')
30 .loadDict('names/food')
31
32 .loadDict('names/other')
33 .loadDict('names/jp')
34 .loadDict('names/zh')
35 .loadDict('names/en')
36 .loadDict('names/name')
37 */
38 .loadDict('names/*')
39 .loadDict('lazy/index')
40 .loadDict('pangu/num')
41 .loadDict('lazy/badword')
42 .loadDict('pangu/wildcard', 'WILDCARD', true);
43 useDefaultSynonymDict(segment, options);
44 useDefaultBlacklistDict(segment, options);
45 segment.doBlacklist();
46 }
47 return segment;
48}
49exports.useDefaultDicts = useDefaultDicts;
50function useDefaultSynonymDict(segment, options = {}) {
51 if (!options.nodict) {
52 segment
53 .loadSynonymDict('synonym') // 同义词
54 .loadSynonymDict('zht.synonym', false);
55 if (options.nodeNovelMode) {
56 segment
57 .loadSynonymDict('badword.synonym', false)
58 .loadSynonymDict('zht.common.synonym', false);
59 }
60 }
61 return segment;
62}
63exports.useDefaultSynonymDict = useDefaultSynonymDict;
64function useDefaultBlacklistDict(segment, options = {}) {
65 if (!options.nodict) {
66 segment
67 .loadBlacklistDict('blacklist')
68 .loadBlacklistOptimizerDict('blacklist.name')
69 .loadBlacklistSynonymDict('blacklist.synonym');
70 }
71 return segment;
72}
73exports.useDefaultBlacklistDict = useDefaultBlacklistDict;
74//# sourceMappingURL=dict.js.map
\No newline at end of file