중지 단어는 매우 일반적인 단어이며 거의 모든 문서에 나타나며 차별 값이 없습니다. 따라서 전체 텍스트 검색의 맥락에서 무시할 수 있습니다. 예를 들어, 모든 영어 텍스트에는와 같은 단어가 포함됩니다.aandthe이므로 색인에 저장하는 것은 쓸모가 없습니다. 그러나 단어 중지 단어는의 위치에 영향을 미칩니다.TSVECTOR, 순위에 영향을 미칩니다 :

select to_tsvector ( '영어', '중지 단어 목록에서');
        to_tsvector
----------------------------
 '목록': 3 '정지': 5 '단어': 6

누락 된 위치 1,2,4는 중지 단어 때문입니다. 중지 단어 유무에 관계없이 문서에 대해 계산 된 순위는 매우 다릅니다.

select ts_rank_cd (to_tsvector ( '영어', '중지 단어 목록에서'), to_tsquery ( 'list & stop'));
 TS_RANK_CD
------------
       0.05

ts_rank_cd (to_tsvector ( '영어', '목록 중지 단어'), to_tsquery ( 'list & stop'));
 TS_RANK_CD
------------
        0.1

그것은 단어 중지 단어를 취급하는 방법에 따라 다릅니다. 예를 들어,Ispell토토 캔은 먼저 단어를 정상화 한 다음 중지 단어 목록을 봅니다.Snowballstemmers는 먼저 중지 단어 목록을 확인합니다. 다른 행동의 이유는 소음을 줄이려는 시도입니다.

the단순토토 캔 템플릿은 입력 토큰을 소문자로 변환하고 중지 단어 파일에 대해 확인하여 작동합니다. 파일에서 발견되면 빈 배열이 반환되어 토큰을 폐기합니다. 그렇지 않은 경우, 단어의 하위 사례 형태는 정규화 된 lexeme로 반환됩니다. 또는 토토 캔은 비 층 단어를 인식 할 수없는 것으로보고하도록 구성 될 수 있으므로 목록의 다음 토토 캔으로 전달할 수 있습니다..

다음은를 사용한 토토 캔 정의의 예입니다.단순템플릿 :

텍스트 검색 토토 캔 생성 public.simple_dict (
    템플릿 = pg_catalog.simple,
    stopwords = 영어
);

여기,영어는 중지 단어 파일의 기본 이름입니다. 파일의 이름은입니다.$ sharedir/tsearch_data/el, 여기서$ sharedir의미PostgreSQL설치의 공유 데이터 디렉토리, 종종/usr/local/share/postgresql(사용PG_CONFIG -SHAREDIR확실하지 않은 경우 결정). 파일 형식은 단순히 줄 당 단어 목록입니다. 빈 줄과 후행 공간은 무시되고 대문자가 소문자로 접 히지 만 파일 내용에 대한 다른 처리는 수행되지 않습니다.

이제 우리는 토토 캔을 테스트 할 수 있습니다 :

선택 ts_lexize ( 'public.simple_dict', 'yes');
 ts_lexize
----------
 예

select ts_lexize ( 'public.simple_dict', 'the');
 ts_lexize
----------

우리는 또한 반품을 선택할 수 있습니다null20121_20255수락매개 변수 to거짓. 예제 계속 :

Alter Text 검색 토토 캔 public.simple_dict (accept = false);

ts_lexize ( 'public.simple_dict', 'yes')를 선택하십시오.
 ts_lexize
----------

select ts_lexize ( 'public.simple_dict', 'the');
 ts_lexize
----------

기본 설정의수락=true, a 배치하는 것이 유용합니다.단순토토 캔 목록의 끝에있는 토토 캔. 거꾸로,수락=거짓토토 캔 이후 하나 이상이있을 때만 유용합니다.

이 토토 캔 템플릿은 단어를 동의어로 대체하는 토토 캔을 만드는 데 사용됩니다. 문구는 지원되지 않습니다 (Thesurus 템플릿 사용 (섹션 12.6.4). 동의어 토토 캔은 예를 들어 영어 줄기 토토 캔이 단어를 줄이는 것을 막기 위해 언어 문제를 극복하는 데 사용될 수 있습니다.“파리”to“pari”. 가 충분합니다.파리 파리동의어 토토 캔에서 줄을 세우고E토토 캔lish_stem토토 캔. 예를 들어:

선택 *에서 ts_debug ( '영어', '파리');
   별칭 |   설명 | 토큰 |  토토 캔 |  토토 캔 | Lexemes
------------+----------------------------------------------------------------------------
 asciiword | 단어, 모든 ascii | 파리 | English_Stem | E토토 캔lish_stem | pari

텍스트 검색 토토 캔 생성 my_synonym (
    템플릿 = 동의어,
    동의어 = my_synonyms
);

텍스트 검색 구성 영어를 변경합니다
    asciiword에 대한 변경 매핑
    my_synonym, 영어 _stem;

선택 *에서 ts_debug ( '영어', '파리');
   별칭 |   설명 | 토큰 |       토토 캔 | 토토 캔 | Lexemes
-----------+----------------------------------------------------------------------------------------
 asciiword | 단어, 모든 ascii | 파리 | my_synonym, 영어 _stem | my_synonymy | 파리

동의어템플릿은동의어, 이는 구성 파일의 기본 이름입니다 -my_synonyms위의 예에서. 파일의 이름은입니다.$ sharedir/tsearch_data/my_synonyms.syn(where$ sharedir의미PostgreSQL설치의 공유 데이터 디렉토리). 파일 형식은 대체 할 단어 당 하나의 줄에 불과하며, 단어와 동의어와 함께 공백으로 분리됩니다. 빈 줄과 후행 공간은 무시됩니다.

the동의어템플릿은 선택적 매개 변수도 있습니다casesensitive, 기본값거짓. 언제casesensitiveis거짓, 동의어 파일의 단어는 입력 토큰과 마찬가지로 소문자로 접 힙니다. 그 때true, 단어와 토큰은 소문자로 접히지 않지만 비교됩니다.

별표 (*)는 구성 파일의 동의어 끝에 배치 할 수 있습니다. 이것은 동의어가 접두사임을 나타냅니다. 항목이 항목을 사용하면 별표가 무시됩니다to_tsvector (), 그러나 그것이 사용될 때to_tsquery (), 결과는 접두사 매치 마커가있는 쿼리 항목이됩니다 (참조섹션 12.3.2). 예를 들어,이 항목이에 있다고 가정합니다.$ sharedir/tsearch_data/synonym_sample.syn:

Postgres pgsql
postgresql pgsql
postgre pgsql
Gogle Googl
지수 인덱스*

그러면 결과를 얻을 것입니다 :

mydb =# 생성 텍스트 검색 토토 캔 syn (template = synonyms = 'synonyfy_sample');
mydb =# select ts_lexize ( 'syn', 'indices');
 ts_lexize
----------
 색인

ATSAURUS 토토 캔 (때로는 약식TZ)는 단어와 문구의 관계, 즉 더 넓은 용어 (에 대한 정보를 포함하는 단어 모음입니다.bt), 좁은 용어 (nt), 선호하는 용어, 선호되지 않은 약관, 관련 약관 등

기본적으로 동의어 토토 캔 토토 캔은 모든 선호되지 않은 모든 용어를 하나의 선호하는 용어로 대체하고 선택적으로 원래 용어를 인덱싱하는 용어를 보존합니다..PostgreSQL의 현재 시소러스 토토 캔의 현재 구현은 추가 된 동의어 토토 캔의 확장입니다.Phrase지원. 시소러스 토토 캔에는 다음 형식의 구성 파일이 필요합니다.

# 이것은 주석입니다
샘플 단어 : 색인 단어 (들)
더 많은 샘플 단어 : 더 많은 색인이있는 단어 (들)
...

콜론 (:) 기호는 문구와 교체 사이의 구분 기 역할을합니다.

ATSAURUS 토토 캔은 A를 사용합니다.Subdictionary(토토 캔 구성에 지정됨)는 문구 일치를 확인하기 전에 입력 텍스트를 정규화하기 위해. 하나의 하위 분할 만 선택할 수 있습니다. 하위 소설이 단어를 인식하지 못하면 오류 가보고됩니다. 이 경우, 단어의 사용을 제거하거나 그에 대한 하위 데이터를 가르쳐야합니다. 별표를 배치 할 수 있습니다 (*) 인덱스 된 단어의 시작 부분에서 하위 소설을 적용하는 것을 건너 뛰지 만 모든 샘플 단어필수부정사에게 알려져 있습니다.

동의어 토토 캔 토토 캔은 입력과 일치하는 여러 문구가있는 경우 가장 긴 일치를 선택하고 마지막 정의를 사용하여 넥타이가 끊어집니다..

소매에 의해 인식되는 특정 정지 단어를 지정할 수 없습니다. 대신 사용?중지 단어가 나타날 수있는 위치를 표시합니다. 예를 들어,를 가정합니다.aandthe하위 소설에 따라 중지 단어입니다.

? 하나 ? 둘 : SWSW

매치a 하나는and하나 A Two; 둘 다 대체SWSW.

동의어 토토 캔 토토 캔에는 문구를 인식 할 수있는 능력이 있으므로 상태를 기억하고 구문 분석기와 상호 작용해야합니다. 동의어 토토 캔 토토 캔은 이러한 과제를 사용하여 다음 단어를 처리하거나 축적을 중지 해야하는지 확인합니다. 시소러스 토토 캔은 신중하게 구성되어야합니다. 예를 들어, 시소러스 토토 캔이 만 처리하도록 할당 된 경우asciiword토큰, 그런 다음 동의어 토토 캔 정의와 같은One 7토큰 유형 이후로 작동하지 않습니다uint는 시소러스 토토 캔에 할당되지 않았습니다.

텍스트 검색 토토 캔 생성 Thesaurus_simple (
    템플릿 = 시소러스,
    Dictfile = Mythesaurus,
    토토 캔 = pg_catalog.english_stem
);

텍스트 검색 구성 러시아어 변경
    asciiword, asciihword, hword_asciipart에 대한 Alter 매핑
    Thesaurus_simple과 함께;

Supernovae Stars : Sn
게 성운 : 게

텍스트 검색 토토 캔 생성 Thesaurus_astro (
    템플릿 = 시소러스,
    dictfile = thesaurus_astro,
    토토 캔 = 영어 _stem
);

텍스트 검색 구성 러시아어 변경
    asciiword, asciihword, hword_asciipart에 대한 Alter 매핑
    Thesaurus_astro와 함께, E토토 캔lish_stem;

Plainto_tsquery ( 'Supernova Star')를 선택하십시오.
 Plainto_tsquery
------------------
 'sn'

선택 to_tsvector ( 'Supernova Star');
 to_tsvector
-------------
 'sn': 1

select to_tsquery ( '' 'supernova star' '');
 to_tsquery
------------
 'sn'

Supernovae Stars : Sn Supernovae Stars

Plainto_tsquery ( 'Supernova Star')를 선택하십시오.
       Plainto_tsquery
---------------------------------
 'sn'& 'supernova'& 'star'

theIspell토토 캔 템플릿 지원형태 학적 토토 캔,이 단어의 여러 언어 형태를 동일한 lexeme로 정상화 할 수 있습니다. 예를 들어, 영어Ispell토토 캔은 검색어의 모든 감소와 결합과 일치 할 수 있습니다은행, 예 :뱅킹, 은행, 은행, Banks '및Bank 's.

표준PostgreSQL분포는 포함되지 않습니다Ispell구성 파일. 많은 언어에 대한 토토 캔은에서 구할 수 있습니다.Ispell. 또한 더 현대적인 토토 캔 파일 형식이 지원됩니다 -MySpell(oo <2.0.1) 및Hunspell(oo = 2.0.2). 토토 캔 목록은에서 사용할 수 있습니다.OpenOffice Wiki.

생성Ispell토토 캔을 수행하는 단계 :

여기,dictfile, Afffile및Stopwords토토 캔, 부착 및 스톱워드의 기본 이름을 지정하십시오. STOP-WORDS 파일은 위에서 설명한 동일한 형식을 가지고 있습니다.단순토토 캔 유형. 다른 파일의 형식은 여기에 지정되지 않았지만 위에서 언급 한 웹 사이트에서 사용할 수 있습니다.

Ispell 토토 캔은 일반적으로 제한된 단어 세트를 인식하므로 다른 더 넓은 토토 캔이 뒤 따릅니다. 예를 들어, 모든 것을 인식하는 눈덩이 토토 캔.

the.affix파일Ispell다음 구조가 있습니다.

접두사
플래그 *a : 플래그 *a : 깃대 a : 깃대 a : a : 깃대 a : a.
    .            re enter Reenter에서 RE #
접미사
플래그 T :
    e st # 늦게 최신과 마찬가지로
    [^aeiou] y -y, iest # dirty dirtteiest
    [aeiou] y est #과 같이 회색 가장 회색
    [^ey] est #과 같이 작은 가장 작은

and the.dict파일은 다음 구조를 가지고 있습니다.

랩스/adgrs
라드/dgrs
대형/프티
LARK/MRS

형식.dict파일은 :

Basic_form/affix_class_name

in.affix파일 모든 부착 플래그는 다음 형식으로 설명됩니다 :

조건 [-stripping_letters,] adding_affix

여기서 조건은 정규식 형식과 유사한 형식을 갖습니다. 그룹화를 사용할 수 있습니다[...]and[^...]. 예를 들어,[aeiou] y단어의 마지막 문자가임을 의미합니다."Y"그리고 두 번째 편지는입니다."A", "E", "I", "O"또는"u". [^ey]마지막 문자는 아니 었음을 의미합니다."E"NOR"y".

Ispell 토토 캔은 화합물 단어 분할을 지원합니다. 유용한 기능. 부착 파일은를 사용하여 특수 플래그를 지정해야합니다.복합 단어 제어화합물 형성에 참여할 수있는 토토 캔 단어를 표시하는 진술 :

복합 단어 제어 Z

노르웨이어 언어에 대한 몇 가지 예는 다음과 같습니다.

ts_lexize ( 'Norwegian_ispell', 'OverBuljongterningPakkMesterissistent');
   Over, Buljong, Terning, Pakk, Mester, Assistent

MySpell형식은의 하위 집합입니다.Hunspell. 그만큼.affix파일Hunspell다음 구조가 있습니다.

pfx a y 1
pfx a 0 re.
sfx t n 4
SFX T 0 St e
sfx t y iest [^aeiou] y
sfx t 0 est [aeiou] y
sfx t 0 est [^ey]

부착 클래스의 첫 번째 줄은 헤더입니다. 부착 규칙의 필드는 헤더 다음에 나열됩니다.

the.dict파일처럼.dict파일Ispell:

Larder/m
LARDY/RT
큰/rspmyt
큰 마음

theSnowballDictionary Template는 영어에 대한 인기있는 Porter 's Stemming 알고리즘의 발명가 인 Martin Porter의 프로젝트를 기반으로합니다. Snowball은 이제 많은 언어에 대한 줄기 알고리즘을 제공합니다 ( 참조스노우 볼 사이트자세한 내용은). 각 알고리즘은 공통 변형 형태의 단어를 언어 내에서 철자로 줄이는 방법을 이해합니다. 눈덩이 토토 캔에는 A가 필요합니다.언어사용할 수있는 스템머를 식별하는 매개 변수 및 선택적으로 A를 지정할 수 있습니다Stopword제거 할 단어 목록을 제공하는 파일 이름. (PostgreSQL의 표준 스톱워드 목록도 Snowball Project에서 제공합니다.) 예를 들어,에 해당하는 내장 정의가 있습니다.

텍스트 검색 토토 캔 생성 E토토 캔lish_stem (
    템플릿 = 눈덩이,
    언어 = 영어,
    stopwords = 영어
);

Stopword 파일 형식은 이미 설명한 것과 동일합니다.

aSnowball토토 캔은 단어를 단순화 할 수 있는지 여부에 관계없이 모든 것을 인식하므로 토토 캔 목록의 끝에 배치해야합니다. 토큰이 다음 토토 캔으로 전달하지 않기 때문에 다른 토토 캔보다 먼저 그것을 갖는 것은 쓸모가 없습니다..