불용 단어는 매우 일반적이고 거의 모든 문서에 나타나며 차별 가치가 없는 단어입니다. 따라서 전체 텍스트 검색에서는 무시될 수 있습니다. 예를 들어 모든 영어 텍스트에는 다음과 같은 단어가 포함되어 있습니다.a그리고그이므로 색인에 저장하는 것은 쓸모가 없습니다. 그러나 불용어는 위치에 영향을 미칩니다.ts벡터, 이는 순위에 영향을 미칩니다.

SELECT to_tsVector('english', '불용어 목록에서');
        to_ts벡터
---------------
 '목록':3 '중지':5 '단어':6

1,2,4번 위치가 누락된 이유는 불용어 때문입니다. 불용어가 있는 문서와 없는 문서에 대해 계산된 순위는 상당히 다릅니다.

SELECT ts_rank_cd (to_tsVector('english', '중지 단어 목록에서'), to_tsquery('list & stop'));
 ts_rank_cd
------------
       0.05

SELECT ts_rank_cd (to_tsVector('english', '목록 중지 단어'), to_tsquery('목록 & 중지'));
 ts_rank_cd
------------
        0.1

불용어를 처리하는 방법은 특정 윈 토토에 달려 있습니다. 예를 들어,ispell윈 토토은 먼저 단어를 정규화한 다음 중지 단어 목록을 살펴보는 반면눈덩이형태소 분석기는 먼저 중지 단어 목록을 확인합니다. 동작이 다르게 나타나는 이유는 소음을 줄이려는 시도입니다.

그간단한윈 토토 템플릿은 입력 토큰을 소문자로 변환하고 이를 중지 단어 파일과 비교하여 확인하는 방식으로 작동합니다. 파일에서 발견되면 빈 배열이 반환되어 토큰이 삭제됩니다. 그렇지 않은 경우 단어의 소문자 형태가 정규화된 어휘소로 반환됩니다. 또는 정지 단어가 아닌 단어를 인식할 수 없는 것으로 보고하도록 윈 토토을 구성하여 해당 단어가 목록의 다음 윈 토토으로 전달되도록 할 수 있습니다.

다음은 다음을 사용한 윈 토토 정의의 예입니다.간단한템플릿:

텍스트 검색 윈 토토 생성 public.simple_dict(
    템플릿 = pg_catalog.simple,
    STOPWORDS = 영어
);

여기,영어은 불용어 파일의 기본 이름입니다. 파일의 전체 이름은 다음과 같습니다.$SHAREDIR/tsearch_data/english.stop, 여기서$SHAREDIR의미PostgreSQL설치의 공유 데이터 디렉토리, 종종/usr/local/share/postgresql(사용pg_config --sharedir확실하지 않은 경우 결정). 파일 형식은 단순히 한 줄에 하나씩 단어 목록입니다. 빈 줄과 후행 공백은 무시되고 대문자는 소문자로 변환되지만 파일 내용에 대해서는 다른 처리가 수행되지 않습니다.

이제 윈 토토을 테스트할 수 있습니다:

SELECT ts_lexize('public.simple_dict', '예');
 ts_lexize
-----------
 예

SELECT ts_lexize('public.simple_dict', 'The');
 ts_lexize
-----------

우리는 또한 복귀를 선택할 수도 있습니다NULL, 중지 단어 파일에 없는 경우 소문자 단어 대신. 이 동작은 윈 토토의를 설정하여 선택됩니다.수락매개변수 ~거짓. 예시를 계속하면:

ALTER TEXT SEARCH DICTIONARY public.simple_dict ( Accept = false );

SELECT ts_lexize('public.simple_dict', '예');
 ts_lexize
-----------

SELECT ts_lexize('public.simple_dict', 'The');
 ts_lexize
-----------

기본 설정은수락 = 사실, a를 배치하는 것만 유용합니다.간단한윈 토토은 다음 윈 토토에 어떤 토큰도 전달하지 않기 때문에 윈 토토 목록 끝에 있습니다. 반대로,수락 = 거짓다음 윈 토토이 하나 이상 있는 경우에만 유용합니다.

이 윈 토토 템플릿은 단어를 동의어로 바꾸는 윈 토토을 생성하는 데 사용됩니다. 구문은 지원되지 않습니다(동의어 윈 토토 템플릿(섹션 12.6.4)을 참조하세요). 동의어 윈 토토은 예를 들어 영어 형태소 분석기 윈 토토이 단어를 축소하는 것을 방지하기 위해 언어적 문제를 극복하는 데 사용될 수 있습니다.“파리”에“파리”. 하나면 충분해요파리 파리동의어 윈 토토에 줄을 추가하고 그 앞에 넣으세요english_stem윈 토토. 예를 들면:

SELECT * FROM ts_debug('english', 'Paris');
   별칭 |   설명 | 토큰 |  윈 토토 |  윈 토토 | 어휘소 
---------+------+-------+---+---------------+---------
 ASCII워드 | 단어, 모두 ASCII | 파리 | english_stem | 영어_줄기 | 파리

텍스트 검색 윈 토토 생성 my_synonym(
    템플릿 = 동의어,
    동의어 = my_synonyms
);

텍스트 검색 구성 변경 english
    ASCIIWord에 대한 매핑 변경
    WITH my_synonym, english_stem;

SELECT * FROM ts_debug('english', 'Paris');
   별칭 |   설명 | 토큰 |       윈 토토 | 윈 토토 | 어휘소 
---------+------+-------+---------------+------------+---------
 ASCII워드 | 단어, 모두 ASCII | 파리 | my_synonym,english_stem | 내_동의어 | 파리

다음에 필요한 유일한 매개변수는동의어템플릿은동의어, 구성 파일의 기본 이름 —my_synonyms위의 예에서는. 파일의 전체 이름은 다음과 같습니다.$SHAREDIR/tsearch_data/my_synonyms.syn(어디에서$SHAREDIR의미PostgreSQL설치의 공유 데이터 디렉토리). 파일 형식은 대체할 단어당 한 줄이며, 단어 뒤에 동의어가 오고 공백으로 구분됩니다. 빈 줄과 후행 공백은 무시됩니다.

그동의어템플릿에도 선택적 매개변수가 있습니다대소문자 구분, 기본값은거짓. 언제대소문자 구분is거짓, 동의어 파일의 단어는 입력 토큰과 마찬가지로 소문자로 접혀집니다. 그럴 때참, 단어와 토큰은 소문자로 접혀지지 않고 있는 그대로 비교됩니다.

별표(*)는 구성 파일에서 동의어 끝에 배치될 수 있습니다. 이는 동의어가 접두사임을 나타냅니다. 항목이 사용되는 경우 별표는 무시됩니다.to_ts벡터(), 그러나 다음에서 사용되는 경우to_tsquery(), 결과는 접두사 일치 마커가 있는 쿼리 항목이 됩니다(참조섹션 12.3.2). 예를 들어, 다음 항목이$SHAREDIR/tsearch_data/synonym_sample.syn:

포스트그레스 pgsql
포스트그레SQL
포스트그레 pgsql
고글구글
인덱스 인덱스*

그러면 우리는 다음과 같은 결과를 얻게 될 것입니다:

mydb=# 텍스트 검색 윈 토토 생성 syn (템플릿=동의어, 동의어='synonym_sample');
mydb=# SELECT ts_lexize('syn', '인덱스');
 ts_lexize
-----------
 색인

동의어 윈 토토(때때로 다음과 같이 축약됨TZ)는 단어와 구문의 관계에 대한 정보를 포함하는 단어 모음입니다(예: 더 넓은 용어()BT), 더 좁은 용어(NT), 선호 용어, 비선호 용어, 관련 용어 등

기본적으로 유의어 윈 토토은 선호하지 않는 모든 용어를 하나의 선호 용어로 대체하고 선택적으로 색인 생성을 위해 원래 용어도 보존합니다.PostgreSQL의 현재 동의어 윈 토토 구현은 추가된 동의어 윈 토토의 확장입니다.구문지원합니다. 동의어 윈 토토에는 다음 형식의 구성 파일이 필요합니다.

# 이것은 댓글입니다
샘플 단어: 색인된 단어
더 많은 샘플 단어: 더 많은 색인 단어
...

여기서 콜론(:) 기호는 문구와 대체 문구 사이의 구분 기호 역할을 합니다.

동의어 윈 토토은 다음을 사용합니다.하위(윈 토토 구성에 지정됨)은 구문 일치를 확인하기 전에 입력 텍스트를 정규화합니다. 하위 윈 토토은 하나만 선택할 수 있습니다. 하위 윈 토토이 단어를 인식하지 못하면 오류가 보고됩니다. 그런 경우에는 해당 단어의 사용을 제거하거나 해당 단어에 대한 하위 윈 토토을 가르쳐야 합니다. 별표()를 넣을 수 있습니다.*) 색인된 단어의 시작 부분에 하위 윈 토토 적용을 건너뛰지만 모든 샘플 단어반드시하위 윈 토토에 알려져 있습니다.

입력과 일치하는 구문이 여러 개 있고 마지막 정의를 사용하여 연결이 끊어지면 동의어 윈 토토은 가장 긴 일치를 선택합니다.

하위 윈 토토에 의해 인식되는 특정 중지 단어는 지정할 수 없습니다. 대신에 사용하세요?불용어가 나타날 수 있는 위치를 표시합니다. 예를 들어 다음과 같이 가정합니다.a그리고그하위 윈 토토에 따른 불용어입니다:

? 하나 ? 2개 : swsw

일치하나 둘그리고하나 둘; 둘 다 다음으로 대체됩니다.swsw.

동의어 윈 토토에는 구문을 인식하는 기능이 있으므로 해당 상태를 기억하고 파서와 상호 작용해야 합니다. 동의어 윈 토토은 이러한 할당을 사용하여 다음 단어를 처리해야 하는지 또는 누적을 중지해야 하는지 확인합니다. 동의어 윈 토토은 주의 깊게 구성해야 합니다. 예를 들어, 동의어 윈 토토이 다음만 처리하도록 할당된 경우,asciiword토큰, 다음과 같은 동의어 윈 토토 정의하나 7토큰 유형 이후로는 작동하지 않습니다.단위동의어 윈 토토에 할당되지 않았습니다.

텍스트 검색 윈 토토 생성 thesaurus_simple(
    템플릿 = 동의어 윈 토토,
    DictFile = 신화사우루스,
    윈 토토 = pg_catalog.english_stem
);

텍스트 검색 구성 변경 러시아어
    asciiword, asciihword, hword_asciipart에 대한 매핑 변경
    동의어 윈 토토_simple;

초신성 별: sn
게 성운 : 게

텍스트 검색 윈 토토 생성 thesaurus_astro(
    템플릿 = 동의어 윈 토토,
    DictFile = thesaurus_astro,
    윈 토토 = english_stem
);

텍스트 검색 구성 변경 러시아어
    asciiword, asciihword, hword_asciipart에 대한 매핑 변경
    WITH thesaurus_astro, english_stem;

SELECT plainto_tsquery('초신성');
 plainto_tsquery
-----------------
 'sn'

SELECT to_tsVector('초신성');
 to_ts벡터
-------------
 'sn':1

SELECT to_tsquery('''초신성''');
 to_tsquery
------------
 'sn'

초신성 별 : sn 초신성 별

SELECT plainto_tsquery('초신성별');
       plainto_tsquery
----------------
 'sn' & '초신성' & '별'

그Ispell윈 토토 템플릿 지원형태학적 윈 토토, 이는 단어의 다양한 언어 형태를 동일한 어휘소로 정규화할 수 있습니다. 예를 들어 영어Ispell윈 토토은 검색어의 모든 어형 변화 및 활용형과 일치할 수 있습니다.은행, 예:뱅킹, 뱅킹됨, 은행, 은행'및은행.

표준포스트그레SQL배포에는 아무것도 포함되지 않습니다.Ispell구성 파일. 다양한 언어에 대한 윈 토토은 다음에서 제공됩니다.Ispell. 또한 일부 최신 윈 토토 파일 형식이 지원됩니다 —MySpell(OO < 2.0.1) 및Hunspell(OO = 2.0.2). 광범위한 윈 토토 목록은 다음에서 이용 가능합니다.오픈오피스 위키.

생성하려면Ispell윈 토토은 다음 단계를 수행합니다:

여기,딕트파일, AffFile및불용어윈 토토, 접사 및 불용어 파일의 기본 이름을 지정합니다. 불용어 파일은 위에서 설명한 것과 동일한 형식을 갖습니다.간단한윈 토토 유형. 다른 파일의 형식은 여기에 지정되어 있지 않지만 위에서 언급한 웹 사이트에서 사용할 수 있습니다.

Ispell 윈 토토은 일반적으로 제한된 단어 집합을 인식하므로 다음에는 더 넓은 범위의 윈 토토이 와야 합니다. 예를 들어 모든 것을 인식하는 Snowball 윈 토토이 있습니다.

그.부착파일Ispell다음과 같은 구조를 가지고 있습니다:

접두사
플래그 *A:
    .            RE # enter  reenter와 같습니다.
접미사
플래그 T:
    E  ST # 마찬가지로 late  late
    [^AEIOU]Y  -Y,IEST # dirty  dirtyiest와 마찬가지로
    [AEIOU]Y  EST # 회색과 마찬가지로  가장 회색
    [^EY]  EST # 작음  작음과 같음

그리고.dict파일의 구조는 다음과 같습니다:

경과/ADGRS
라드/DGRS
대형/PRTY
종달새/MRS

형식.dict파일은 다음과 같습니다:

basic_form/affix_class_name

그 안에서.부착파일의 모든 접사 플래그는 다음 형식으로 설명됩니다:

조건  [-stripping_letters,] 추가_부착

여기서 조건은 정규 표현식의 형식과 유사한 형식을 갖습니다. 그룹화를 사용할 수 있습니다.[...]그리고[^...]. 예를 들어,[AEIOU]Y단어의 마지막 문자가 다음임을 의미합니다."y"그리고 끝에서 두 번째 문자는"a", "e", "나", "오"또는"u". [^EY]마지막 문자가 둘 다 아님을 의미합니다."e"아니요"y".

Ispell 윈 토토은 복합어 분리를 지원합니다; 유용한 기능입니다. 첨부 파일은를 사용하여 특수 플래그를 지정해야 합니다.복합어 제어복합 형성에 참여할 수 있는 윈 토토 단어를 표시하는 명령문:

복합어 제어 z

다음은 노르웨이어에 대한 몇 가지 예입니다:

SELECT ts_lexize('norwegian_ispell', 'overbulzonterningpakkmesterassistant');
   오버,불종,터닝,팩,메스터,어시스턴트

MySpell형식은의 하위 집합입니다.훈스펠..부착파일훈스펠다음과 같은 구조를 가지고 있습니다:

PFX A Y 1
PFX A 0 re .
SFX T N 4
SFX T 0초
SFX T y est [^aeiou]y
SFX T 0 est [aeiou]y
SFX T 0 est [^ey]

접사 클래스의 첫 번째 줄은 헤더입니다. 접사 규칙의 필드는 헤더 뒤에 나열됩니다.

그.dict파일은 다음과 같습니다.dict파일Ispell:

식품 저장실/M
라디/RT
대형/RSPMYT
마음이 넓다

그눈덩이윈 토토 템플릿은 인기 있는 영어용 Porter의 형태소 분석 알고리즘의 발명가인 Martin Porter의 프로젝트를 기반으로 합니다. Snowball은 이제 다양한 언어에 대한 형태소 분석 알고리즘을 제공합니다(눈덩이 사이트자세한 내용은). 각 알고리즘은 단어의 일반적인 변형 형태를 해당 언어 내에서 기본 또는 어간, 철자로 줄이는 방법을 이해합니다. Snowball 윈 토토에는 다음이 필요합니다.언어사용할 형태소 분석기를 식별하는 매개변수이며 선택적으로 다음을 지정할 수 있습니다.불용어제거할 단어 목록을 제공하는 파일 이름. (PostgreSQL의 표준 불용어 목록은 Snowball 프로젝트에서도 제공됩니다.) 예를 들어 다음과 같은 기본 제공 정의가 있습니다.

텍스트 검색 윈 토토 생성 english_stem(
    템플릿 = 눈덩이,
    언어 = 영어,
    StopWords = 영어
);

불용어 파일 형식은 이미 설명한 것과 같습니다.

A 눈덩이윈 토토은 단어를 단순화할 수 있는지 여부에 관계없이 모든 것을 인식하므로 윈 토토 목록 끝에 배치해야 합니다. 토큰이 이를 통해 다음 윈 토토으로 전달되지 않기 때문에 다른 윈 토토보다 먼저 갖는 것은 쓸모가 없습니다.