이 문서에서는 Hugging Face Transformers에서 토크나이저를 사용하는 방법에 대한 단계별 가이드를 제공합니다.
토크나이저란 무엇입니까?
Tokenizer는 NLP의 중요한 개념이며 주요 목적은 원시 텍스트를 숫자로 변환하는 것입니다. 이를 위해 다양한 기술과 방법론이 존재합니다. 그러나 각 기술이 특정 목적에 사용된다는 점은 주목할 가치가 있습니다.
Hugging Face Transformers에서 토크나이저를 사용하는 방법은 무엇입니까?
Hugging Face Transformers에서 토크나이저를 사용하는 방법은 무엇입니까?
토크나이저 라이브러리를 사용하고 기능을 가져오기 전에 먼저 설치해야 합니다. 그런 다음 AutoTokenizer를 사용하여 모델을 훈련한 다음 토큰화를 수행하기 위한 입력을 제공합니다.
Hugging Face는 아래와 같은 세 가지 주요 토큰화 범주를 소개합니다.
- 단어 기반 토크나이저
- 문자 기반 토크나이저
- 하위 단어 기반 토크나이저
다음은 Transformers에서 토큰나이저를 사용하는 단계별 가이드입니다.
1단계: Transformers 설치
변환기를 설치하려면 다음 명령에서 pip 명령을 사용하십시오.
2단계: 클래스 가져오기
변압기에서 수입 관로 , 그리고 AutoModelForSequenceClassification 분류를 수행하는 라이브러리:
3단계: 모델 가져오기
“ AutoModelForSequenceClassification ”는 토큰화를 위한 Auto-Class에 속하는 메소드입니다. 그만큼 from_pretrained() 메소드는 모델 유형에 따라 올바른 모델 클래스를 반환하는 데 사용됩니다.
여기에서는 ''에 모델 이름을 제공했습니다. 모델명 ” 변수:
모델명 = 'distilbert-base-uncased-finetuned-sst-2-english'사전 훈련 모델 =AutoModelForSequenceClassification.from_pretrained ( 모델명 )
4단계: AutoTokenizer 가져오기
'를 전달하여 토큰을 생성하려면 다음 명령을 제공하십시오. 모델명 '라는 주장으로:
생성된 토큰 =AutoTokenizer.from_pretrained ( 모델명 )
5단계: 토큰 생성
이제 문장에서 토큰을 생성하겠습니다. “나는 좋은 음식을 좋아해요” '를 사용하여 생성된 토큰 ” 변수:
인쇄 ( 단어 )
출력은 다음과 같이 제공됩니다.
위의 코드 구글 주식회사 여기에 주어집니다.
결론
Hugging Face에서 Tokenizer를 사용하려면 pip 명령을 사용하여 라이브러리를 설치하고 AutoTokenizer를 사용하여 모델을 교육한 다음 입력을 제공하여 토큰화를 수행합니다. 토큰화를 사용하여 문장의 의미를 유지하기 위해 순서가 지정된 단어에 가중치를 할당합니다. 이 점수는 또한 분석 가치를 결정합니다. 이 문서는 Hugging Face Transformers에서 Tokenizer를 사용하는 방법에 대한 자세한 가이드입니다.