이 시대에 Transformers는 여러 NLP(자연어 처리) 작업에서 최상의 결과를 제공한 가장 강력한 모델입니다. 처음에는 텍스트 생성은 물론 분류, 기계 번역 등을 포함한 언어 모델링 작업에 활용되었습니다. 그러나 이제는 객체 인식, 이미지 분류 및 기타 여러 컴퓨터 비전 작업에도 사용됩니다.
이 튜토리얼에서는 Transformers를 사용하여 텍스트 분류를 수행하는 절차를 제공합니다.
변환기를 사용하여 텍스트 분류를 수행하는 방법은 무엇입니까?
Transformers를 사용하여 텍스트 분류를 수행하려면 먼저 “ 변압기 제공된 명령을 실행하여 ” 라이브러리를 삭제합니다.
! 씨 설치하다 변압기
보시다시피 지정된 라이브러리가 성공적으로 설치되었습니다.
그런 다음 ' 관로 ' 로부터 ' 변압기 ' 도서관:
Transformers 가져오기 파이프라인에서
여기서는 “ 관로 ”에는 수행해야 하는 NLP 작업과 토크나이저와 함께 이 작업에 필요한 변환기 모델이 포함됩니다.
메모: 토크나이저는 텍스트를 토큰으로 분리하여 모델의 입력으로 제공될 텍스트에 대한 처리를 수행하는 데 사용됩니다.
그 후에는 ' 관로() ” 함수를 사용하여 “ 제로샷 분류 '라는 주장을 펼쳤습니다. 다음으로 모델인 또 다른 매개변수를 전달합니다. 우리는 Facebook의 ' 바트 '트랜스포머 모델. 여기서는 지정된 모델에 의해 자동으로 추론될 수 있으므로 토크나이저를 사용하지 않습니다.
text_classifier = 파이프라인 ( '제로샷 분류' , 모델 = '페이스북/bart-large-mnli' )
이제 '를 선언합니다. 순서 ” 분류해야 하는 입력 텍스트를 보유하는 변수입니다. 그런 다음 텍스트를 분류하고 싶은 카테고리를 제공하고 “ 랩 ” 라벨로 알려져 있습니다.
연구실 = [ '업데이트' , '실수' , '중요한' , '확인' ]
마지막으로 입력과 함께 파이프라인을 실행합니다.
파이프라인을 실행한 후 모델은 제공된 시퀀스가 분류될 것으로 예측하는 것을 볼 수 있습니다.
추가 정보: 모델의 성능을 향상시키려면 GPU를 사용해야 합니다. 그렇다면 해당 목적을 위해 파이프라인에 장치 인수를 지정하고 ' 0 ” GPU를 활용합니다.
둘 이상의 시퀀스/입력 텍스트 문에서 텍스트를 분류하려면 해당 텍스트를 목록에 추가하고 파이프라인에 입력으로 전달할 수 있습니다. 이를 위해 코드 조각을 확인하세요.
순서 = [ '교정과 편집은 명확성, 일관성, 오류 없는 콘텐츠를 보장하는 데 필요한 구성 요소입니다.' ,'현대 시대에 기사의 순위를 높이고 더 많은 독자에게 다가가려면 SEO 최적화가 필수적입니다.' ]
text_classifier ( 순서 , 연구실 )
산출
그게 다야! Transformers를 사용하여 텍스트 분류를 수행하는 가장 쉬운 방법을 정리했습니다.
결론
Transformer는 텍스트 생성, 텍스트 분류, 기계 번역 등의 언어 모델링 작업은 물론 객체 인식, 이미지 분류 등의 컴퓨터 비전 작업을 수행하는 데 사용됩니다. 이 튜토리얼에서는 Transformers를 사용하여 텍스트 분류를 수행하는 프로세스를 설명했습니다.