이 안내서는 AWS의 목록 크롤러에 대해 설명합니다.
AWS의 목록 크롤러는 무엇입니까?
크롤러는 데이터 위치를 크롤링하고 해당 정보를 다시 카탈로그로 유추하는 데 사용되는 AWS Glue의 구성 요소입니다. 크롤러가 수집하는 정보는 데이터의 데이터 유형, 스키마 구조, 즉 메타데이터를 수집하는 것일 수 있습니다. Crawler는 ETL 작업 등을 사용하는 동안 데이터가 Glue 생태계 내부로 이동할 때 사용되는 데이터 카탈로그와 함께 사용할 수도 있습니다.
Amazon Glue 서비스란 무엇입니까?
AWS Glue는 사용자가 모든 데이터를 구성, 검색, 이동 및 변환할 수 있는 Amazon Extract Transform and Load 서비스입니다. AWS Glue는 사용자가 서버를 프로비저닝 및 구성하거나 수명 주기를 관리할 필요가 없으므로 서버리스입니다. 데이터 카탈로그 및 크롤러는 영구 메타데이터 리포지토리 역할을 하는 AWS Glue의 구성 요소입니다.
AWS에서 크롤러를 생성하는 방법은 무엇입니까?
AWS에서 크롤러를 생성하려면 AWS Management Console에서 AWS Glue 서비스를 방문하십시오.
' 겉옷 ” 왼쪽 패널에서 이름을 클릭하여 페이지:
'를 클릭합니다. 크롤러 만들기 ” 버튼:
크롤러의 이름을 입력하고 ' 다음 ” 버튼:
접착 테이블에 대한 매핑 옵션을 선택하고 ' 소스 추가 ” 버튼을 사용하여 데이터를 가져옵니다.
S3 서비스를 선택하고 ' S3 찾아보기 ” 버튼을 사용하여 소스 위치를 가져옵니다.
S3 폴더를 선택하고 ' 선택하다 ” 버튼:
위치가 소스에 추가되면 ' S3 데이터 소스 추가 ” 버튼:
'를 클릭합니다. 다음 ” 버튼:
'를 클릭합니다. 새 IAM 역할 생성 ” 버튼을 “ 보안 설정 구성 ' 부분:
역할 이름을 입력하고 ' 만들다 ” 버튼:
그런 다음 '를 클릭하기만 하면 됩니다. 다음 ” 버튼:
대상 데이터베이스를 선택하고 테이블에 사용할 이름을 입력합니다.
'에 대한 크롤러 예약 주문형 '를 클릭하고 ' 다음 ” 버튼:
구성을 검토하고 ' 크롤러 만들기 ” 버튼:
크롤러가 성공적으로 생성되었으며 '를 클릭하여 소스에서 데이터를 가져오는 데 사용할 수 있습니다. 달리다 ” 버튼:
이것이 AWS의 목록 크롤러에 관한 전부입니다.
결론
ListCrawler는 소스에서 정보를 크롤링하고 카탈로그로 돌아가는 데 사용할 수 있는 AWS Glue 서비스의 구성 요소입니다. 데이터 카탈로그 및 크롤러를 사용하여 데이터를 수집하여 메타데이터로 알려진 데이터에 대한 정보를 얻을 수 있습니다. 또한 사용자는 AWS Glue에서 크롤러를 생성하여 S3 서비스 또는 기타 소스에서 데이터를 가져오고 데이터베이스에 생성 테이블을 배치할 수 있습니다. 이 가이드에서는 AWS의 ListCrawlers와 생성 방법에 대해 설명했습니다.