이 가이드는 AWS 서비스를 사용하여 교차 검증 및 작업에 대해 설명합니다.
교차 검증이란 무엇입니까?
교차 유효성 검사를 통해 개발자는 다양한 머신 러닝 모델을 비교하고 실제 작동 방식을 이해할 수 있습니다. 이는 사용자가 하나의 특정 데이터 또는 시나리오에 대해 어떤 기계 학습(ML) 또는 딥 러닝(DL) 모델이 더 잘 작동하는지 파악하는 데 도움이 됩니다. 하나의 데이터 세트에 여러 모델을 사용할 수 있는 상황이 있습니다. 여기에서 개발자는 교차 검증을 사용하여 적합한 모델을 얻어 최적화된 결과를 얻습니다.
교차 검증은 어떻게 작동합니까?
데이터 세트에서 ML 모델을 확인하려면 사용자는 알고리즘 학습이라고 하는 모델의 기능을 추정해야 합니다. 또 하나 확인해야 할 사항은 모델이 얼마나 잘 수행되었는지 알아보기 위한 평가이며 이를 모델 테스트라고 합니다. 모든 데이터에 대해 모델을 테스트하는 것은 좋은 생각이 아니지만 더 나은 결과를 얻기 위해 데이터의 75%는 교육용으로, 25%는 테스트용으로 사용합니다. 교차 검증은 데이터의 25%마다 테스트를 수행하여 어떤 블록이 가장 잘 수행되는지 확인합니다.
Amazon SageMaker란 무엇입니까?
기계 학습 모델을 구축, 교육 및 배포하도록 설계된 Amazon SageMaker 서비스를 사용하여 AWS에서 교차 검증을 수행할 수 있습니다. 데이터 과학자와 개발자가 목적에 맞게 구축된 기능을 결합하여 효율적인 ML 또는 DL 모델을 구축하기 위한 데이터를 준비하는 데 도움이 됩니다. 이러한 기능은 시간이 지남에 따라 개선할 수 있는 최적화되고 정확한 모델을 구축하는 데 유용합니다.
Amazon SageMaker의 기능
Amazon SageMaker는 관리형 서비스이며 ML 환경 관리가 필요하지 않습니다. ML 모델을 훈련하고 구축하려면 많은 데이터가 필요하므로 Amazon S3 또는 Amazon Redshift 서비스와 잘 연결되어 데이터를 수집합니다. 원시 데이터는 정보를 얻기 어려울 수 있으므로 모델을 구축하는 기능도 필요합니다. 그런 다음 데이터를 사용하여 모델을 교육한 다음 데이터의 25%마다 테스트를 수행하여 더 나은 결과/예측을 얻습니다.
이것이 AWS의 교차 검증에 관한 것입니다.
결론
교차 검증은 더 나은 결과를 얻기 위해 데이터에 대한 최적의 머신 러닝 또는 딥 러닝 모델을 얻는 프로세스입니다. 데이터의 각 25% 섹션에 대해 테스트를 수행하여 어떤 블록이 최대 출력을 제공하는지 이해하여 적절한 적합 모델을 만듭니다. AWS는 클라우드에서 교차 검증을 수행하고 기계 학습 모델을 구축할 수 있는 SageMaker 서비스를 제공합니다. 이 가이드에서는 교차 검증 프로세스와 AWS에서의 작업에 대해 설명했습니다.