이 게시물은 다음 내용을 설명합니다.
OpenAI의 Jukebox란?
Jukebox는 가사, 장르, 아티스트 또는 분위기와 같은 입력이 주어지면 처음부터 음악을 생성할 수 있는 딥 러닝 시스템입니다. Jukebox는 Spotify, YouTube 및 MIDI 파일과 같은 다양한 소스의 120만 곡이 넘는 대규모 데이터 세트를 사용하여 음악의 패턴과 특징을 학습합니다.
OpenAI의 주크박스는 어떻게 작동합니까?
Jukebox는 VQ-VAE 인코더, 변압기 디코더 및 업샘플러의 세 가지 주요 구성 요소로 구성됩니다.
VQ-VAE 엔코더
VQ-VAE 인코더는 원시 오디오를 음악의 필수 정보를 보존하는 저차원 표현으로 압축하는 역할을 합니다. 인코더는 벡터 양자화(VQ)라는 기술을 사용하여 오디오의 각 세그먼트를 2048 토큰 중 하나로 매핑합니다.
변압기 디코더
그런 다음 이러한 토큰은 입력 및 학습된 음악 지식을 기반으로 토큰 시퀀스를 생성할 수 있는 신경망인 변환기 디코더에 공급됩니다. 디코더는 가사, 멜로디, 하모니, 리듬, 음색 및 기타 음악적 측면에 해당하는 토큰을 생성할 수 있습니다.
업샘플러
업샘플러는 생성된 토큰을 다시 고품질 오디오로 변환하는 최종 구성 요소입니다. 업샘플러는 다른 VQ-VAE를 사용하여 토큰에서 오디오를 재구성하는 동시에 하위 차원 표현에서 누락된 세부 정보와 뉘앙스를 추가합니다. 업샘플러는 또한 장르 또는 아티스트 임베딩과 같은 추가 정보를 사용하여 출력을 미세 조정하고 보다 사실적이고 다양하게 들리게 할 수 있습니다.
OpenAI의 Jukebox를 사용하는 방법?
Jukebox를 사용하려면 강력한 GPU 또는 Jukebox 코드를 실행할 수 있는 클라우드 컴퓨팅 서비스에 액세스할 수 있어야 합니다. Jukebox를 설치하고 실행하는 방법에 대한 스크립트와 지침을 찾을 수 있습니다. GitHub . 또한 Jukebox에서 생성한 노래의 몇 가지 예를 찾을 수 있습니다. 사운드클라우드 아래에:
Jukebox로 나만의 노래를 생성하려면 가사, 장르, 아티스트 또는 분위기와 같은 일부 입력 매개변수를 제공해야 합니다. 출력이 얼마나 무작위적이고 창의적인지 제어하는 샘플링 온도를 지정할 수도 있습니다.
더 높은 온도는 더 많은 다양성과 참신함을 의미하는 반면, 더 낮은 온도는 더 많은 일관성과 입력에 대한 유사성을 의미합니다. 5b(가장 높음)에서 1b(가장 낮음)까지 출력의 품질 및 복잡성 수준을 선택할 수도 있습니다. 레벨이 높을수록 충실도와 세부 사항이 높아질 뿐만 아니라 계산 시간과 리소스도 늘어납니다.
입력 매개변수를 설정했으면 Jukebox 코드를 실행하고 노래가 생성될 때까지 기다릴 수 있습니다. 설정 및 하드웨어에 따라 몇 분에서 몇 시간 또는 며칠이 걸릴 수 있습니다. 또한 진행 상황을 모니터링하고 도중에 중간 샘플을 들어보세요. 생성이 완료되면 노래를 MP3 파일로 다운로드하고 음악적 걸작을 즐길 수 있습니다.
주크박스의 특징
주크박스는 다음과 같은 다양한 용도로 사용할 수 있습니다.
- 개인용 또는 상업용으로 오리지널 음악 제작
- 기존 노래 리믹스 또는 샘플링
- 특정 분위기, 테마 또는 경우에 맞는 음악 생성
- 다양한 장르와 음악 스타일 탐색
- 재미있고 창의적이기
결론
Jukebox는 최소한의 노력으로 독창적이고 다양한 음악을 만들 수 있는 놀라운 도구입니다. 이를 사용하여 다양한 장르와 스타일을 실험하고 기존 노래 또는 아티스트를 리믹스하거나 음악을 통해 자신의 감정과 아이디어를 표현할 수 있습니다. 그러나 Jukebox는 완벽하지 않습니다. 때때로 결함, 오류 또는 무의미한 출력이 생성될 수 있습니다.