Microsoft의 VisualGPT는 새로운 기술을 출시합니다. VisualGPT ”는 AI의 발전이며 시각과 언어 사이의 격차를 해소하여 보다 매력적이고 상호작용적인 AI 경험의 가능성을 열어줍니다.
VisualGPT란?
VisualGPT는 NLP(Natural Language Processing) 모델을 기반으로 한 ChatGPT의 확장 버전이지만 VisualGPT에서는 텍스트 쿼리를 이미지 형태로 변환할 수 있는 VFMS를 사용합니다. 텍스트와 이미지 쿼리의 조합/통합인 셈이다.
VisualGPT의 목적
유일한 텍스트 형식으로 작업하던 시장에 ChatGPT가 출시된 후 다음 단계의 발전을 달성하기 위해 이러한 모든 이유에 따라 AI 경쟁에서 텍스트에서 그래픽 형식으로 작업할 완벽한 도구가 있습니다. Microsoft는 VisualGPT를 출시합니다. VisualGPT의 주요 목적은 사용자 요구에 따라 AI 이미지를 생성하거나 이미지를 분석하는 것입니다.
VisualGPT의 아키텍처
VisualGPT는 User Query, Prompt Manager, Visual Foundation Models(VFMs), System Principle, History of Dialogue, History of Reasoning, Intermediate Answer를 포함합니다.
모델에 대해 구체적으로 이야기하면 ' VFM(시각 기반 모델) ”, BLIP(Bootstrapping Language-Image Pre-training) 및 Stable Diffusion과 같은 거의 22개의 VFM이 사용됩니다.
비주얼 채팅을 실행하는 방법GPT?
Visual ChatGPT를 실행하려면 다음 단계를 고려하십시오.
1단계: 환경 만들기
먼저 Python 버전 3.8의 환경을 만들어야 합니다.
수입 시스템
sys.경로.추가 ( '/usr/local/lib/python3.8/site-packages' )
2단계: Visual ChatGPT 파일 복제
이제 다음 명령을 사용하여 GitHub에서 시각적 ChatGPT 파일을 복제합니다.
! 자식 클론 https: // github.com / 디판슈88 / 비주얼-chatgpt.git 
3단계: 새 디렉터리 설정
그런 다음 아래 명령을 통해 새 디렉토리를 설정하십시오.
% CD 시각적 채팅 gpt4단계: 필수 패키지 설치
이제 '를 사용하여 필요한 패키지를 설치하십시오. 씨 ” cmdlet:
! 컬 https: // bootstrap.pypa.io / get-pip.py -영형 get-pip.py! python3.8 get-pip.py
! 파이썬3.8 -중 씨 설치하다 -아르 자형 requirements.txt
5단계: OpenAI API에 액세스
초기 패키지를 설치한 후 'platform.openai.com'에서 API 키를 얻고 인증된 API 호출을 수행하여 OpenAI API에 액세스합니다.
% 환경 OPENAI_API_KEY =sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx6단계: 모델 선택
마지막으로 Openai에 액세스한 후 모델을 선택하면 요구 사항에 따라 선택할 수 있는 visualGPT에서 사용되는 20개 이상의 모델이 있습니다.
! 파이썬3.8 . / visual_chatgpt.py --짐 Text2Image_cuda: 0위 명령어에서 ' Text2Image ”는 사용할 모델에 해당합니다. 자세한 내용은 이 Google Colab을 확인하세요. 공책 .
결론
ChatGPT는 모든 쿼리에 대한 구체적인 답변을 얻기 위해 도입되었으며 이제 Microsoft는 텍스트 및 그림 데이터를 처리할 수 있는 VisualGPT를 출시했습니다. 사용자는 텍스트 형식으로 자신의 요구 사항을 추가하고 그래픽 출력을 얻을 수 있습니다.