MARS5 TTS

MARS5 TTS's 개요

MARS5는 CAMB.AI에서 개발한 새로운 영어 음성 합성(TTS) 모델임. AR-NAR 2단계 파이프라인을 쓰고, NAR 부분이 꽤 독특함. 5초짜리 오디오랑 텍스트 조금만 있으면 스포츠 중계나 애니메이션 같은 다양한 상황에 맞는 음성을 생성할 수 있음. 문장부호랑 대소문자로 생성 음성의 운율(prosody)을 조절할 수 있고, 오디오 레퍼런스 파일로 화자 정체성도 지정 가능함. 얕은 클로닝(shallow)이랑 깊은 클로닝(deep)을 둘 다 지원하는데, 깊은 클로닝은 프롬프트 트랜스크립트가 필요함. `torch.hub`로 간단하게 불러올 수 있고, 레퍼런스 오디오랑 트랜스크립트만 넣으면 추론이 돌아감. 기본 설정도 결과가 괜찮은 편이고, 특정 용도에 맞게 추론 설정을 튜닝할 수도 있음. 체크포인트랑 하드웨어 요구사항은 GitHub 레포에 있음. 모델 개선에 대한 기여도 환영함. SEO 키워드: MARS5, TTS, 음성 합성, 음성 클로닝, 운율 제어, 오픈소스 음성 모델, CAMB.AI.

MARS5 TTS's 특징

• AR-NAR 2단계 파이프라인

• 문장부호와 대소문자를 활용한 운율 제어

• 화자 정체성 지정

• 얕은 클로닝과 깊은 클로닝 지원

• `torch.hub`를 통한 간편한 모델 로딩

• 레퍼런스 오디오와 트랜스크립트 기반 추론

• 오픈소스이며 대체 라이선스 옵션 제공

MARS5 TTS's Q&A

MARS5 TTS's 가격 책정

MARS5는 GNU AGPL 3.0 라이선스로 공개된 오픈소스임. 다른 라이선스 옵션이 필요하면 help@camb.ai로 문의하면 됨.