유튜브에서 이상한 걸 봤어요. 미스터비스트가 한국어로 말하더라고요.
더빙인가 싶었는데 목소리가 본인이에요. 정확히는 본인 목소리를 AI가 학습해서 한국어로 바꾼 겁니다. 이거 만든 회사가 일레븐랩스예요.
폴란드 더빙이 별로였대요
창업자 둘이 폴란드 사람이에요. 피오트르랑 마티. 어릴 때 할리우드 영화를 폴란드어 더빙으로 봤는데, 그게 진짜 별로였나 봐요. 성우 한 명이 전 배역을 맡아요. 주인공, 악당, 여자 캐릭터까지 전부 같은 사람이 감정 없이 읽어내리는 방식이었거든요.
둘이서 “이건 기술로 고칠 수 있지 않나?” 하다가 2022년에 회사를 차렸어요. 3년 됐는데 기업 가치가 10조 원 가까이 됩니다.
그래서 뭐가 다른 건데?
시리나 빅스비 써보면 기계 티가 확 나잖아요. 일레븐랩스는 좀 달라요.
일단 문맥을 읽어요. “조심해!”를 넣으면 급박하게 말하고요. “정말 유감입니다”를 넣으면 차분해집니다. 감정을 따로 지정 안 해도 텍스트만 보고 알아서 판단해요.
사람처럼 실수도 해요. 웃음이나 한숨, 머뭇거림 같은 게 섞여 나오거든요. 같은 문장 두 번 돌려보면 살짝 다르게 나와요. 진짜 사람이 말할 때랑 비슷합니다.
반응 속도는요. 최신 모델이 0.075초 만에 응답해요. 대화할 때 상대가 늦다고 느끼는 기준이 0.2초쯤이니까, 거의 즉각 반응인 셈이죠.
내 목소리를 복제한다고?
제일 화제가 된 기능이에요.
1분짜리 녹음만 있으면 내 목소리를 AI가 따라 합니다. 정밀하게 하고 싶으면 30분에서 3시간 분량을 학습시키면 되고요.
SBS가 이 기술로 드라마 더빙을 준비 중이에요. 배우 목소리는 그대로 두고 영어나 스페인어로 바꾸는 작업입니다. 한류 콘텐츠 해외 진출할 때 쓰려는 거죠.
출판 쪽은 어떻게 쓰나
하퍼콜린스가 도입했어요. 예전에 오디오북 만들려면 성우 섭외하고 스튜디오 빌리고 해야 했거든요. 비용이 만만찮아서 베스트셀러 아니면 엄두를 못 냈어요.
지금은 절판된 책이나 판매량 적은 책도 AI로 오디오북을 만들 수 있게 됐습니다. 수만 권짜리 백리스트가 갑자기 수익원이 된 거예요.
게임판에서 벌어지는 일
크래프톤 신작 ‘인조이’ 아세요? 심즈 비슷한 인생 시뮬레이션인데, NPC가 대사를 읽지 않아요. AI가 실시간으로 만들어요.
화나면 화난 목소리로, 기쁘면 기쁜 목소리로. 정해진 스크립트 없이 플레이어랑 대화합니다. 예전 NPC가 녹음된 대사만 반복했던 거랑은 차원이 다르죠.
패러독스라는 회사는 개발 단계에서 써요. 성우 녹음 전에 AI 음성으로 먼저 테스트해보고, 느낌이랑 타이밍 확인한 다음에 본 녹음 들어가는 방식입니다. 개발 기간이 꽤 줄었다고 하더라고요.
한국 시장 움직임
네이버가 일레븐랩스에 투자했어요. 하이퍼클로바X랑 붙여서 음성 AI 경쟁력 높이려는 것 같습니다.
한국어 품질이 생각보다 괜찮아요. 조사 처리, 존댓말 반말 구분, 장단음까지 자연스럽게 나옵니다. 창업자 마티가 한국 왔을 때 자기 목소리를 한국어로 복제해서 보여줬는데, 한국어 전혀 못 하는 사람인데도 억양이 자연스러웠다고 해요.
걱정되는 부분
목소리 복제니까 당연히 우려가 나와요. 보이스피싱이나 딥페이크요.
일레븐랩스도 아는지 장치를 몇 개 만들었어요. 남의 목소리 복제하려면 본인이 직접 특정 문장을 읽어서 인증해야 합니다. 생성된 오디오에는 귀에 안 들리는 워터마크가 들어가고요. AI가 만든 음성인지 판별하는 도구도 무료로 풀었어요.
완벽하진 않겠지만요. 책임지려는 시도는 하고 있는 거죠.
그래서 뭐가 달라지나
일레븐랩스는 텍스트를 음성으로 바꾸는 회사예요. 근데 그냥 읽어주는 게 아니라 감정 담고, 목소리 복제하고, 실시간 대화까지 해요.
오디오북, 게임, 더빙, 고객 상담. 쓰임새가 계속 늘고 있어요. 네이버, SBS, 크래프톤 같은 국내 기업들도 이미 도입했고요.
키보드 치던 시대에서 말하는 시대로 넘어가는 중인데, 그 한가운데 이 회사가 있습니다.