구글, 느린 인터넷에 최적화한 Lyra 음성 코덱 오픈소스 공개

구글이 속도가 느린 인터넷 환경에서도 음성을 끊김없이 전송할 수 있도록 설계된 Lyra 음성 코덱을 오픈소스로 공개했습니다.

 GitHub - google/lyra: A Very Low-Bitrate Codec for Speech Compression

 

구글 설명에 따르면 70개가 넘는 언어의 상당한 데이터셋을 얻어 머신러닝 학습 과정을 거쳐 3kbps 속도에서도 잘 작동하도록 설계되었다고 하며, 이론적으로 AV1 비디오 코덱과 함께 쓰면 56kbps 모뎀 인터넷 환경에서도 영상 통화가 가능하다고 합니다.

 

□ 소개 영상 (영어, 2분 25초)

www.youtube.com/watch?v=IO4_beqtWDY&t=2s

 

□ 출처 아래 해외 기사 요약

- Google Posts Initial Code For Lyra Speech Codec | Phoronix

- Google's New Lyra Voice Codec + AV1 Aim For Video Chats Over 56kbps Modems In 2021 | Phoronix (2월 발표 기사)

 

 

 

(추가 업데이트)

3kbps?? ㄷㄷㄷㄷ (=0.000375 MB/s)

음성코덱 들어보니 상당수의 음성 기반 코덱은 이녀석이 다 잡아먹겠네요 오프스하고 비교도 안되네요

 

머신러닝이 발달하니 이런 짓(?)도 가능해지는군요 ㅎㄷㄷ
파형이 아니라 메타데이터(?) 비스므리한걸 보내서 학습한 쪼가리로 조립하는 형태겠네요.

 

블루투스 인터컴에 적용되면 무전기 환경도 업글되고 좋을것같네요

 

https://techrecipe.co.kr/posts/26634
여기서 예제를 들어볼수 있네요

 

https://ai.googleblog.com/2021/02/lyra-new-very-low-bitrate-codec-for.html?m=1

아이폰은 이쪽으로...

 

Noisy Environment 예제 보면
코덱에 자동으로 노이즈캔슬링이 들어가 있..ㅎㄷㄷㄷㄷ

 

파형을 인코딩하는게 아니라 음성패턴을 인코딩했나보네요.
어마무시하군요.

 

같은 방식으로 동영상도 그 콘텐츠에 따라 압축률을 최적화시킬 수 있는 코덱이 나오겠군요. ㄷㄷㄷ