chatgpt를 통해본 현재 시점의 인사이트

ai 관련하여 요즘 열풍인
챗gpt를 통해 보는 현재 글쓰는 시점에서 보는
인사이트를 얻을 수 있는 좋은 글을
공유합니다. 이지효님 글입니다. :)


몇가지 잡생각.

1. 요 몇달 사이에 AI로 세상이 뒤집힌 것 같은 이야기가 나오고 있다. MSFT가 모두를 압도하고 있고, MSFT의 속도를 당해낼 수 없고, Google은 바보된거 아니냐, 그리고 그 와중에 진정한 승자는 NVIDIA 아니냐는 이야기가 나오고 있는데 과연 그런가는 좀 생각해볼 문제가 아닌가 싶다.

2. GPT-3와 Dall-E가 발표된지도 벌써 3년 전이다. 이미 175B 규모의 모델이 사람과 대화가 가능한 수준의 의미있는 결과물을 생성해 낸다는 것이나 text를 주면 신기하게 그림을 창작해 낼 수 있다는 건 이미 3년 전에 세상에 알려졌다. 당시 2023~4년쯤 나올 GPT-4라는 물건은 100배쯤 더 커진 모델로 AGI에 가까울 거다라는 예상도 많았다. 무슨 소리냐면 지금 ChatGPT 나오고 Stable Diffusion 나오고 GPT-4발표되고 한게 6개월 사이에 quantum jump한게 아니고, 3년이라는 짧지만은 않은 시간 동안 gradual하게 이루어졌다는 거다.

3. 그렇다고 해서 지금의 GPT-4는 완성판이냐면 그것도 아니다. 오히려 GPT-4에 대한 몇년 전의 기대에 비하면 글쎄... 더구나 현재의 이 dense한 모델이 과연 답일 것이냐라고 하면 개인적으로는 그렇지 않을거 같다에 500원 건다. 지금의 초거대 모델은 너무 큰 자원을 잡아먹는다. 현 시점에서 제대로 서비스 하기에는 아직은 품질이던 성능이던 아쉽고, 그에 비하면 들어가야 하는 돈의 규모도 현실적이지 않다. 아직 진짜 AI에서 뭐가 답일지는 알 수 없다. 누구에게든 아직 시간은 남아있다.

4. 아이폰 모먼트라는 이야기가 나온다. 첫 아이폰 발표가 2007년 초, 진짜로 쓸만한 물건이라고 할 아이폰3가 2008년 여름. 안드로이드가 정식 공개된 게 2008년말, 본격적으로 안드로이드 폰들이 나오기 시작한건 2009년, 갤럭시 S의 첫 제품이 2010년 일거다. 본격적으로 스마트폰 세상이 열린건 2009년 정도로 보는게 맞지 않은가 싶다. 굳이 비유하자면 지금의 AI판은 이제 아이폰 3가 막 나온 정도로 보는게 맞지 않으려나. 너무 늦어서도 곤란하지만 꼭 제일 앞이어야 할 필요도 없다. 스마트폰의 본격 성장기에 가장 많은 점유율을 가져간 건 스마트폰을 최초로 만든 애플도 아니고, 안드로이드를 먼저 달린 HTC나 모토롤라도 아니고, 삼성이었다. Google이 Meta가 Naver가 심지어 이제 준비를 시작하는 누군가에게 기회가 없을거라는 생각은 전혀 안든다.

5. 더구나 MSFT의 지금 저 대담한 지르기가 답이라는 생각도 별로 들지 않는다. IT 산업에서 first mover의 경쟁우위라는 건 생각보다 크지 않다. 특히나 문제가 되는게 비용이다. 특히 Moore's law로 대표되는 빠른 비용하락이라는 IT산업의 특징은 여러가지 complication을 만들어 낸다. 초기에 들어가는 선도업체는 과도한 CAPEX를 지불해야 하고, 이는 비용이 빠르게 떨어진 다음에 진입한 후발업체 대비 오히려 큰 경쟁열위를 낳는다. Hotmail이 Gmail에 밀린 여러가지 이유가 있지만 Gmail이 무제한 저장공간을 질렀을때 이미 비싼 투자해놓은 Hotmail은 대응할 방법이 없었다는 것도 중요한 이유였다. 더구나 NVIDIA에 의존해온 MSFT/OpenAI가 Google의 TPU 대비 가격경쟁력이 과연 있을까... 지금의 이 dense한 모델이 아닌 진짜 경제적으로 말이 되는 모델과 인프라의 조합이 나왔을때 질러놓은 투자는 어떻게 될 것인가?  

6. 그 와중에 최근 MSFT가 여러 NPU업체들에 bare metal을 요구하고 있는 것 같다. NVIDIA만으로는 도저히 안되겠는 거겠지. 이 부분이 개인적으로는 꽤 관심있는 부분인데, MSFT/OpenAI는 CUDA에 의존하지 않는다. PyTorch 2.0에 들어간 OpenAI의 Triton만 해도 그냥 PyTorch에서 CUDA 라이브러리 안거치고 그대로 PTX를 뱉어낸다. 즉 OpenAI는 CUDA 필요없고 그냥 GPU HW만 주면 알아서 클러스터 구축해서 그에 맞는 자기 전용 라이브러리 만들고 이걸로 패러랠라이제이션 최적화해서 모델 만들 수 있다는 이야기다. Google도 그런 식이고 Meta도 그런 식이다. 생각해볼게 몇가지인데...

(1) 이런 상황은 NVIDIA의 독점적 지위에는 상당한 위협이 될 거 같다. 뭐 다른 NPU갈 것도 없이 AMD는 난데없이 기회가 눈앞에 떨어진게 아닌가 싶다. AMD GPU가 나빠서가 아니고 CUDA가 없어서였단 말이지... 심지어 Intel도 폰테베키오만 제대로 들고나오면 팔수도 있겠다 싶다.

(2) NVIDIA도 이제는 legacy. GPU당 NIC하나씩 붙이는 topology도 비효율적이고, SW도 예전의 AI, 즉 GPU한장에서 돌아가는 모델에서는 모르겠으나 수천/수만개를 묶어서 클러스터에서 수천억개 파라메터 모델을 쪼개서 돌려내는 데 있어서는 많이 부족하다.

(3) 결국 지금 초거대모델 판에서 핵심역량은 여기에 있다. 즉 NVIDIA에 의존하지 않고 내가 필요로 하는 모델을 클러스터에 때려넣고 효율적으로 HW를 운용해서 싸게 돌려낼 수 있는 SW와 operation 능력. 그걸로 싸게 서비스를 만들어 낼 수 있는 능력. OpenAI의 핵심경쟁력은 오히려 여기에 있는게 아닌가 싶다. DGX사서 CUDA가지고 NVIDIA가 만들어 준 Nemo Megatron 만지작거려서는 500B 아니 1T 모델 만들어봐야 아무것도 할 수 없을 거 같다.

(4) Application - model - infra - 반도체로 영역을 구분해볼 수 있다고 하면 model-infra를 결합한 능력이 핵심이다. 그걸 가진 놈이 다 먹을거다. NVIDIA 때문에 오히려 infra SW-반도체를 묶어서 하나의 사업으로 정의하는 경우가 많은데 이제는 아닌거 같다. 찢어져서 빼앗겨 버릴 위기다. 그렇다면 NVIDIA의, 반도체의 profit share는 줄어들거다. 이 싸움의 pie에서 반도체도 핵심이 아니다.

(5) 더구나 model과 infra 능력이 있는 업체라면 오히려 다음으로 반도체까지 내려가고 싶어질거다.  AI반도체의 구조라는건 사실 빤하다고 하면, 결국 내가 필요로 하는 요구조건에 딱 맞추어서 반도체 찍고, 그 위에서 runtime, 컴파일러, 라이브러리 만들어서 PyTorch위에 모델 full integrate한 놈이 효율성은 1등 먹을거라고 본다. 그래서 Google도 Meta도 Naver도 반도체를 만들고 있는 것일거고...

(6) 근데 OpenAI는 그걸 안하고 있다는 점에서 OpenGL/Direct3D같은 moment가 찾아올 때가 된게 아닌가 생각이 들기도 한다. 내가 OpenAI라면 이 시점에 할 일은 내 bare metal에 붙여야되는 layer를 정의해서 NPU업체들에 뿌려버리는 것일거 같거던... Voodoo2가 지배하던 3D게임판에서 Voodoo의 API가 아닌 Direct3D가 등장하면서 이 공개표준에 올라타 판을 뒤엎은게 NVIDIA의 RIVA였다. Voodoo의 행태를 NVIDIA가 하고 있는게 참 신기하다 싶었었다. CUDA API가 아닌 표준화된 물건이 튀어나올때가 되기도 했다. AI반도체 경쟁의 진정한 시작은 이 타이밍이 아닐까...

7. 남이 만들어 놓은 모델 위에서 application 붙이는 사업은 현재로서는 잘 모르겠다. 아직 모델이 어떻게 튈지, killer app이 뭘지 너무 불확실성이 크다. 이미 상당 수준 올라온 text-2-image만 해도 이게 완성된 물건이라고는 보이지 않는다. 아예 다른 모델이 튀어나올 가능성도 꽤 있어보이고...

8. 나는 여전히 Google이 잘할 수 있을 거 같다. 그리고 새로 튀어나올 누군가가 더 잘할 수도 있을 거 같다.


그럼,
    공유합니다.