Transcript of LLM 만들기 - 파트2. 강의 소개
홍정모
0:08LM 바닥부터 만들기 시리즈 파트 20:10뉴럴 언어 모델을 위해 지금부터0:13시작하겠습니다. 제목에서 보실 수0:15있듯이 드디어 뉴럴 네트워크를0:18사용합니다. 지금이 영상을 보고 계신0:20분들은 기본적으로 AI 인공지능에0:22관심이 아주 많으신 분들일 거라고0:24생각이 됩니다.이 이 AI라는 용어가0:27시간이 지날수록 점점 더 그 범위가0:30넓어지고 있는데요. 예전에는 LLM만0:33가지고도 AI라고 부르는 시대가0:35있었습니다. 그런데 최근에는이0:37LLM을 엔진으로 활용을 하고 그0:40위에 여러 가지 기능들을 덧붙여서0:42AI 서비스를 또는 AI 에이전트를0:45만들거나 하는 방식으로 활용도도 점점0:48더 터져가고 있습니다. AI를0:50도구로서 활용하는데 남들보다 더 잘0:53사용할 수 있는데 관심 있는 분들도0:55계실 것 같고요. 어떤 면에서는 더0:58나은 AI 서비스를 만들거나 AI1:01에이전트를 개발을 해서 근본적인1:03혁신을 추구하시는 분들도 계실 것1:05같습니다. 어떤 경우에서든 현재1:08우리가 AI라고 부르는 것의 엔진은1:11LM이라고 할 수가 있습니다. 우리가1:14자동차를 만든다라고 하면 당연히1:17엔진에 대해서 아주 잘 알아야1:19되겠죠. 엔진이 어떤 진동을 만들어1:21내는지, 엔진이 어떨 때 과열이1:24되는지 등에 대해서 잘 모른다면1:27자동차를 사용하기도 어려울 뿐더러1:29자동차를 만드는 일과는 사실 굉장히1:31멀어지게 될 겁니다. 비슷하게 우리가1:34AI를 사용하거나 더 나은 AI를1:37만든다라고 할 때 LM에 대해서1:39정확하게 이해를 한다는 것은 아주1:42중요하고 필수적인 일이 될 겁니다.1:44그런 면에서이 강의에서는 AI의1:47엔진룸을 열어서 여러분들에게 보여1:49드리겠습니다. 현대 LM 관점에서1:52보면 정말 놀라운 일들이 벌어지고1:55있지만 그 시작점으로 거슬러 올라가서1:58클러드 쉐넌의 아이디어를 다시2:00살펴보면 단순하고 이해하기가2:02쉽습니다. 여러 글자를 나열할 때2:05앞글자에 따라서 다음 글자를2:07확률적으로 결정한다.이 이 단순한2:10개념으로부터 현대 LM이 시작이 될2:13수가 있었습니다. 파트 1에서는2:16우리가 통계적인 언어 모델이 어떤2:19것이다라는 것에 대해서 정확하게 감을2:22잡기 위해서 N그램 모델을 직접2:25구현을 해 봤습니다. 우리가2:27일상생활에서 말을 할 때도 앞에서2:29했던 말 뒤에 한 단어 한 단어2:30이어가면서 말을 만들어 가게 되죠.2:33이때 다음에 나올 단어의 확률을2:36계산을 해내기 위해서 아주 간단하게2:39데이터에 있는 단어들이 몇 개가2:42있는지 세워 보는 방식으로 진행을2:45했었죠. 기본적인 아이디어 자체는2:48매우 단순했지만 실제로 이걸 구현해2:51놓고 문장을 생성하게 만들면 놀랍게도2:54흥미로운 결과를 얻을 수가 있었죠.2:57이번에는 한 번 더 시간을 건너뛰어2:59보겠습니다. 2003년도에3:02요슈아 벤지오 교수님이 뉴럴 언어3:05모델에 관련된 논문을 발표했습니다.3:08그리고 여기서부터 파트 2 뉴럴 언어3:12모델의 이해를 시작을 해 보겠습니다.3:14참고로 요아 벤지오 교수님은 굉장히3:17유명한 분이시죠. 튜링 어워드를3:20수상을 하셨고요. 실제로 이분의 옛날3:23논문들을 살펴보면 정말 우리가 지금3:26생각하는 AI 기술의 토대를 닦아3:29주신 분이다. 이런 느낌을 받을 때가3:31많습니다. 지금부터 뉴럴 네트워크를3:34이용해서 언어 모델을 만든다는 것이3:36어떤 의미이고 어떤 장점이 있으며 왜3:39그렇게 해야만 했는지 그로 인해서3:41현대적인 LM이 어떻게 그렇게 강력한3:44능력을 가지게 되었는지 하나하나 직접3:47만들어 가면서 아주 쉽고 재미있게3:50공부를 해 보겠습니다.3:53이번 파트에서는 굉장히 중요한3:55내용들을 많이 공부를 하게 됩니다.3:58우리가 뉴럴 네트워크를 사용을 할4:00때는 데이터가 굉장히 중요한데요.4:02여기서는 한국어 위키디아 데이터를4:05전부 다운을 받아서 훈련에 사용할 수4:08있을 정도로 깔끔하게 정리하는 전4:11과정을 직접 다루게 됩니다. 당연히4:14그 데이터를 가지고 실제 훈련도4:17진행을 해 보겠습니다. 파트 1에서는4:19N그램을 사용한 언어 모델이 어느4:22정도까지 결과를 만들어 낼 수 있는지4:24보기 위해서 문장 단위로 결과를4:26만들어 봤었습니다. 여기서는 그걸4:29확장을 해서 문단 단위로 만들어 볼4:32텐데요. 지금 화면에 보시는 것처럼4:34꽤 복잡한 숫자나 기호들, 괄호 같은4:37것들도 활용을 해서 여러 문장으로 돼4:40있는 글들을 꽤 자연스럽게 만들어내는4:43것을 볼 수가 있습니다. 당연히 뉴럴4:45네트워크를 사용하면서 성능이 훨씬4:47좋아졌을 텐데요. 그 좋아진다라는4:50의미가 무엇인지까지도 우리가 자세하게4:53살펴보도록 하겠습니다. 자, 예시가4:55하나 더 있는데요. 여기서이 뉴럴4:58네트워크를 사용할 때 어떤 장점이5:00발생하는지를 간접적으로 엿볼 수가5:02있습니다. 이렇게 오렌지라는 단어에서5:05시작을 했는데요. 애플 사과로5:07이어졌죠. 같은 과일이라는 것을5:09인식을 하기 시작을 한 겁니다.5:11그리고 애플이라는 이름은 애플 컴퓨터5:15아이폰 만드는 회사의 이름이기도5:16하죠. 당연히 맥OS하고도 관련이5:19있습니다. 그러니까 관련 있는 것들로5:22점점 연결을 해 나가고 있는 거죠.5:25그다음에는 컴퓨터 시스템. 어, 애플5:28컴퓨터가 뭘 만드는 회사이며 그게5:31컴퓨터 시스템이다라는 것까지5:33내부적으로 이해를 하기 시작을 한5:36겁니다. 어떻게 이런 것들이 가능하게5:38됐는지 최대한 직관적으로 쉽게 공부를5:41해 보겠습니다.이 부분은 제가 굉장히5:43좋아하는 부분인데요. 단어들끼리5:46더하기, 빼기 같은 연산을 할 수가5:48있습니다. N그램에서는 단어라는 것은5:51어떤 기호에 불과했습니다. 뉴럴 언어5:53모델에서는이 단어라는 것이 지금5:56보시는 것처럼 어떤 공간에 있는5:58점으로 점으로 표현이 되고요. 심지어6:02비슷한 의미를 갖는 것들끼리 서로6:05가까이에 모이게 됩니다. 예를 들어서6:07왼쪽 부분에 모여 있는 점들은 나라의6:10이름들이에요. 프랑스, 영국, 미국,6:12중국, 한국, 일본 이렇게 국가의6:14이름을 의미하는 단어들이 왼쪽에 모여6:16있고 오른쪽은 각각의 나라들의 수도의6:20이름입니다. 비슷한 의미를 갖고 있는6:23단어들끼리 모으는 것뿐만 아니라이6:26단어들이 상대적인 관계까지도 파악을6:30할 수가 있습니다. 이것도 뉴럴6:33네트워크를 사용을 했기 때문에 가능한6:36일입니다. 어떤 면에서는 뉴럴6:38네트워크를 사용하면서부터 마법 같은6:40일들이 벌어지기 시작했다라고도 말씀을6:43드리고 싶습니다. 공부에 나가시면서6:45꼭 챙기셨으면 좋겠다 싶은 포인트를6:48다섯 개로 정리를 해 봤습니다. 가장6:50먼저 램에서는 안 되고 뉴럴6:53네트워크에서는 되는 가장 근본적인6:55이유 차원의 저주에 대해서 여러분들이6:58꼭 이해를 하셨으면 좋겠습니다.7:00데이터 사이언스나 머신 러닝 같은7:02조금 더 일반적인 공부를 하실 때도7:05아주 필수적으로 이해를 하고 계셔야7:07되는 개념입니다. 그다음에는 단어라는7:10것을 다루는 개념을 원천적으로 바꿔7:12준 워드인베딩입니다.7:15샤원의 저주를 극복하고 워드 인베딩을7:18할 수 있게 만들어 준 근본적인7:20기술은 뉴럴 네트워크입니다. 당연히이7:22뉴럴 네트워크가 왜 좋은지, 왜 이런7:25일이 가능하게 됐는지뿐만 아니라7:27구체적으로 어떻게 구현이 되고 어떻게7:30훈련을 시킬 수 있는지에 대해서도7:32여러분들이 직관적으로 재밌게 이해를7:35해 두시면 좋을 것 같습니다. 뉴럴7:37네트워크를 제대로 훈련을 시키기7:39위해서는 당연히 좋은 데이터셋이7:41필요합니다. 현실적으로는이 데이터셋을7:45준비하는게 뉴럴 네트워크 훈련시키는7:47것보다 훨씬 더 번거롭고 힘든7:49부분입니다. 여기서는 제가이 데이터셋7:52준비에 대해서 여러분들이 충분히 감을7:55잡으실 수 있도록 한 단계 한 단계7:57보여 드리면서 진행을 하겠습니다.8:00마지막으로 큰 데이터를 가지고 뉴럴8:03네트워크를 훈련을 시키기 위해서는8:05속도가 빨라야 되겠죠. 여기서는8:07여러분들이 컴퓨터를 보다 효율적으로8:10사용하기 위해서 가장 기본적으로8:13알아야 되는 CPU 최적화 기술들을8:16소개해 드리겠습니다. 공부하는 요령에8:18대해서도 미리 안내를 해8:20드리겠습니다. 지금까지 제가 말씀드린8:22내용들이 사실 알고 보면 하나하나가8:25굉장히 어려울 수도 있다라는 걸8:27소문으로 들으신 분들도 계실 것8:29같아요. 다행스럽게도 최근에 나온8:32AI들은 이러한 어려움들을 사실 거의8:35다 없애 줍니다. 파트 1에서 이미8:38여러분들은 AI를 사용하면 단순8:40코딩은 정말 쉽게 할 수 있구나.8:42최신 기술을 공부해 나갈 때도 정말8:44편리하게 사용할 수 있다라는 것은8:46이미 충분히 확인을 하셨을 거라고8:48생각이 듭니다. 여기서는 한 단계 더8:51업그레이드된 AI 활용법을 보여 드릴8:53텐데요. AI를 연구 조교처럼 활용을8:57할 겁니다. 단순한 코딩은 당연히8:59AI를 활용해서 뭐 우리는 거의9:01스트레스 받지 않고 쭉쭉 진행을 할9:03수가 있고요. 거기에 더 나가서9:06실행한 결과를 분석을 한다든지 아니면9:09더 좋은 방법을 찾는다든지 할 때도이9:12AI를 활용을 할 수가 있습니다.9:15결과적으로 우리는 한 단계 더 높은9:17수준에서 마치 명문대 교수화 된9:20기분으로 핵심적인 흐름에 집중을9:22하면서 공부를 해 나갈 수가9:24있습니다. 그렇다면 남는 시간과9:27에너지는 어디에 집중을 하면9:29좋을까요? 바로 AI가 잘 못하는9:32인간 특유의 직관에 집중을 하시면은9:36훨씬 더 높은 성과를 얻으실 수가9:39있습니다. 그래서 여기서는 여러분들이9:42왜 이렇게 작동을 할까? 왜 이렇게9:44해야만 됐을까를 조금 더 직관적으로9:47재밌게 이해하실 수 있도록 제가9:48최선을 다해서 도와드릴 거고요.9:51AI가 쉽게 도와줄 수 있는 부분에9:53집착을 하시기보다는 전체적인 흐름이9:56어떻게 진행이 되는지 시간에 따라서9:58기술이 이렇게 발전하는구나 그리고10:00이렇게 발전할 수밖에 없겠구나. 더10:03나아가서 현대 LLM에서 여러 가지10:06어려움들을 겪는다라고 하는 부분들10:08또는 가끔씩 놀라운 진보가10:11이루어졌다는 얘기가 있을 때 왜 그런10:13것들이 가능할 수 있었는지 지금10:15당장부터 최고의 AI 전문가가 된10:18것처럼 생각을 풀어 나가시면 아주10:21좋을 것 같습니다. 마지막으로이10:23공부를 한다는 개념 자체가 달라지고10:26있는데요. AI 시대에는 여러분들이10:29스트레스를 받으시기보다는 그냥 쭉쭉10:32편하게 공부를 해 나가셔도 괜찮다라는10:35점을 꼭 말씀을 드리고 싶었고요.10:37또는 더 궁금한 부분이 있을 수도10:39있죠. 그럴 때는 언제든지 오른쪽10:42위의 디스커션을 이용을 해서 저한테10:45문의를 주시면 제가 최대한 도움을10:47드리도록 하겠습니다. 그럼 지금부터10:50뉴럴 네트워크를 사용하는 언어 모델10:54뉴럴 언어 모델을 만들어 보겠습니다.10:56습니다.
1,193 words · 251 lines
![[선데이 라이브] 당신도 AI 시대에 살아남을 수 있다!](https://i.ytimg.com/vi/D95UC9U5ShA/hqdefault.jpg)
