Transcript of AI 여친 만들기 - 파트4 인트로
홍정모
0:01취직은 했는데 일만 하다가 여친이랑0:04헤어져 버렸어.0:11전여친이랑 한 모든 대화 내용을0:13여기에 정리해 놨어. 말투, 성격,0:16맞춤법 등등 내 전여친인 척 똑같이0:19따라해 줘.0:27한 번만 더 연락하면 고소한다고0:28했지.0:36저는 아직도 프로그래밍을 처음 배우던0:38날의 설레임이 생생하게 떠오릅니다.0:41코드를 한 글자 한 글자 입력하고0:43화면에 헬로 월드가 나타난 순간 마치0:46컴퓨터가 살아 있는 것처럼0:48느껴졌습니다.0:50언젠가는 스스로 생각하는 컴퓨터와0:52대화를 나눌 수 있겠지. 이것은0:55헬로월드 이래로 우리 모두의 꿈이자0:57바람이었습니다.0:59사실이 꿈은 더 오래됐습니다.1:02컴퓨터가 막 태어나던 1950년에1:04튜링은 논문 첫 줄에 이렇게1:06물었습니다.1:07기계는 생각을 할 수 있는가? 이것을1:10확인할 방법으로 그가 제안한 것은1:12사람과의 대화였습니다.1:14소위 말하는 튜링 테스트입니다. 그1:17뒤로 70년이 넘도록이 질문은 답을1:19기다렸습니다.1:21그리고 드디어 그 꿈이1:22이루어졌습니다.1:24오랫동안 꿈적도 안 턴이 문제가 최근1:27몇 년 사이에 갑자기 풀리기1:29시작했습니다.1:30결정적인 혁신은 2017년1:32트랜스포머였습니다.1:34키울수록 좋아진다는 스케일링 법칙이1:37작동하기 시작했고 모델은 해마다 열배1:40넘게 커졌습니다.1:42바로 2년 후에 GPT2가 세상을1:44놀라게 했습니다. 첫 문장 하나만1:46주면 사람이 쓴 것 같은 글을 술1:49이어썼었습니다.1:50그리고 2022년 11월 30일1:53채지T가 공개됐습니다.1:55얼핏 보면 우리가 매일 쓰는 메신저와1:57다를 것 없는 흔하디 흔한1:59채팅창이었습니다.2:01그런데 대답해 주는 상대가 사람이2:04아니었습니다.2:05튜링이 물은지 70년 만에 드디어2:07그럴듯한 답이 돌아온 것입니다.이2:10순간을 우리는 채 G지PT 모먼트라고2:12부릅니다. 놀랍고도 재밌는 경험들이2:16SNS를 타고 빠르게 퍼졌고 사람들이2:19몰려들었습니다.2:21채지피t는 불과 두 달 만에 사용자2:231억 명을 달성했습니다.2:25유튜브가 4년이 걸렸던 것을 생각하면2:28사람들이 얼마나 오랫동안 이런 AI를2:30기다려 왔는지 엿볼 수 있는2:32기록입니다.2:34세상의 반응은 그야말로 뜨거웠습니다.2:37언론은 역대 최고의 채포이라는 찬사를2:40보냈습니다.2:42학교에서는 학생들의 숙제가2:43위협받는다는 걱정이 일찍감치2:46나왔었고이 문제는 현재까지2:49진행형입니다.2:50구글은 회사 안에 비상 경보를 내렸고2:53지금은 검색 결과 맨 위에 AI의2:55대답을 먼저 내놓습니다.2:58돌아보면 채지T 모먼트는 우리의 삶을3:01통째로 바꿔 놓기 시작한3:03순간이었습니다.3:04그렇다면 채pt의 특별함은3:06무엇이었을까요?3:08사실 채지에 바탕이 된 GPT 3는3:11이미 2년 전부터 세상에 나와 누군가3:14알아봐 주기를 기다리고 있었습니다.3:16다만 개발자들이 코드로 불러쓰는3:19API로만 제공되었기 때문에 일반3:22사용자는 말을 걸어 볼 길이3:24없었습니다. 채지T는 달랐습니다. 웹3:28브라우저만 열면 누구나 즉시 무료로3:30말을 걸어 볼 수 있었습니다. 무엇을3:33물어보더라도 말이 통하는 상대와3:35대화를 나누면서 사람들은 처음으로3:38AI가 어떤 것인지를 체험하고 변화를3:41깨닫기 시작했습니다.3:43자, 그럼 이제 우리 얘기로3:45돌아오겠습니다.3:46파트 3에서 우리가 만든 것은 베이스3:48모델이었습니다.3:50앞글을 주면 그럴 듯하게 이어쓰도록3:53훈련시키는 방법을 공부했었습니다.3:56이런 베이스 모델에 지시를 따르는3:58훈련을 더한 것을 지시형 모델이라고4:01부릅니다. 채지 공개 10개월 전인4:042022년 1월 오픈 AI가 직접4:07공개한 예시로 그 차이를 보겠습니다.4:10베이스 모델인 GPT3에게 무언가를4:12설명해 달라고 부탁했더니 제대로4:15대답하지 못합니다. 대신 비슷한4:17부탁들을 줄줄히 이어쓰는데 뭔가4:20알기는 아는데 어떻게 대응해야 할지는4:23몰라서 당황한 것 같은 인상을4:25줍니다. 베이스 모델은 이것이4:27자기에게 하는 부탁인 줄 모르기4:29때문입니다. 그저 말을 어떻게4:32이어나갈지 최선을 다할 뿐입니다.4:34그런데 같은 모델을 지시형으로4:36훈련시키고 나니 지시받은 대로4:39차근차근 설명을 해 줍니다. 여기에4:42사람과 주거니 받거니 하는 대화4:44형식까지 가르친 것이 채치피였습니다.4:50파트 3에서 공부했던 사전 훈련은4:52훈련 파이프라인의 첫 단계이자 가장4:55크고 오래 걸리는 단계입니다.4:57최신 lm들은 베이스 모델 위에 여러5:00단계의 후속 훈련을 더 거쳐서야5:02세상에 나옵니다. 파트 4의 목표는5:06사전 훈련으로 만들어지는 베이스5:08모델에 아직 잠들어 있는 능력을5:10깨우는 것입니다. 후속 훈련 과정을5:13거쳐서 지시를 따르고 대화를 나누는5:16모델로 키워냅니다.5:18각각의 단계들이 어떤 의미를 갖는지5:20전체 그림을 먼저 살펴본 후에 GC5:23파인 튜닝을 중심으로 공부해5:25보겠습니다.5:28가장 핵심이 되는 부분은 베이스5:30모델에게 말을 알아듣게 하는 지시5:32튜닝입니다. 사전 훈련에 비하면 아주5:35적은 데이터로 잠깐만 훈련을 시켜도5:39다양한 일들을 해내기 시작하는 놀라운5:41변화가 벌어집니다. 시키는 대로 척5:45해내는 모습을 보면 마치 다른 모델이5:47된 것처럼 느껴집니다.5:50그 많은 일들을 하나하나 가르친 적이5:52없는데도 그 짧은 훈련만으로 능력이5:55발현되는 것입니다.5:59지시 튜닝을 실제로 구현하는 방법이6:01미세 조정입니다.6:03모델과 훈련 방법은 사전 훈련 때와6:06거의 같습니다. 가장 큰 차이는 넣어6:09주는 데이터가 달라진다는 것입니다.6:12채팅 형식의 대화로 훈련시키면 모델이6:15어떻게 달라지는지 직접 확인해6:17보겠습니다.6:19[음악]6:20다음은 공개 모델입니다. 같은 질문을6:23크기가 다른 모델들에게 던져 보면6:26답이 점점 제치 있어는 것을 보는6:28재미가 있습니다. AI에 대해서 더6:30많이 알게 될수록 더 많은 데이터로6:33훈련된 큰 모델에 관심이 생기는 것은6:37자연스러운 일입니다. 하지만 이런 큰6:40모델을 처음부터 만들려면은 비용이6:43굉장히 부담스럽습니다.6:45대신에 큰 회사들이 만들어 공개한6:47모델을 받아서 그 위에 우리가 원하는6:50데이터로 살짝 미세 조정을 할 수6:53있습니다. 굉장히 효율적인6:55전략인데요.이 이 방법을 알려6:57드립니다.7:00큰 모델을 받아오더라도 실제로 훈련을7:02시키는 것은 생각보다 간단하지 않을7:05수 있습니다. 파라미터 전체를7:07학습시키기에는 내 GPU의 메모리가7:10턱없이 모자한 경우가 대부분입니다.7:13그래서 본체는 고정해 두고 아주 작은7:16일부만 학습시키는 방법을7:17알아보겠습니다.7:21여러분들이 가장 재밌어 하실 부분은7:23페르소나 튜닝일 것 같습니다. 성격도7:26말투도 제각인 다양한 캐릭터들을7:28흉내낼 수 있는데요. 놀랍게도 뒤에7:31있는 모델은 하나입니다.7:33설정 한 줄만 바꾸면 전혀 다른7:35사람이 됩니다. 기술적으로도 활용도가7:38높고 공부할 점이 많은 부분인데요.7:40앞에서 공부했던 인컨텍스트 러닝과7:43관련지어서 깊이 있게 살펴보겠습니다.7:48그렇다면 페르소나 튜닝에 사용할 대화7:50데이터는 어디서 구할 수 있을까요?7:53여러분들이 상상하는 캐릭터들의 대화는7:56여러분들의 창의력 안쪽에 숨어7:58있습니다. 사전 훈련에 비해서는8:01필요한 양이 훨씬 적다고는 하지만8:04여전히 사람이 손으로 쓰기에는 너무8:07많습니다. 그래서 어떤 캐릭터를8:09만드는지 설계는 사람이 하고 그8:12말투에 맞춰 다양한 상황의 데이터를8:14쏟아내는 일은 AI에게 맡깁니다.8:18AI로 AI의 교재를 만드는8:20셈입니다. 그 외에도 LLM에 대한8:23깊이 있는 주제들을 재미있게 공부해8:25보도록 하겠습니다.8:27그럼 지금부터 대화형 AI 만들기8:30시작하겠습니다.8:31이어쓰기만 하던 모델이 나와 대화하는8:34캐릭터가
829 words · 202 lines
![[선데이 라이브] 당신도 AI 시대에 살아남을 수 있다!](https://i.ytimg.com/vi/D95UC9U5ShA/hqdefault.jpg)
