Breakthrough potential of AI | Sam Altman | MIT 2023 (번역)

ChatGPTers 유민수 번역

출처 : Breakthrough potential of AI | Sam Altman | MIT 2023 - YouTube

이 맥락을 설명해 드리겠습니다. GPT-4와 ChatGPT가 일으킨 화재를 진압하기 위해 전 세계 투어를 하고 계신 것을 알고 있습니다. 이 특별한 방은 다른 많은 곳과는 조금 다를 것입니다. 이 방에 모인 대부분의 사람들은 회사를 창업하거나, ChatGPT에 기반한 생태계에서 회사를 설립하기 위한 계획을 세우고 있습니다. 나와 같은 사람들이죠. 그들이 여기 있었으면 좋겠어요. 네, 사실 당신도 여기 있었으면 좋겠습니다. 그들은 정확히 당신과 같은 사람들이기 때문이죠. 그리고 이곳의 목표 중 하나는 세상을 더 나은 곳으로 만드는 것이지만, 여러분이 만든 플랫폼 위에 구축하는 것도 포함되어 있다는 것을 알고 있습니다. 분명히, 당신은 신중하게 인생에서 현재 위치까지 올라오셨고, 그들에게 조언할 수 있는 최적의 사람입니다. 이번 토론은 가능한 한 이 방의 목표에 집중하여 많은 도움이 되도록 하겠습니다. 이 900명의 사람들...

10년 후에 1,000배가 될 것 같은가요? 매개변수 수에 너무 집중한 것 같습니다.매개변수 수는 확실히 증가하는 추세입니다. 하지만 이것은 90년대와 2000년대 칩의 기가헤르츠 경쟁을 떠올리게 하는데, 모두가 큰 숫자를 가리키려고 애쓰던 시기였습니다. 그리고 아마도 대부분의 사람들은 자신의 iPhone에 기가헤르츠가 몇 개인지도 모르겠지만 빠르긴 하죠. 우리가 실제로 중요하게 생각하는 것은 기능입니다. 그리고 우리가 계속 초점을 맞추는 것은 빠르게 증가하는 기능이라고 생각합니다. 시간이 지남에 따라 매개변수 수를 줄여야 할 이유가 있거나 여러 모델을 함께 사용해야 하는 경우, 각 모델이 더 작아져야 한다면 그렇게 할 것입니다. 우리가 세상에 제공하고자 하는 것은 가장 유능하고 유용하며 안전한 모델입니다. 우리는 매개변수 수에 연연하지 않습니다. 그렇군요. 그 부분에 대해 인용해도 될까요? 네, 무슨 일이 있어도 인용할게요.
그래요, 그건 제... 그래요, 제게서 그 말을 빼앗아 주셔서 감사합니다.이 알고리즘 종류가 이전에 보지 못한 것과 비교할 때 절대 독특한 점은, 파라미터 수로 측정하든 다른 방식으로 측정하든 상관없이 원시 처리 속도로 놀라운 결과를 만들어낸다는 것입니다. 이는 단순히 더 많은 처리 속도를 투입하여 예상하지 못했던 기능을 발휘합니다. 그래서 규모를 활용하는 것입니다. 예를 들어 스프레드시트에서 코드를 작성하고 1만배 빠른 컴퓨터에서 실행하면 크게 놀라지 않을 것 같습니다. 반응이 좋고 사용하기도 편하죠. 하지만 여전히 스프레드시트입니다. 그와 달리 이 알고리즘 종류는 이전에는 할 수 없었던 일을 해냅니다. 실제로 우리 벤처 펀드의 파트너 중 한 명이 GPT-2에 관한 책을 전체적으로 썼습니다. 그 책은 아마존에서 구매할 수 있으며 "Start Here Romance"라는 제목입니다. 팔린 건 어쩌면 10권 정도일 거고 저도 한 권 샀으니 아마 9권 정도 팔렸을 겁니다. 하지만 그 책을 읽어보면 좋은 책은 아닙니다.이제 겨우 4년이 지나서 책의 품질이 GPT-2, 3, 4 에서 좋지 않은 책이나 어느 정도 합리적인 책에서 이제 진정으로 훌륭한 책을 작성할 수 있게 되었습니다. 구조를 제공해야 하며, 아직도 개념을 효과적으로 작성하지만, 단어들은 매우 아름답게 채워집니다. 이로 인해 작가들은 10배, 100배와 같은 곱셈 효과를 얻을 수 있어 작가들이 훨씬 더 강력해질 수 있게 해줍니다. 그러므로 이러한 알고리즘 클래스는 기본적인 기반 구조가 점점 빨라지면 상대적으로 짧은 시간 내에 놀라운 결과를 보여줄 것입니다. 따라서 이 자리에 있는 분들이 예측해야 할 것 중 하나는 이 기술 분석 곡선에서 어떤 실제 세계 사회에 긍정적인 영향을 미칠 다음 사용 사례가 무엇인지 알아내는 것입니다. 그렇다면 앞으로 일어날 것들에 대한 통찰력을 주실 수 있을까요? 1년 전, 2년 전에는 불가능했던 것이 가능해질까요?저는 비즈니스 전략 조언이 없다고 했었지만, 이제 생각해보니 어느 정도 아이디어가 있는 것 같습니다. 새로운 분야에서는 전략이 전술이 되도록 하는 것이 아니라, 전술이 전략이 되게끔 접근하는 것이 좋은 방법인 것 같아요. 제 아이디어도 있고, 여러분 모두 각자의 아이디어도 있을텐데, 대부분은 맞나 잘못된 부분도 있겠죠. 심지어 우리가 옳다고 여기는 부분들도 어떤 면에서는 틀릴 것입니다. 장기적으로 비전을 잃지 않고 초점을 유지하는 것이 중요하지만, 작동하는 것과 작동하지 않는 것을 발견하고 그에 따라 더 많은 작동하는 것을 적용하거나 작동하지 않는 것을 줄이는 긴밀한 피드백 루프와 세심한 사용자 관찰만 있으면 큰 성과를 거둘 수 있습니다. 그러니 저는 아이디어를 추측할 수 있고, 여러분들도 추측할 수 있겠죠. 하지만 그보다 더 중요한 것은 무언가를 세상에 내놓고 그 현상을 깊이 이해하고 그에 적절하게 반응하는 것입니다.데이브가 다음 질문을 준비하고 있는 동안, 샘, 언제부터 채팅 GPT가 정말 특별하다고 생각했고, 다른 사람들이 달성하지 못한 것을 가능하게 한 비결은 무엇인가요? 데이브는 곧 돌아올 거예요. 그동안 샘의 이야기를 좋아하는 분들? 우! 좋아요. 샘이 채용 전에 그 팀에 참여하는 것을 고려해 보신다면, 누가 고려해보실 건가요? 아주 좋아요. 손 많이 올리시네요. 좋네요, 제발 도와주세요. 우리는 정말 도움이 필요하고, 앞으로 며칠 동안 정말 재미있을 거예요. 장래 [](오랜 시간 동안) 이 일을 하다 보니 점점 더 기술이 성과를 볼 수 있다는 높은 확신이 커지는 것 같아요. 하지만 이 일을 이미 7년째 하고 있어요. 이런 일은 오랜 시간이 걸려요. 성공한 이유와 다른 사람들이 실패한 이유에 대해서 말씀드리자면, 그냥 우리는 꾸준하게 노력하고 모든 세부 사항에 무수히 있는 힘들게 노력할지 모르겠어요. 대다수의 사람들은 그렇게 하지 않아요.특히 차치빗이 소비자 제품으로 인기를 끌 것이라는 것을 알았던 시점은 출시 후 48시간 정도였어요. 그리고요, 데이브가 돌아오기 전에 렉스에게 섹시한 질문을 해볼게요. 안녕하세요, 렉스. 렉스씨, 무전기를 쓸까요, 아니면 괜찮아요? 무슨 기계라고요? 스타트렉 코뮤니케이터 입니다. 그래요, 제가 괜찮아요. 저는 소련에서 자랐거든요. 거기서는 스타트렉이 없었어요. 체크오프 아저씨는 두 번째 시즌에 나오죠. 논란의 여지가 있어 섹시한 질문을 하나 해볼게요. 인공지능 분야의 전설들, 일리아스 이스케버와 안드레이 카르파티가 저기 있잖아요? 둘 중 누가 더 똑똑할까요? 아, 잠깐만요. 이건 농담이라고요 우린 그런 질문에 대답할 필요 없어요. 농담으로 한 질문이었어요, 알았죠? 아무도 진지하게 생각하지 않았어요. 몸 뻥튀기로 할까 한 찰나였겠죠? 좋아요, 그럼 되겠습니다. 이제 본론으로 돌아가서, 우리가 MIT에 있잖아요.

여기서 맥스 테그마크와 다른 사람들이 함께 AI 개발을 6개월 동안 중단하자는 공개서한을 작성했어요. 이 공개서한에 대해서 어떻게 생각하세요? 그 중 일부 내용은 저도 동의할 만한 부분이 있어요.GPT-4 출시 전 6개월 가량의 시간 동안 모델의 안전성을 연구했습니다. 외부 감사 및 외부 레드 팀원들의 도움을 받아 모델의 문제점을 파악하고 가능한 한 많이 개선하려고 노력했습니다. 이것이 중요한 점입니다. GPT-4를 출시한 이후 많은 사람들이 이 모델이 OpenAI가 발표한 모델 중 가장 기능이 우수하면서도, 가장 안전하고 정합성이 높다고 칭찬했습니다. 그리고 모델이 나쁜 작업을 수행하는 것에 적극적이지 않다는 점도 동의합니다. 또한 기능이 점점 더 발전함에 따라, 안전 기준이 높아져야 한다는 점에도 동의합니다. 그러나 유감스럽게도 서신에서는 기술적 세부 사항에 대한 뉘앙스가 대부분 누락되어 있다고 생각합니다. 실제로 서신의 이전 버전에서는 OpenAI가 현재 GPT-5를 훈련 중이라고 주장했습니다. 그러나 당분간은 그렇지 않을 것입니다. 그런 의미에서 서신은 다소 부적절한 것이었습니다.그러나 우리는 GPT-4와 별개로, 해결해야 할 여러 안전 문제가 있는 다른 프로젝트들도 진행하고 있습니다. 그러나 이 서한에서는 완전히 무시되었습니다. 따라서 안전 문제에 대해 신중하게 접근하고 강도 높은 기준을 적용하는 것이 매우 중요하다고 생각합니다. 서한이 이 문제를 처리하는 최적의 방법은 아니라고 생각합니다. 한 가지만 더 물어보겠습니다. 당신은 매우 개방적이며, 많은 대화를 나누고, 솔직하게 의견을 표현하는 편입니다. OpenAI의 다른 구성원들도 그렇습니다. 그러한 태도의 철학은 무엇인가요? 다른 기업들과 비교하면 상대적으로 폐쇄적인 모습을 보이고 있습니다. 앞으로도 계속 이러한 태도를 유지할 계획인가요? 감사합니다.

물론 계속 이러한 태도를 유지할 계획입니다. 단점은 때로 우리가 어리석은 말을 하거나, 완전히 잘못된 정보를 전달하기도 한다는 것입니다. 다른 많은 기업들은 정보의 정확성을 확인한 뒤에야 어떤 말을 하고 싶어합니다.하지만 이 기술이 우리 모두에게 큰 영향을 미칠 것이라 생각하기 때문에, 모든 사람들이 토론에 참여하고 이러한 시스템을 세계에 알리는 것이 중요하다고 생각합니다. 현재 상태에서는 매우 불완전하기도 하지만, 사람들이 이를 경험하고 생각하며 장단점을 이해하기 위해서는 공개적으로 당황스럽게 보이거나 새로운 데이터로 자주 의견을 바꿔야 하는 것도 감수해야 한다고 봅니다. 그렇기 때문에 이를 계속 진행할 것이며, 다른 대안보다 이 방식이 더 낫다고 생각합니다. OpenAI의 주요 목표 중 하나는 전 세계가 이와 같은 인공지능 문제에 관심을 가지고 생각하게 하여, 기존 제도를 개선하거나 새로운 제도를 구축할 수 있도록 하는 것입니다. 이것이 바로 우리가 이곳에 모인 이유입니다.

이제 시간은 얼마 남지 않았는데, 제가 13살 때부터 궁금했던 질문을 드리겠습니다.레이 커즈와일이나 이 분야의 유명 인사들에 따르면 알고리즘이 알고리즘을 개선하는 코드를 작성하기 시작하는 날이 중요한 날입니다. 이는 무한대, 즉 특이점 관점에서 보면 절대 무한대로의 과정 가속화를 의미합니다. 그래서 제가 투자했거나 공동 창립자로 참여한 많은 회사들이 코드 생성에 대한 인공신경망 언어 모델(LLM)을 사용하기 시작했습니다. 그 결과 엔지니어의 성과가 약 5%에서 최대 20배까지 매우 다양하게 향상되었습니다. 성과의 변화는 실행하려는 작업, 코드의 유형, 필요한 컨텍스트의 양 등에 따라 달라집니다. 시스템 튜닝과 관련이 있는 많은 부분이 있습니다. 따라서 두 가지 질문이 있습니다. 첫째, OpenAI 내에서 코드의 다음 반복을 생성하는 데 이미 얼마나 많은 힘의 곱셈이 이루어지고 있는지? 그리고 그 후 질문입니다.

성공적인 회사를 창립하고자 하는 분들, 도움이 필요하신가요? 그러면 많은 분들이 손을 들어 주세요.샘, 제가 먼저 여쭤볼 것은 만약 AGI(인공 일반 지능)가 가까운 미래에 있다면, 인류 역사는 AGI까지의 시기가 있고, 그 이후부터는 완전히 다른 역사를 갖게 되는 변곡점에 지금 우리가 있다고 볼 수 있습니다. 따라서 이 단계에서는 앞으로 어떻게 발전하든 여러분은 역사책의 중심이 될 것 같습니다. 똑같다고 생각하시나요? 어떤 면에서 같다고 생각하나요? 역사가 이 순간을 묘사하는 방식, 즉 이 분야에서 혁신의 해라는 측면에서요. 저는 이것이 역사책의 한 페이지나 한 장 정도에 기록되기를 바라지만, 앞으로 수십억 년 동안 믿을 수 없는 일들이 일어날 것이라고 생각합니다.

그렇다면 몇 달 후, 1년 후, 2년 후에는 어떤 모습일까요? 과연 빠르게 자가 개선이 이루어져 어떠한 기술적 한계에도 도달하는 시점이 가까워지고 있을까요? 네, 좋은 질문입니다.앞으로 자기계발과 그렇지 않은 것의 경계가 훨씬 더 모호해질 것이라고 생각합니다. 앞으로 일어날 일은 인공지능(AI)이 개선 과정에 점점 더 도움을 주게 되겠지만, 인간이 여전히 주도할 것입니다. 그리고 이런 상황이 꽤 오랫동안 계속될 것입니다. 그 외에도 하루나 한 달 만에 급성장할 것이라고 믿지 않는 여러 가지 이유들이 있습니다. 그 중 하나는 새로운 데이터 센터나 더 큰 데이터 센터를 구축하는 데 엄청 오랜 시간이 걸린다는 것입니다. 지금이라도 방법을 알고 있다고 해도 콘크리트가 마르기를 기다리는 것처럼 건물에 전력을 공급하는 데에도 시간이 필요합니다. 그러나 앞으로 인간은 점점 더 증강되어 세상의 일을 더 빠르게 처리할 수 있게 될 것입니다.원문과 과학 소설처럼 모든 일이 잘 풀리지는 않을 것이고, 이번 일도 마찬가지겠지만, 인간이 점점 더 나은 도구를 갖게 되면서 세상의 변화 속도는 여기서부터 영원히 더 빨라질 것입니다. 그리고 이것은 하나의 작은 부분일 뿐이고 우리 앞에는 새롭고 더 크고 더 흥미로운 기회와 도전이 있을 것입니다. 그래서 많은 사람들이 궁금해하는 것 중 하나는 이전 GPT, 오픈 소스 반복 작업에서는 소스 코드를 가져와서 수직적 회사나 인접 회사, 연합 학습 또는 기타 다양한 방법으로 만들 수 있었다는 것입니다. 이러한 회사의 향후 반복 작업에서는 고도로 조정 가능한 폐쇄형 API에서 시작할 수 있습니다. 간단한 조언을 해준다면, 좋아요, 저는 회사를 시작합니다. 이제 시작하자마자 몇 가지 결정을 내려야 합니다. 무엇부터 시작해야 하나요? 특정 수직적 사용 사례에서 어떻게 작동하게 만들까요?

과학 소설처럼 모든 일이 원활하게 되지는 않을 것이며, 이는 이번 프로젝트에도 해당되지만, 인간이 점점 더 발전한 도구를 갖게 되면 세상의 변화 속도는 여기서부터 지속적으로 증가할 것입니다. 이것은 단지 작은 부분일 뿐이지만, 새로운 더 크고 흥미로운 기회와 도전이 앞에 있을 것입니다. 따라서, 이전 기존 GPT 및 오픈 소스 버전에서 소스 코드를 가져와 수직적 회사, 인접 회사, 연합 학습 등의 다양한 방법으로 만들 수 있음을 많은 사람들이 궁금해하는 것 중 하나입니다. 이러한 회사의 다음 버전에서는 고도로 조정 가능한 폐쇄형 API에서 시작할 것입니다. 간단한 조언을 드리자면, 비즈니스를 시작하고자 하는 분들은 초기부터 몇 가지 결정을 내리셔야 합니다. 어떤 것부터 시작해야 할까요? 특정 수직적 사용 사례를 어떻게 활용하는 전략을 세워야 할까요?좋은 회사를 만드는 방법에는 항상 변하는 것보다 변하지 않는 것이 더 많다고 생각합니다. 그리고 많은 사람들이 새로운 플랫폼이 등장할 때마다 플랫폼을 사용한다고 해서 그것이 비즈니스 전략의 방향이 될 것이라고 생각합니다. 그렇지 않습니다. 사람들이 좋아하는 제품을 만들고, 사용자와 매우 가까워지고, 사용자의 요구를 충족시키고, 장기적으로 지속 가능한 비즈니스 전략을 고민해야 합니다. 플랫폼 전환기에는 이런 것들이 더 중요해지기는커녕 오히려 더 중요해지기도 합니다. 가장 최근의 유사한 예로 앱스토어(App Store)가 출시되었을 때를 떠올려보면, 수많은 회사가 매우 가벼운 제품을 만들었지만, 착취적인 기술이라고 부르고 싶지는 않지만, 내구성이 뛰어난 제품은 아니었습니다. 그리고 그 회사들은 엄청난 상승과 하락을 경험했습니다.그리고 정상적인 방법들을 실천하여 멋진 기업을 구축한 그런 회사들은 지난 15년 동안 지속되어왔습니다. 그러므로 당신은 분명히 후자의 그룹에 속하길 원할 것입니다. 기술 자체는 단지 새로운 촉진제일 뿐이지만, 기업으로서 해야 할 일은 장기적으로 지속적인 전략적 이점을 가진 훌륭한 기업을 구축하는 것입니다. 그렇다면 파운데이션 모델은 어떨까요?

파운데이션 모델을 시작점으로 생각할 수 있습니다. 2년 전을 돌이켜보면, 최고의 시작 방법 중 하나는 기존 파운데이션 모델에 몇 가지 층을 추가하고 수직적 사용 사례로 재학습시키는 것이었습니다. 그러나 지금은 기반 모델, 또는 베이스 모델이 훨씬 거대해져 매개 변수가 1조 개에 이르렀습니다. 그럼에도 불구하고, 이를 재학습시키지 않고도 조작하는 능력은 훨씬 더 유연해졌습니다. 기본 모델에서 다룰 수 있는 토큰의 수는 현재 약 32,000개 정도가 가능하고 가장 큰 모델에서는 8,000개 정도 입니다.실제로 어떻게 진화할까요? 새로운 반복 작업이 상당히 빠른 속도로 발표될 예정입니다. 개발자가 원하는 모델 커스터마이징 측면을 정확히 파악하기 위해 노력하고 있습니다. 여기서 유니티는 개발자를 사용자로 간주하며, 그들에게 필요한 것을 확인하여 만족시키는 것이 목표입니다. 처음에는 훨씬 더 재미있을 것이라고 생각했으며, 이를 다양한 방식으로 제공하는 방안에 대해 고민해 왔습니다. 그러나 많은 사람들이 근본적인 모델을 활용하여 놀라운 결과를 얻고 있으며, 이러한 선택이 인기 있습니다. 따라서 사용자의 요구와 성공 사례에 기반하여 커스터마이징을 어떻게 우선순위에 두어야 할지 개선하고자 합니다.

모델이 점진적으로 발전함에 따라 세부 튜닝의 필요성이 줄어들고, 주변 환경에 더 적응할 수 있는 경향이 있다고 생각합니다. 미세 조정이란 파라미터 가중치를 변경하는 것을 의미하나요? 네. 네. GPT 세계에서 파라미터 가중치를 변경할 수 있는 기능이 있나요? 네, 분명 제공될 예정입니다. 하지만 현재로서는 기본 모델에서 이를 알아낼 수 있다면 매우 저렴한 컨텍스트 길이 1백만 개를 제공하는 기능보다 덜 사용될 것 같습니다. 네, 그 부분에 대해 조금 더 자세히 살펴 보겠습니다. 세부 사항과 관계없이 추세는... 모델이 점점 더 커지고 있기 때문에 1조 개에서 10조 개의 매개 변수로 이동함에 따라 프롬프트 엔지니어링을 변경하거나 여기에 공급되는 토큰을 변경하는 것만으로 달성 할 수 있는 양은 모델 크기에 불균형하게 증가하고 있습니다. 맞는 말인가요? 네, 모델 규모에 비해 불균형적으로 증가하고 있습니다만, 이제 거대한 모델이 등장하고 다른 방식으로 더 나은 모델을 만들 수 있는 시대가 끝났다고 생각합니다.하지만 그 성장은 모델 능력에 비례한다고 말씀드리고 싶습니다. 네, 그리고 기반 모델 생성에 대한 투자는 교육 과정에만 5천만 달러, 1억 달러 정도입니다. 그러니까, 그 수치는 대체로 그 이상이겠죠. 그렇죠? 규모는 어떻게 되나요? 우리는 공개하지 않지만 그쯤은 되는 것 같습니다. 네, 그리고 시간이 지날수록 더 높아져 가겠죠. 성장하려는 경우, 처음부터 시작하는 사람들은 정상적인 것을 추월하려고 노력합니다. 아니면 우리 모두가 엄청나게 멍청해 대단한 생각을 놓치고 있는 것일수도 있어요. 그리고 이 모든 것이 우리가 생각하는 것처럼 어렵거나 비싼 것이 아니게 됩니다. 새로운 패러다임이 출현해 우리를 뒤쳐놓게 되면 그것은 우리에게는 좋지 않지만 세상에게는 멋진 일이겠죠.

그러니까, 폴 그레이엄은 당신이 마주친 최고의 비즈니스 전략가라고 하네요. 물론, 모든 사람들이 자신들의 비즈니스 전략에 고심하고 있습니다.정확히 어떤 것을 어디서 구축해야 할까요? 그래서 저는 GPT-4와 곧 출시될 GPT-5 등의 수직적 사용 사례에 대한 질문을 해왔습니다. 하지만 인접한 비즈니스 모델도 많이 있습니다. 연합 학습, 데이터 컨디셔닝 또는 배포와 같은 것들 말이죠. 이러한 비즈니스 모델도 흥미로운 비즈니스 모델입니다. 생태계에 속해 있는 한 부류의 회사에 투자한다면 어떤 생각이 드시나요?

어디가 더 수익률이 높은지, 어디가 더 빠르게 성장하고 더 흥미로운 비즈니스 모델인지에 대한 생각이 있으신가요? PG가 그렇게 말하지는 않은 것 같습니다. 그런 방향으로 말한 것은 알지만 어떤 의미에서든 어떤 경우에도 사실이 아닐 것 같습니다. 믿을 수 없는 비즈니스 전략가 같은 사람들이 있다고 생각하지만 저는 그들 중 하나가 아닙니다. 그래서 여기서 조언을 드리기가 망설여집니다. 제가 할 수 있는 유일한 방법은 이 한 가지 전략을 반복해서 실행하는 것뿐인데, 이는 매우 장기적이고 자본 집약적이며 어려운 기술 베팅입니다.

정확히 어떤 것을 어디서 구축해야 할까요? 그래서 저는 GPT-4와 곧 출시될 GPT-5 등의 수직적 사용 사례를 고려한 질문을 해왔습니다. 하지만 인접한 비즈니스 모델도 고려해야 합니다. 예를 들어 연합 학습, 데이터 조절, 배포와 같은 것들이 있습니다. 이러한 비즈니스 모델도 흥미로운 것들인데, AI 생태계에 포함된 회사에 투자를 고려한다면 어떤 생각이 드시나요?

더 높은 수익률, 빠른 성장 및 흥미로운 비즈니스 모델이 어디에 있는지에 대한 생각이 있으신가요? PG가 그렇게 말한 것은 아니라고 생각합니다. 그런 방향으로 말한 것 같지만, 어떤 경우에도 그것이 사실이 아닐 것 같습니다. 놀라운 비즈니스 전략가들이 있긴 하지만, 저는 그 중 한 명이 아닙니다. 여기서 조언 드리기를 망설여지기 때문입니다. 제가 할 수 있는 유일한 전략은 꾸준히 반복되는 것뿐이며, 그것은 매우 장기적이고 자본 집약적인 기술 베팅입니다.그리고 저는 그런 것들을 특별히 잘한다고 생각하지도 않습니다. 그냥 시도하는 사람이 많지 않아서 경쟁이 거의 없어서 좋아요. 전략도 좋은 조언이라고 생각합니다. 저는 경쟁자가 많지 않지만, OpenAI와 같은 플랫폼을 가지고 빠르게 성장하고 방어 가능한 새로운 소비자 기업 회사를 구축하는 데 필요한 전략에 대해서는 거의 알지 못해요. 이론은 다 알지만 실무 경험이 전혀 없습니다.

그래서 저는 이 일을 해낸 사람들을 찾아 조언을 구하러 다녔습니다. 알겠어요. 좋은 조언이네요. 기술 플랫폼에 대해 몇 가지 질문이 있습니다. 저는 매개변수 수가 100만 개 미만일 때부터 신경망을 직접 구축하며 연구해 왔습니다. 그리고 실제로 많은 상용 애플리케이션에 매우 유용한 것을 알게 되었습니다. 그 후, 10억 개로 늘어난 것을 지켜보고, GPT-2를 사용했을 때 약 15억 개 정도가 되었습니다. 이어 GPT-3, 그리고 지금은 GPT-4에 이르렀습니다. 매개변수 수가 정확하게는 모르겠지만, GPT-3에서는 1,750억 개였습니다.

그리고 저는 그런 것들을 특별히 잘한다고 생각하지도 않습니다. 그냥 시도하는 사람이 많지 않아서 경쟁이 거의 없어서 좋아요. 전략도 좋은 조언이라고 생각합니다. 저는 경쟁자가 많지 않지만, OpenAI와 같은 플랫폼을 가지고 빠르게 성장하고 방어 가능한 새로운 소비자 기업 회사를 구축하는 데 필요한 전략에 대해서는 거의 알지 못해요. 이론은 다 알지만 실무 경험이 전혀 없습니다. 그래서 저는 이 일을 해낸 사람들을 찾아 조언을 구하러 다녔습니다. 알겠어요. 좋은 조언이네요. 기술 플랫폼에 대해 몇 가지 질문이 있습니다. 저는 매개변수 수가 100만 개 미만일 때부터 신경망을 직접 구축하며 연구해 왔습니다. 그리고 실제로 많은 상용 애플리케이션에 매우 유용한 것을 알게 되었습니다. 그 후, 10억 개로 늘어난 것을 지켜보고, GPT-2를 사용했을 때 약 15억 개 정도가 되었습니다. 이어 GPT-3, 그리고 지금은 GPT-4에 이르렀습니다. 매개변수 수가 정확하게는 모르겠지만, GPT-3에서는 1,750억 개였습니다.그리고 그것은 GPT-2와는 믿기 어려울 정도로 달랐습니다. 그리고 GPT-4는 더욱 더 놀라울 정도로 달랐습니다. 그러므로 NVIDIA의 예측에 따르면 기본 매개변수의 개수는 현재 추세를 유지하면서 1조에서 10조로 늘어날 것으로 보입니다. 그리고 그들은 10년 후에는 최대 10경까지 상승할 것이라고 말하고 있습니다. 결국 이것은 세제곱 10 또는 10의 10승으로 나타낼 수 있습니다.