Why Data Is the Real AI Bottleneck: Flapping Airplanes' Ben and Asher Spector

[00:00] Продолжение следует... [00:02] Прямо два фронтир спотлайта. Первый из Бен и Ашер, два бриллиант бриллиантных бриллиантов. Они, как они, как они, фоандают спирт, плацент, плацент, плацент, плацент. [00:14] И мы рады узнать о дата фишки. [00:17] Спасибо. [00:20] Спасибо. [00:31] So let's get into it. [01:02] И, наконец, наш второй второй ко-founder, Адин Смит. Он был Тилл, он работает сейчас, но он spent три года supercommuting между его колледжем и Нuralink, поэтому он знает много о мозг и о мозгах машины. [01:12] Спасибо. [01:13] So, before we get started in earnest, I do want to clarify some confusion. [01:17] Мы открыли компанию три месяца назад. Мы очень рады получить много вебинарных вебинарных, но удивительная часть изобретения в области изобретения. Вы знаете, люди пытаются продавать нам вещи, как «рунвы», как «рунвы» в интервью капитал смысле, как «литерал» «рунвы».

[01:32] аэропорта, тоннелы, т.д. [01:35] Я хочу сказать, что мы не в Аирплей, мы в Ай-Lab, и, возможно, это будет очевидно, по итогу этого talk. [01:52] Both systems work and algorithmic work. [01:54] So, first on the thesis side. [01:57] So, if we look at the current state of the world, LMs have gotten incredibly good at a couple of really valuable tasks. So, for example, search, coding, together, these are at least a trillion-dollar market that's probably accessible here. A big part of the reason why they've gotten so good at these tasks, and this is related to what Andre talked about this morning, is that... [02:13] These are incredibly well-resourced tasks in terms of the amount of data that's available for them. For search, this is basically the entire Internet. For coding, this is a big fraction of the Internet. Coding is also a very friendly environment in that it's very easy to produce mountains of synthetic data if you want to. So when we talk about data efficiency, what we're asking the question of is... [02:30] Смотрите, это возможности. Смотрите, это может быть возможно. Вы знаете, что люди могут быть очень хорошими кодами, с тем, что 10,000 или 100,000 раз меньше данных на это, чем эти модели. Так что это как бы вопрос. И в основном, если мы смотрим в будущем, там есть много других домов в экономике, [02:51] где есть много less data. Например, Jim talked this morning about how in robotics, there's a ton of work that has to go on to try to generate the data. It's much more complicated than it is

[03:23] Это не просто смотрит как search encoding, а смотрит как очень много вещей, что вообще не так хорошо, что не так хорошо. Да, и так... [03:29] Бен, который выявил один экономик, чтобы верить, что в мире будет дата-физион. Я думаю, что второй, что компьютерный, что это вообще easier для того, чтобы дата-физион. [03:36] Я знаю, что флопы получают экспонентally cheaper over time. [03:39] И, ну, я думаю, это правда правда что данное не будет очень быстро, как быстро, как компьютер. [03:43] Although it is getting cheaper. [03:44] Я думаю, что второй причин, что коллектив Frontier quality, это очень сложно. В компьютерном рынке, в том числе, или более homожене, чем в данном рынке. [03:53] Как Грега сказал нам после ГПТ-а-наш, они могли просто купить все-таки, [03:57] И есть не централизированная дата пружина. Если вы хотите идти в экономии и collectать лонг-тейл-тейл-тейл, вы должны делать регуляции, вы должны договориться с бизнесом о том, что это очень ничто. [04:08] So I think if you could, as a result, if you can make a model that's a thousand times more data efficient, [04:13] Я думаю, это будет тысяч раз раз easier для того, чтобы улучшить. [04:15] Продолжение следует... [04:16] Those are two sort of economic reasons that we think data efficiency is important. The last reason is actually kind of philosophical. [04:23] Я думаю, что если вы взгляните на мир сегодня... [04:26] У меня есть [04:27] There's not that many companies that can train AI models. And, you know, part of this is because of centralization of compute. [04:33] Но я думаю, это также потому, что централизация о данном. Я слышу о неолабсах, которые, когда пытаются создать новые капиталы, они, как бы, буквально бюджетные бюджеты, чтобы найти все данные, чтобы найти все данные. Они, как бы, по-другому, в рейтинге, чтобы найти все данные. [04:45] Тиньи нихесы о дата, что вы нуждаете, чтобы сделать фронтиры. [04:50] В мире, что это дата-эффициент, я думаю, что компании могут более подробно participate в ай-revolution. Как мы слышали сегодня, что в рамках о том, что в моем моде, в мире, что в моем случае есть дата.

[05:02] Если это правда, то есть дата эффективность, что вообще способен оборудовать проблему. [05:06] So I think if you care about the shape of the world to come, I think you really should care about data efficiency because it modulates who can actually participate in which parts of the AI economy. [05:14] Продолжение следует... [05:15] Cool. [05:16] So now we're going to talk about our approach. So our goal is to design Data Fish and AI. [05:20] Мы не будем говорить о них, потому что они в Core IP. Но я буду рассказывать вам об этом, как мы попробуем, как мы попробуем, как мы попробуем, как мы попробуем, как мы попробуем, как мы попробуем, где можно найти новые места. [05:31] Субтитры создавал DimaTorzok [05:32] Участник, что, в основном, [05:34] Если вы хотите разработать новые алгоритмы, вы должны быть новыми применениями для интеракции с hardware. Есть несколько видов что GPUs можно эффективно делать. [05:41] And then there's a smaller set of things that current frameworks, like PyTorch, for example, can actually express efficiently. And, you know, that gray circle, we've seen a lot of research into that circle. We actually know what kinds of algorithms work. [05:52] Но [05:53] Если вы хотите получить новые возможности, вы можете посмотреть в эти новые места. [05:56] И это мы живем, что мы пытаемся сделать. [06:00] И, вы знаете, Бен, мы поговорим немного, за пример, о том, что фиграинтез, которые вообще не могут быть трудными для данных, но в ГПУ вообще не могут быть. [06:08] Вы знаете, что это хорошо, что это за что-то, для того чтобы это было, я имею в виду, что в основном, в основном, в машине леарнии, в последние 15, 20, даже 100 лет. [06:14] Продолжение следует... [06:25] Я думаю, что, я думаю, что в моем педагоге я делаю это, на мой педагог, я делаю это, на мой педагог, на мегакеронез, который был пытаться сделать GPUs делать weird stuff. В Флаппи, я бы сказать, что мы будем в течение спиритово-симмертирующихся, в том, что мы пытаемся обучать гпс из-за чего не было бы не было бы в этом.

[06:43] Это было очень многое весело, поэтому я рекомендую это, если вы любите играть с хардерами. И я думаю, что я рада вам в этом видео в этом видео [06:50] что [06:58] Если мы посмотрим, как [06:59] Какие современные системы, и это будет немного обстракт, но я надеюсь, что вы получите это. Что делает современные машины линоковы очень удобно, что они используются в системе линоков, которые используются в системе линоков, которые используются в системе линоков. В то, что они используются в системе линоков, которые используются в системе линоков. [07:14] Матмол, и затем аттеншн, и затем Матмол, и затем РМСНорм. И, under the hood, there's all kinds of contortions that happen where the software dispatches it in parallel across a very parallel set of processors. Но, nonetheless, to the programmer, this looks very natural. [07:26] Но что случится если вы хотите делать что-то вот так? [07:30] Или вы хотите делать что-то, что выглядят как... [07:33] Это. [07:34] Все эти вещи не могут быть в правильном фраме. [07:38] So, one thing I'm just very excited to show, sort of a little teaser of, is our internal framework that we use, which is built off a virtual machine that kind of just takes over the whole GPU and we just do everything we want ourselves on it. In this particular case, this is not a real workload I'm showing. This is kind of a stylized thing that is... [07:55] но [07:56] Это, как пример, это тоже необычный, необычный, необычный, в питорч. [08:09] И вот, что я бы хотел бы сделать, что когда вы строите новые системы, вы создаете новые алгоритмы. Многие алгоритмы, мы считаем, что очень важны для того, чтобы это было очень важно. Это почему мы занимаемся в этом.

[08:21] И это как-то ко-птомизация В этом мы находим очень интересным. [08:26] Cool, so we're almost out of time. I just really have one more thing to say, which is that if you find this exciting, please come talk to us. [08:32] Мы работаем с большими людей, которые были в большинстве, но мы также пытаемся сделать новые вещи. Мы пытаемся сделать новое, чтобы改革 новое. [08:38] И, конечно, наш опыт, смотря некоторые компании, что Бен с учебой, [08:43] что креативные люди с конкурентными факторами могут вообще делать разные вещи и change the world. Если вы из этого фактора, пожалуйста, как и с нами. [08:51] Okay, so I guess maybe a very quick recap, and then I think we probably have time for one question or so. [08:56] First of all, data efficiency. If you care about the shape of the world to come, if you care about the broad deployment of AI into the economy, you should care about making models much more data efficient. [09:05] И что, вы знаете, у нас есть, [09:08] что создать новые системы, чтобы позволить более высокий грант use of GPUs, это очень очень важно для строительных систем. [09:14] И как Ашра, если вы найдете это интересный, пожалуйста, пожалуйста, мы поговорим с вами. [09:18] Спасибо, everyone. Спасибо.