Тренды в нейросетях: от DeepSeek до RAG-систем

00:04Так, псик ещё. Так, псик ещё. >> Всем привет. Сегодня мы находимся в >> Всем привет. Сегодня мы находимся в >> Всем привет. Сегодня мы находимся в компании Cloud. Со мной Владислав компании Cloud. Со мной Владислав компании Cloud. Со мной Владислав Голянин, технический директор компании Голянин, технический директор компании Голянин, технический директор компании Cloud. И сегодня мы проговорим по Cloud. И сегодня мы проговорим по Cloud. И сегодня мы проговорим по нейросети. Что у нас произошло в нейросети. Что у нас произошло в нейросети. Что у нас произошло в последнее время, какие есть тренды и последнее время, какие есть тренды и

00:18последнее время, какие есть тренды и вообще, что ждать от нейросетей. вообще, что ждать от нейросетей. вообще, что ждать от нейросетей. >> Всем привет. Привет, Виталий. Расскажи, >> Всем привет. Привет, Виталий. Расскажи, >> Всем привет. Привет, Виталий. Расскажи, что интересного, на твой взгляд, что интересного, на твой взгляд, что интересного, на твой взгляд, произошло за последний год в неросетях произошло за последний год в неросетях произошло за последний год в неросетях ЛLМ и ещё какие фундаментальные ЛLМ и ещё какие фундаментальные ЛLМ и ещё какие фундаментальные изменения были. изменения были. изменения были. >> Да, мы встречались в декабре двадцать

00:32>> Да, мы встречались в декабре двадцать >> Да, мы встречались в декабре двадцать четвёртого года и не ожидали, наверное, четвёртого года и не ожидали, наверное, четвёртого года и не ожидали, наверное, да, что появится псик она делает столько да, что появится псик она делает столько да, что появится псик она делает столько шума. Мы вели разговор про третью ламу и шума. Мы вели разговор про третью ламу и шума. Мы вели разговор про третью ламу и квен 2 с по и ну двадцать пятый год, квен 2 с по и ну двадцать пятый год, квен 2 с по и ну двадцать пятый год, надо, наверное, признаться, был очень надо, наверное, признаться, был очень

00:47надо, наверное, признаться, был очень насыщенный. Он он ещё не закончился, да, насыщенный. Он он ещё не закончился, да, насыщенный. Он он ещё не закончился, да, но очень насыщенный по части новых но очень насыщенный по части новых но очень насыщенный по части новых моделей и новых подходов. Мы встретились моделей и новых подходов. Мы встретились моделей и новых подходов. Мы встретились в декабре. Ну, хочется, во-первых, в декабре. Ну, хочется, во-первых, в декабре. Ну, хочется, во-первых, поздравить. У тебя в этом году поздравить. У тебя в этом году поздравить. У тебя в этом году получается 10.000 подписчиков, да, получается 10.000 подписчиков, да,

01:00получается 10.000 подписчиков, да, случилось. Я вот сейчас помнил, что Да, случилось. Я вот сейчас помнил, что Да, случилось. Я вот сейчас помнил, что Да, >> знаменательное событие, когда >> знаменательное событие, когда >> знаменательное событие, когда Роскомнадзор выдал такую плажечку, что Роскомнадзор выдал такую плажечку, что Роскомнадзор выдал такую плажечку, что >> теперь ты в списке, >> теперь ты в списке, >> теперь ты в списке, >> да. Так что всё, что говорим, это >> да. Так что всё, что говорим, это >> да. Так что всё, что говорим, это >> ориально отслеживают. >> ориально отслеживают. >> ориально отслеживают. >> Надо тогда думать, что говоришь. Э,

01:15>> Надо тогда думать, что говоришь. Э, >> Надо тогда думать, что говоришь. Э, получается, по моделям, наверное, важно получается, по моделям, наверное, важно получается, по моделям, наверное, важно сказать по трендам, а-э, которые явились сказать по трендам, а-э, которые явились сказать по трендам, а-э, которые явились предпосылками м того, что произошло. Мы, предпосылками м того, что произошло. Мы, предпосылками м того, что произошло. Мы, в принципе, обсудили, что учить, э, ну, в принципе, обсудили, что учить, э, ну, в принципе, обсудили, что учить, э, ну, то есть таких было несколько трендов, то есть таких было несколько трендов,

01:31то есть таких было несколько трендов, да, которые мы прогнозировали. То есть да, которые мы прогнозировали. То есть да, которые мы прогнозировали. То есть первое - это что учить модели становится первое - это что учить модели становится первое - это что учить модели становится а уже сложнее, потому что определённых а уже сложнее, потому что определённых а уже сложнее, потому что определённых бенчмарков они достигли, и достигать бенчмарков они достигли, и достигать бенчмарков они достигли, и достигать качества выше сложнее, потому что качества выше сложнее, потому что качества выше сложнее, потому что затраты при обучении, при увеличении затраты при обучении, при увеличении

01:46затраты при обучении, при увеличении трансформера уже возрастают нелинейно. трансформера уже возрастают нелинейно. трансформера уже возрастают нелинейно. А поэтому нужны какие-то новые подходы. А поэтому нужны какие-то новые подходы. А поэтому нужны какие-то новые подходы. Ну и они, в принципе, случились. А-э, Ну и они, в принципе, случились. А-э, Ну и они, в принципе, случились. А-э, вот важно, наверное, сказать, что, мм, вот важно, наверное, сказать, что, мм, вот важно, наверное, сказать, что, мм, DeepsК - это первый, ээ, известный DeepsК - это первый, ээ, известный DeepsК - это первый, ээ, известный случай из открытых, ну, то есть те, кто случай из открытых, ну, то есть те, кто

02:04случай из открытых, ну, то есть те, кто открыто заявили, а, которые учили свою открыто заявили, а, которые учили свою открыто заявили, а, которые учили свою модель в ВФП8, то есть в пониженной модель в ВФП8, то есть в пониженной модель в ВФП8, то есть в пониженной точности, вот именно учили её. Кстати, а точности, вот именно учили её. Кстати, а точности, вот именно учили её. Кстати, а когда я дойду, ну, там уже ближе к концу когда я дойду, ну, там уже ближе к концу когда я дойду, ну, там уже ближе к концу про современные дипсики, там ещё и это в про современные дипсики, там ещё и это в про современные дипсики, там ещё и это в КВКэше это проявится. То есть deepsк

02:22КВКэше это проявится. То есть deepsк КВКэше это проявится. То есть deepsк наделал шума, потому что, ну, нужно было наделал шума, потому что, ну, нужно было наделал шума, потому что, ну, нужно было как-то, мм, китайской компании догонять как-то, мм, китайской компании догонять как-то, мм, китайской компании догонять Open и по качеству, и по скорости Open и по качеству, и по скорости Open и по качеству, и по скорости инференса. Ну и понятно, что по финансам инференса. Ну и понятно, что по финансам инференса. Ну и понятно, что по финансам догнать эту компанию очень сложно. Вот. догнать эту компанию очень сложно. Вот. догнать эту компанию очень сложно. Вот. То есть это, ну, во-первых, уже

02:38То есть это, ну, во-первых, уже То есть это, ну, во-первых, уже состоявшийся как э лидер, да, в состоявшийся как э лидер, да, в состоявшийся как э лидер, да, в искусственном интеллекте. Вот. Плюс искусственном интеллекте. Вот. Плюс искусственном интеллекте. Вот. Плюс команда, которая изначально эту команда, которая изначально эту команда, которая изначально эту технологию разрабатывала. Поэтому идея технологию разрабатывала. Поэтому идея технологию разрабатывала. Поэтому идея была простая. нужно было м как-то была простая. нужно было м как-то была простая. нужно было м как-то научить лучше, чем Openi. А при этом, научить лучше, чем Openi. А при этом,

02:54научить лучше, чем Openi. А при этом, скорее всего, данные в распоряжении ты скорее всего, данные в распоряжении ты скорее всего, данные в распоряжении ты имеешь примерно те же, то есть весь имеешь примерно те же, то есть весь имеешь примерно те же, то есть весь интернет. Вот. То есть имея доступ ко интернет. Вот. То есть имея доступ ко интернет. Вот. То есть имея доступ ко всему интернету, тебе нужно как-то всему интернету, тебе нужно как-то всему интернету, тебе нужно как-то обеспечить бенчмарки. Ну то есть обеспечить бенчмарки. Ну то есть обеспечить бенчмарки. Ну то есть качественный какой-то скачок совершить. качественный какой-то скачок совершить.

03:06качественный какой-то скачок совершить. >> Там, кстати, ещё были обвинения со >> Там, кстати, ещё были обвинения со >> Там, кстати, ещё были обвинения со стороны, что Deeps использовали данные стороны, что Deeps использовали данные стороны, что Deeps использовали данные отча GPT для для обучения дипсика. отча GPT для для обучения дипсика. отча GPT для для обучения дипсика. Данная чат GPT, в смысле синтетические Данная чат GPT, в смысле синтетические Данная чат GPT, в смысле синтетические генерации генерации генерации >> просто датасет. Вот >> просто датасет. Вот >> просто датасет. Вот >> а датасет >> а датасет >> а датасет >> логи, то, что отправили в чат GPT, то,

03:24>> логи, то, что отправили в чат GPT, то, >> логи, то, что отправили в чат GPT, то, что получили и на этом дообучали. Хотя в что получили и на этом дообучали. Хотя в что получили и на этом дообучали. Хотя в Open напрямую написано, что запрещено Open напрямую написано, что запрещено Open напрямую написано, что запрещено использовать данные для добучения своих использовать данные для добучения своих использовать данные для добучения своих неростей конкурирующих. неростей конкурирующих. неростей конкурирующих. >> Да, ну это это, наверное, отдельная >> Да, ну это это, наверное, отдельная >> Да, ну это это, наверное, отдельная проблема. То есть очень же сложно проблема. То есть очень же сложно

03:37проблема. То есть очень же сложно сказать на чём модель училась, если ты сказать на чём модель училась, если ты сказать на чём модель училась, если ты не поймал за, так сказать, ну, если ты не поймал за, так сказать, ну, если ты не поймал за, так сказать, ну, если ты не поймал физически в батче вот этот вот не поймал физически в батче вот этот вот не поймал физически в батче вот этот вот кусок датасета, то как она, в принципе, кусок датасета, то как она, в принципе, кусок датасета, то как она, в принципе, может сама генерировать очень похожий может сама генерировать очень похожий может сама генерировать очень похожий контент, в случае чего это, наверное, не

03:52контент, в случае чего это, наверное, не контент, в случае чего это, наверное, не является доказательством, но это является доказательством, но это является доказательством, но это сложноя, это большая проблема. Вот сложноя, это большая проблема. Вот сложноя, это большая проблема. Вот поэтому первый вопрос, вот если поэтому первый вопрос, вот если поэтому первый вопрос, вот если говорить, да, про то, что происходит в говорить, да, про то, что происходит в говорить, да, про то, что происходит в декабре- январе, это V3 dipсик. Вот, декабре- январе, это V3 dipсик. Вот, декабре- январе, это V3 dipсик. Вот, соответственно, соответственно, соответственно, надо было как-то ребятам качественно,

04:08надо было как-то ребятам качественно, надо было как-то ребятам качественно, качественно и быстро успеть заскочить качественно и быстро успеть заскочить качественно и быстро успеть заскочить вот в это временное окно, пока open не вот в это временное окно, пока open не вот в это временное окно, пока open не выпустили новую модель. И это вот как выпустили новую модель. И это вот как выпустили новую модель. И это вот как раз единственная возможность была это раз единственная возможность была это раз единственная возможность была это обучение в FP8. Ну, то есть это не это обучение в FP8. Ну, то есть это не это обучение в FP8. Ну, то есть это не это не что-то фундаментально новое, потому

04:24не что-то фундаментально новое, потому не что-то фундаментально новое, потому что про это говорили уже давно. То есть, что про это говорили уже давно. То есть, что про это говорили уже давно. То есть, например, например, например, пониженную точность тренд пониженную точность тренд пониженную точность тренд вот этот тренд вырисовывался с 2017 вот этот тренд вырисовывался с 2017 вот этот тренд вырисовывался с 2017 года, когда в вольте ещё во 100 сделали года, когда в вольте ещё во 100 сделали года, когда в вольте ещё во 100 сделали этот Flot 16 этот Flot 16 этот Flot 16 >> BF16, который Brain Float 16. >> BF16, который Brain Float 16.

04:44>> BF16, который Brain Float 16. >> Да, дада, да, да. И стало понятно, да, >> Да, дада, да, да. И стало понятно, да, >> Да, дада, да, да. И стало понятно, да, что видеокарты идут в другую сторону. То что видеокарты идут в другую сторону. То что видеокарты идут в другую сторону. То есть, если процессоры, центральные есть, если процессоры, центральные есть, если процессоры, центральные процессоры, они наращивали точность, то процессоры, они наращивали точность, то процессоры, они наращивали точность, то есть это 8 бит, 16 бит, 32 и 64 есть это 8 бит, 16 бит, 32 и 64 есть это 8 бит, 16 бит, 32 и 64 задержался, ну, сейчас дольше всех, задержался, ну, сейчас дольше всех,

04:58задержался, ну, сейчас дольше всех, потому что его, как бы, вполне потому что его, как бы, вполне потому что его, как бы, вполне достаточно, он ещё даже полностью его достаточно, он ещё даже полностью его достаточно, он ещё даже полностью его там потенциал не раскрыт. А то в там потенциал не раскрыт. А то в там потенциал не раскрыт. А то в видеокартах и ну идёт идёт снижение в видеокартах и ну идёт идёт снижение в видеокартах и ну идёт идёт снижение в обратную сторону. То есть видеокарта обратную сторону. То есть видеокарта обратную сторону. То есть видеокарта начала считать ВП-32. Это было важно для начала считать ВП-32. Это было важно для

05:12начала считать ВП-32. Это было важно для 3D-графики. Вот. И когда поняли, что 3D-графики. Вот. И когда поняли, что 3D-графики. Вот. И когда поняли, что такая точность избыточная, такая точность избыточная, такая точность избыточная, соответственно, BFЛТ ээ шестнадцатый, соответственно, BFЛТ ээ шестнадцатый, соответственно, BFЛТ ээ шестнадцатый, потом FP8. И вот сейчас мы в БКВАЛ видим потом FP8. И вот сейчас мы в БКВАЛ видим потом FP8. И вот сейчас мы в БКВАЛ видим уже FP4. Вот на тот момент про, уже FP4. Вот на тот момент про, уже FP4. Вот на тот момент про, например, мультиэкспертные модели и про например, мультиэкспертные модели и про

05:28например, мультиэкспертные модели и про FP8 было известно. Ну, то есть уже уже FP8 было известно. Ну, то есть уже уже FP8 было известно. Ну, то есть уже уже существовала аппаратная поддержка в существовала аппаратная поддержка в существовала аппаратная поддержка в видеокартах. То есть понятно, что её видеокартах. То есть понятно, что её видеокартах. То есть понятно, что её делали не просто так, её делали под делали не просто так, её делали под делали не просто так, её делали под кого-то и специально. Просто они успели кого-то и специально. Просто они успели кого-то и специально. Просто они успели эту модель обучить и зарелизить. Ну, то эту модель обучить и зарелизить. Ну, то

05:44эту модель обучить и зарелизить. Ну, то есть как бы подсуетились, это есть как бы подсуетились, это есть как бы подсуетились, это называется. То есть, а, ну, а, а, как называется. То есть, а, ну, а, а, как называется. То есть, а, ну, а, а, как это работает? То есть у тебя аппаратное это работает? То есть у тебя аппаратное это работает? То есть у тебя аппаратное ускорение, у тебя те же самые мощности ускорение, у тебя те же самые мощности ускорение, у тебя те же самые мощности становятся в два раз быстрее, потому что становятся в два раз быстрее, потому что становятся в два раз быстрее, потому что регистр у тебя какой был, такой остался, регистр у тебя какой был, такой остался,

05:56регистр у тебя какой был, такой остался, но ты в него помещаешь два числа, и они но ты в него помещаешь два числа, и они но ты в него помещаешь два числа, и они за такт как бы ну обрабатываются. Это, за такт как бы ну обрабатываются. Это, за такт как бы ну обрабатываются. Это, ну, такое примитивное, да, объяснение, ну, такое примитивное, да, объяснение, ну, такое примитивное, да, объяснение, но но оно похоже на то, что происходит в но но оно похоже на то, что происходит в но но оно похоже на то, что происходит в реальности. реальности. реальности. >> И по памяти тоже в два раза быстрее там >> И по памяти тоже в два раза быстрее там

06:07>> И по памяти тоже в два раза быстрее там читать два байта или один байт. читать два байта или один байт. читать два байта или один байт. >> Ну, да, да, да. Вот, соответственно, про >> Ну, да, да, да. Вот, соответственно, про >> Ну, да, да, да. Вот, соответственно, про FP8 было известно. Они молодцы, что они FP8 было известно. Они молодцы, что они FP8 было известно. Они молодцы, что они успели. Плюс они, в принципе, ну, на тот успели. Плюс они, в принципе, ну, на тот успели. Плюс они, в принципе, ну, на тот момент, вот как как мы с тобой говорили, момент, вот как как мы с тобой говорили, момент, вот как как мы с тобой говорили, да, ты говоришь, что, в принципе,

06:24да, ты говоришь, что, в принципе, да, ты говоришь, что, в принципе, мы обозначили следующий тренд там, ну, мы обозначили следующий тренд там, ну, мы обозначили следующий тренд там, ну, помимо как бы, да, различных способов помимо как бы, да, различных способов помимо как бы, да, различных способов расширения памяти. То есть мы сказали, расширения памяти. То есть мы сказали, расширения памяти. То есть мы сказали, что память будет расширяться, но она что память будет расширяться, но она что память будет расширяться, но она разными способами может расширяться. То разными способами может расширяться. То разными способами может расширяться. То есть в том числе, ну, неявно, да, за

06:34есть в том числе, ну, неявно, да, за есть в том числе, ну, неявно, да, за счёт сокращения точности, когда сам вес счёт сокращения точности, когда сам вес счёт сокращения точности, когда сам вес меньше становится и больше весов внутрь меньше становится и больше весов внутрь меньше становится и больше весов внутрь помещается. про умножение матриц, помещается. про умножение матриц, помещается. про умножение матриц, поскольку поддержка аппаратная FP8, поскольку поддержка аппаратная FP8, поскольку поддержка аппаратная FP8, ну, только появилась, поэтому ну, только появилась, поэтому ну, только появилась, поэтому стабильного, быстрого и стандартного стабильного, быстрого и стандартного

06:51стабильного, быстрого и стандартного способа умножения матриц, ну, видимо, не способа умножения матриц, ну, видимо, не способа умножения матриц, ну, видимо, не существовало или там были какие-то существовало или там были какие-то существовало или там были какие-то претензии. Поэтому ребята в ядрах, в претензии. Поэтому ребята в ядрах, в претензии. Поэтому ребята в ядрах, в кернолах писали своё умножение матриц. кернолах писали своё умножение матриц. кернолах писали своё умножение матриц. Это тоже один из факторов, потому что Это тоже один из факторов, потому что Это тоже один из факторов, потому что умножить матрицу в пониженной точности и умножить матрицу в пониженной точности и

07:05умножить матрицу в пониженной точности и сохранить, ну, погрешности, это держать сохранить, ну, погрешности, это держать сохранить, ну, погрешности, это держать погрешность минимальной, это, ну, погрешность минимальной, это, ну, погрешность минимальной, это, ну, непростая задача. Поэтому в команде, непростая задача. Поэтому в команде, непростая задача. Поэтому в команде, соответственно, ну, были математики, соответственно, ну, были математики, соответственно, ну, были математики, которые успели, да, ну, вот немножко которые успели, да, ну, вот немножко которые успели, да, ну, вот немножко себе времени выкроить и побыстрее себе времени выкроить и побыстрее

07:19себе времени выкроить и побыстрее качественный продукт дать. Ну, и когда у качественный продукт дать. Ну, и когда у качественный продукт дать. Ну, и когда у тебя нет столько денег, как у то есть ты тебя нет столько денег, как у то есть ты тебя нет столько денег, как у то есть ты ещё вынужден поми того, что модель ещё вынужден поми того, что модель ещё вынужден поми того, что модель учишь, тебе нужно её как-то потом будет учишь, тебе нужно её как-то потом будет учишь, тебе нужно её как-то потом будет инференсить. То есть ты её можешь инференсить. То есть ты её можешь инференсить. То есть ты её можешь научить, предположим, она у тебя научить, предположим, она у тебя

07:31научить, предположим, она у тебя получилась лучше всех, а потом тебе получилась лучше всех, а потом тебе получилась лучше всех, а потом тебе нужно модель дать рынку. А приходит нужно модель дать рынку. А приходит нужно модель дать рынку. А приходит рынок, начинает бачи свои в неё загонять рынок, начинает бачи свои в неё загонять рынок, начинает бачи свои в неё загонять и как бы тебе нужно отвечать. То есть ты и как бы тебе нужно отвечать. То есть ты и как бы тебе нужно отвечать. То есть ты не можешь всем сказать: "Подождите". не можешь всем сказать: "Подождите". не можешь всем сказать: "Подождите". >> А поэтому нужно было уменьшать накладные >> А поэтому нужно было уменьшать накладные

07:44>> А поэтому нужно было уменьшать накладные и вообще потребление при инференсе. Вот и вообще потребление при инференсе. Вот и вообще потребление при инференсе. Вот здесь вот хорошо мультиэкспертность, ну, здесь вот хорошо мультиэкспертность, ну, здесь вот хорошо мультиэкспертность, ну, ну как бы, ну как бы, ну как бы, >> да, да, да. Mixure of Experts >> да, да, да. Mixure of Experts >> да, да, да. Mixure of Experts раскрывается, потому что как бы всё, что раскрывается, потому что как бы всё, что раскрывается, потому что как бы всё, что было до этого - это full attention, это было до этого - это full attention, это было до этого - это full attention, это полные модели и полные модели и

08:01полные модели и ну как бы преимущество, ну там там был, ну как бы преимущество, ну там там был, ну как бы преимущество, ну там там был, по-моему, вот этот Мистраль. А то есть по-моему, вот этот Мистраль. А то есть по-моему, вот этот Мистраль. А то есть это вот первый опыт, да, там микстраль, это вот первый опыт, да, там микстраль, это вот первый опыт, да, там микстраль, а первый опыт а первый опыт а первый опыт по-моему из восьми мультиэкспертов. То по-моему из восьми мультиэкспертов. То по-моему из восьми мультиэкспертов. То есть оно только-только появилось, но для есть оно только-только появилось, но для есть оно только-только появилось, но для того, чтобы это будет мейнстримное

08:15того, чтобы это будет мейнстримное того, чтобы это будет мейнстримное решение мультиэкспертное, вот ээ ну решение мультиэкспертное, вот ээ ну решение мультиэкспертное, вот ээ ну Deepsi вот сделал на эту ставку. И в Deepsi вот сделал на эту ставку. И в Deepsi вот сделал на эту ставку. И в принципе, ну, наверное, были какие-то принципе, ну, наверное, были какие-то принципе, ну, наверное, были какие-то инсайды, потому что ты сказал про инсайды, потому что ты сказал про инсайды, потому что ты сказал про датасеты, да, ну, какие-то там или или датасеты, да, ну, какие-то там или или датасеты, да, ну, какие-то там или или >> Ну, был такой скандал, то, что >> Ну, был такой скандал, то, что

08:31>> Ну, был такой скандал, то, что обвинили в том, что он использовал чат обвинили в том, что он использовал чат обвинили в том, что он использовал чат GBT для до обучения своей модели. Вот. GBT для до обучения своей модели. Вот. GBT для до обучения своей модели. Вот. Да. И, в общем-то, это очень грамотное Да. И, в общем-то, это очень грамотное Да. И, в общем-то, это очень грамотное решение, потому что то, что было в чат решение, потому что то, что было в чат решение, потому что то, что было в чат GPT на тот момент, это, по сути, такая GPT на тот момент, это, по сути, такая GPT на тот момент, это, по сути, такая хорошая дистилляция, так, как должна хорошая дистилляция, так, как должна

08:48хорошая дистилляция, так, как должна работать модель. Именно это мы уже работать модель. Именно это мы уже работать модель. Именно это мы уже учили. учили. учили. >> То есть за счёт этого они не смогли >> То есть за счёт этого они не смогли >> То есть за счёт этого они не смогли сильно сократить компьютер, который сильно сократить компьютер, который сильно сократить компьютер, который нужен для обучения дипсика в третий, нужен для обучения дипсика в третий, нужен для обучения дипсика в третий, который который который >> Да, это вот тоже интересная такая мысль, >> Да, это вот тоже интересная такая мысль, >> Да, это вот тоже интересная такая мысль, достаточно глубокая. достаточно глубокая.

09:03достаточно глубокая. Ну, отчасти, да, отчасти пользы Ну, отчасти, да, отчасти пользы Ну, отчасти, да, отчасти пользы дистилляции, потому что когда ты грузишь дистилляции, потому что когда ты грузишь дистилляции, потому что когда ты грузишь очень много токенов, тебе нужно найти очень много токенов, тебе нужно найти очень много токенов, тебе нужно найти какие-то закономерности в них. Если какие-то закономерности в них. Если какие-то закономерности в них. Если контент уже дистиллерный, то контент уже дистиллерный, то контент уже дистиллерный, то закономерности уже найдены и обучение закономерности уже найдены и обучение закономерности уже найдены и обучение идёт проще. идёт проще.

09:17идёт проще. >> Да. >> Да. >> Да. >> Вот >> Вот >> Вот >> про сокращение компьютера, то есть >> про сокращение компьютера, то есть >> про сокращение компьютера, то есть mixture of experts. То есть это уже mixture of experts. То есть это уже mixture of experts. То есть это уже получается не плотные модели. Обучение получается не плотные модели. Обучение получается не плотные модели. Обучение при инференсе, не обучение, а при инференсе, не обучение, а при инференсе, не обучение, а потребность в мощностях при инфекренсе потребность в мощностях при инфекренсе потребность в мощностях при инфекренсе падает. И они поставили себе ещё помимо падает. И они поставили себе ещё помимо

09:35падает. И они поставили себе ещё помимо этого цель и планку по сохранению вот этого цель и планку по сохранению вот этого цель и планку по сохранению вот этой величины контекста 128.000. То есть этой величины контекста 128.000. То есть этой величины контекста 128.000. То есть это в третий выходит, соответственно это в третий выходит, соответственно это в третий выходит, соответственно 128К. 128К. 128К. И возникает проблема, что когда у тебя И возникает проблема, что когда у тебя И возникает проблема, что когда у тебя 671 млрд, тебе нужно очень большое 671 млрд, тебе нужно очень большое 671 млрд, тебе нужно очень большое количество квкэша. А при если это, ну,

09:56количество квкэша. А при если это, ну, количество квкэша. А при если это, ну, соответственно, мм, схема, которая соответственно, мм, схема, которая соответственно, мм, схема, которая работала до этого, например, там, ну, работала до этого, например, там, ну, работала до этого, например, там, ну, тип внимание full attention, да, вот и тип внимание full attention, да, вот и тип внимание full attention, да, вот и они сделали такой хак, скажем, про про они сделали такой хак, скажем, про про они сделали такой хак, скажем, про про то, что не обязательно хранить все то, что не обязательно хранить все то, что не обязательно хранить все матрицы, а, Q, K, V и полностью их

10:14матрицы, а, Q, K, V и полностью их матрицы, а, Q, K, V и полностью их представлять в памяти и, ну, представлять в памяти и, ну, представлять в памяти и, ну, соответственно, во все потом входные соответственно, во все потом входные соответственно, во все потом входные слои это передавать. То есть они слои это передавать. То есть они слои это передавать. То есть они фактически представили вот набор этих фактически представили вот набор этих фактически представили вот набор этих матриц как разложение на два матриц как разложение на два матриц как разложение на два сомножителя. И величиной вот этих вот ну сомножителя. И величиной вот этих вот ну

10:27сомножителя. И величиной вот этих вот ну то есть шириной этих сомножителей можно то есть шириной этих сомножителей можно то есть шириной этих сомножителей можно регулировать точность. регулировать точность. регулировать точность. >> Сейчас это ты рассказываешь, как Flash >> Сейчас это ты рассказываешь, как Flash >> Сейчас это ты рассказываешь, как Flash attention механизм работает. attention механизм работает. attention механизм работает. >> Это мультиad, но это латентное внимание >> Это мультиad, но это латентное внимание >> Это мультиad, но это латентное внимание latent attention MLA DPC V3 на MLA, да. latent attention MLA DPC V3 на MLA, да.

10:43latent attention MLA DPC V3 на MLA, да. Вот, соответственно, ну вот если очень Вот, соответственно, ну вот если очень Вот, соответственно, ну вот если очень просто, есть какая-то очень большая просто, есть какая-то очень большая просто, есть какая-то очень большая матрица, её можно всегда представить. матрица, её можно всегда представить. матрица, её можно всегда представить. Есть какая-то большой прямоугольник, как Есть какая-то большой прямоугольник, как Есть какая-то большой прямоугольник, как произведение двух вот таких полосочек произведение двух вот таких полосочек произведение двух вот таких полосочек вот по горизонтали, да, и по вертикали. вот по горизонтали, да, и по вертикали.

10:55вот по горизонтали, да, и по вертикали. Что это дало? Это дало то, что вот если Что это дало? Это дало то, что вот если Что это дало? Это дало то, что вот если взять вот третий dipсик, сейчас я точную взять вот третий dipсик, сейчас я точную взять вот третий dipсик, сейчас я точную цифру не вспомню, но это порядок, это цифру не вспомню, но это порядок, это цифру не вспомню, но это порядок, это там 78- 10 Гб всего на КВэш, вот при там 78- 10 Гб всего на КВэш, вот при там 78- 10 Гб всего на КВэш, вот при этой здоровенной модели. Вот. И понятно, этой здоровенной модели. Вот. И понятно, этой здоровенной модели. Вот. И понятно, что когда к тебе приходят пользователи,

11:08что когда к тебе приходят пользователи, что когда к тебе приходят пользователи, то на один поток а-а ты тратишь всего то на один поток а-а ты тратишь всего то на один поток а-а ты тратишь всего лишь вот такое, ну, количество памяти. лишь вот такое, ну, количество памяти. лишь вот такое, ну, количество памяти. То есть, соответственно, в Inнференс они То есть, соответственно, в Inнференс они То есть, соответственно, в Inнференс они смогли принять гораздо больше людей. Я смогли принять гораздо больше людей. Я смогли принять гораздо больше людей. Я думаю, что был цикл статей про demifying думаю, что был цикл статей про demifying думаю, что был цикл статей про demifying GPT4, GPT4,

11:22GPT4, про то, как эксперты пытались про то, как эксперты пытались про то, как эксперты пытались предположить, что в GPT4, ну, то есть предположить, что в GPT4, ну, то есть предположить, что в GPT4, ну, то есть либо у них были, ну, какой-то инсайт у либо у них были, ну, какой-то инсайт у либо у них были, ну, какой-то инсайт у них был, либо они внимательно всё это них был, либо они внимательно всё это них был, либо они внимательно всё это изучали. А не совсем понятно, что было изучали. А не совсем понятно, что было изучали. А не совсем понятно, что было на тот момент GT4. То есть это тоже на тот момент GT4. То есть это тоже

11:35на тот момент GT4. То есть это тоже счита, ну, считается, что это большая, счита, ну, считается, что это большая, счита, ну, считается, что это большая, ну, как есть версии, что это большая ну, как есть версии, что это большая ну, как есть версии, что это большая мультиэкспертная модель, там что-то мультиэкспертная модель, там что-то мультиэкспертная модель, там что-то около там тоже триллиона там что-то около там тоже триллиона там что-то около там тоже триллиона там что-то было. Поэтому быстрое обучение, э, было. Поэтому быстрое обучение, э, было. Поэтому быстрое обучение, э, снижение накладных на infence, обучение снижение накладных на infence, обучение

11:47снижение накладных на infence, обучение в пониженной точности - это вот то, что, в пониженной точности - это вот то, что, в пониженной точности - это вот то, что, ну, и, соответственно, громкий релиз, ну, и, соответственно, громкий релиз, ну, и, соответственно, громкий релиз, очень громкий релиз, который, ну, очень громкий релиз, который, ну, очень громкий релиз, который, ну, известно, чем закончился, да, даже даже известно, чем закончился, да, даже даже известно, чем закончился, да, даже даже американские рынки обвалились и, ну, они американские рынки обвалились и, ну, они американские рынки обвалились и, ну, они потом, правда, вернулись, но, конечно, потом, правда, вернулись, но, конечно,

11:58потом, правда, вернулись, но, конечно, резонанс был очень хороший. Вот так резонанс был очень хороший. Вот так резонанс был очень хороший. Вот так начинается 2025 год. Я знаешь что как начинается 2025 год. Я знаешь что как начинается 2025 год. Я знаешь что как раз для себя отметил? Это интересно, что раз для себя отметил? Это интересно, что раз для себя отметил? Это интересно, что прошлая наша встреча, ну, я так в целом прошлая наша встреча, ну, я так в целом прошлая наша встреча, ну, я так в целом всё помнил, за этот год столько всего всё помнил, за этот год столько всего всё помнил, за этот год столько всего произошло, вот столько чисел в голове и произошло, вот столько чисел в голове и

12:12произошло, вот столько чисел в голове и ну прям, ну прям, ну прям, >> да, понятно, >> да, понятно, >> да, понятно, >> тяжело помнить всё.

12:20>> Вот смотри, вот эти замеры семьдесят >> Вот смотри, вот эти замеры семьдесят седьмой, семьдесят шестой, семьдесят седьмой, семьдесят шестой, семьдесят седьмой, семьдесят шестой, семьдесят пятый, deepsek V3 AVQ, depsek V32 Redic. пятый, deepsek V3 AVQ, depsek V32 Redic. пятый, deepsek V3 AVQ, depsek V32 Redic. Вот здесь что-то не написано, что за Вот здесь что-то не написано, что за Вот здесь что-то не написано, что за модель. Вот этот RedHT 90 токенов в модель. Вот этот RedHT 90 токенов в модель. Вот этот RedHT 90 токенов в секунду, Deepsek V3 AVQ 42 токена в секунду, Deepsek V3 AVQ 42 токена в секунду, Deepsek V3 AVQ 42 токена в секунду и DeepsК V3 V32 49 токенов в

12:39секунду и DeepsК V3 V32 49 токенов в секунду и DeepsК V3 V32 49 токенов в секунду. секунду. секунду. >> Это единичный запрос, >> Это единичный запрос, >> Это единичный запрос, >> да? >> да? >> да? >> И получается примерно 40 токенов в >> И получается примерно 40 токенов в >> И получается примерно 40 токенов в секунду можно получить и на дипсике секунду можно получить и на дипсике секунду можно получить и на дипсике >> V3, >> V3, >> V3, >> ну 50 даже на >> ну 50 даже на >> ну 50 даже на >> Vantization AWQ. Это весьма быстро для >> Vantization AWQ. Это весьма быстро для >> Vantization AWQ. Это весьма быстро для VLM, VLM, VLM, >> да? Вот это смотри, это получается, это

12:57>> да? Вот это смотри, это получается, это >> да? Вот это смотри, это получается, это уже споинта снято, сколько реально, то уже споинта снято, сколько реально, то уже споинта снято, сколько реально, то есть это не расчёт, это реальное есть это не расчёт, это реальное есть это не расчёт, это реальное потребление под веса loaded model size. потребление под веса loaded model size. потребление под веса loaded model size. >> То есть вот психики где-то в FP4 где-то >> То есть вот психики где-то в FP4 где-то >> То есть вот психики где-то в FP4 где-то 320-340. Вот это как раз к конфигу мы 320-340. Вот это как раз к конфигу мы 320-340. Вот это как раз к конфигу мы сейчас перейдём. сейчас перейдём.

13:10сейчас перейдём. >> Так, вот тут вижу H200. Это сколько >> Так, вот тут вижу H200. Это сколько >> Так, вот тут вижу H200. Это сколько видеокарт? Тритри. видеокарт? Тритри. видеокарт? Тритри. >> Три, потому что 140. А так я знаю, что у >> Три, потому что 140. А так я знаю, что у >> Три, потому что 140. А так я знаю, что у VLM есть ограничение на тезр параллел, VLM есть ограничение на тезр параллел, VLM есть ограничение на тезр параллел, чтобы это было 1 2 4 8 и так далее, чтобы это было 1 2 4 8 и так далее, чтобы это было 1 2 4 8 и так далее, >> да, >> да, >> да, >> кла кратно от heads. А у вас три >> кла кратно от heads. А у вас три

13:31>> кла кратно от heads. А у вас три видеокарты, то есть вы используете видеокарты, то есть вы используете видеокарты, то есть вы используете эксперт параллел или эксперт параллел или эксперт параллел или >> как бы 3H200, >> как бы 3H200, >> как бы 3H200, >> да? Три видеокарты H200, которая была в >> да? Три видеокарты H200, которая была в >> да? Три видеокарты H200, которая была в предыдущем видео. Сколько она стоит? 2,5 предыдущем видео. Сколько она стоит? 2,5 предыдущем видео. Сколько она стоит? 2,5 млн. Сейчас млн. Сейчас млн. Сейчас >> 34.000 долларов, скорее всего, 2,82,9 >> 34.000 долларов, скорее всего, 2,82,9 >> 34.000 долларов, скорее всего, 2,82,9 млн. млн.

13:46млн. >> Так, то есть 100.000. тысяч долларов три >> Так, то есть 100.000. тысяч долларов три >> Так, то есть 100.000. тысяч долларов три видеокарты, видеокарты, видеокарты, >> да? >> да? >> да? >> То есть 8 млн руб. только на видеокарты >> То есть 8 млн руб. только на видеокарты >> То есть 8 млн руб. только на видеокарты нужно отдать, чтобы запустить deepsк нужно отдать, чтобы запустить deepsк нужно отдать, чтобы запустить deepsк >> и V3, V3, V31, V32, пожалуйста, в P4. Мы >> и V3, V3, V31, V32, пожалуйста, в P4. Мы >> и V3, V3, V31, V32, пожалуйста, в P4. Мы прямо точно сейчас вот смотрели, сколько прямо точно сейчас вот смотрели, сколько

14:01прямо точно сейчас вот смотрели, сколько памяти потребляет. 340 ГБ модель, да, и памяти потребляет. 340 ГБ модель, да, и памяти потребляет. 340 ГБ модель, да, и там где-то до десятки на КВэш там где-то до десятки на КВэш там где-то до десятки на КВэш работает. И даже на трёх картах работает. И даже на трёх картах работает. И даже на трёх картах работает, если что. Мы потом, если работает, если что. Мы потом, если работает, если что. Мы потом, если вопрос будет, как это запустить, мы вопрос будет, как это запустить, мы вопрос будет, как это запустить, мы скажем. скажем. скажем. >> Ну, примерно с такой же скоростью, там, >> Ну, примерно с такой же скоростью, там,

14:14>> Ну, примерно с такой же скоростью, там, где-то 20-30 токенов в секунду. работает где-то 20-30 токенов в секунду. работает где-то 20-30 токенов в секунду. работает официальный чат Дипсика. официальный чат Дипсика. официальный чат Дипсика. >> Я думаю, что у нас работает гораздо >> Я думаю, что у нас работает гораздо >> Я думаю, что у нас работает гораздо быстрее. Я сейчас просто объясню, быстрее. Я сейчас просто объясню, быстрее. Я сейчас просто объясню, почему. Это промер, который мы, то есть почему. Это промер, который мы, то есть почему. Это промер, который мы, то есть мы просто усредняем по четырём-пяти мы просто усредняем по четырём-пяти

14:29мы просто усредняем по четырём-пяти тестовым запросам, которые очень тестовым запросам, которые очень тестовым запросам, которые очень короткие. То есть есть такой вот короткие. То есть есть такой вот короткие. То есть есть такой вот оптимум, да, э когда ты очень короткие оптимум, да, э когда ты очень короткие оптимум, да, э когда ты очень короткие запросы отправляешь, у тебя уже ТПС запросы отправляешь, у тебя уже ТПС запросы отправляешь, у тебя уже ТПС большой не может получиться, потому что большой не может получиться, потому что большой не может получиться, потому что накладные расходы на старт большие и накладные расходы на старт большие и

14:41накладные расходы на старт большие и запрос сам короткий, то есть разогнаться запрос сам короткий, то есть разогнаться запрос сам короткий, то есть разогнаться ты не успеваешь. И, ну, очень большие ты не успеваешь. И, ну, очень большие ты не успеваешь. И, ну, очень большие контексты, ну, когда всё BТком, они контексты, ну, когда всё BТком, они контексты, ну, когда всё BТком, они очень редкие. То есть, ну, сложно такой, очень редкие. То есть, ну, сложно такой, очень редкие. То есть, ну, сложно такой, да, бенчмаркет. да, бенчмаркет. да, бенчмаркет. >> Так, а вот это токено в секунду - это >> Так, а вот это токено в секунду - это

14:52>> Так, а вот это токено в секунду - это именно генерация токенов 40, именно генерация токенов 40, именно генерация токенов 40, >> да? Это генерация, да? Вот это >> да? Это генерация, да? Вот это >> да? Это генерация, да? Вот это генерация. И поэтому мы заметили, что генерация. И поэтому мы заметили, что генерация. И поэтому мы заметили, что наши всё-таки вот эти тестовые запросы, наши всё-таки вот эти тестовые запросы, наши всё-таки вот эти тестовые запросы, они достаточно короткие, мы уже знаем. они достаточно короткие, мы уже знаем. они достаточно короткие, мы уже знаем. То есть, если их делать подлиннее, то, в То есть, если их делать подлиннее, то, в

15:06То есть, если их делать подлиннее, то, в принципе, ТПС подрастает. То есть, в принципе, ТПС подрастает. То есть, в принципе, ТПС подрастает. То есть, в реальных задачах ТПС подрастает. Ну, то реальных задачах ТПС подрастает. Ну, то реальных задачах ТПС подрастает. Ну, то есть вот первое вообще, что мы, когда есть вот первое вообще, что мы, когда есть вот первое вообще, что мы, когда вот прям вот прям вот прям с, как сказать, такой сырой вариант с, как сказать, такой сырой вариант с, как сказать, такой сырой вариант НДинтов просто вот запустили в цикле НДинтов просто вот запустили в цикле НДинтов просто вот запустили в цикле промер ТПС, там типа расскажи историю

15:19промер ТПС, там типа расскажи историю промер ТПС, там типа расскажи историю про роботов. Ну там он пишет, там тпс не про роботов. Ну там он пишет, там тпс не про роботов. Ну там он пишет, там тпс не разгоняется. Вот вот это как раз не разгоняется. Вот вот это как раз не разгоняется. Вот вот это как раз не разогнанный специальный ТПС, то есть мы разогнанный специальный ТПС, то есть мы разогнанный специальный ТПС, то есть мы его не подкручивали, чтобы побольше. Я его не подкручивали, чтобы побольше. Я его не подкручивали, чтобы побольше. Я думаю, что там больше будет. думаю, что там больше будет. думаю, что там больше будет. >> А так это за счёт кеширования >> А так это за счёт кеширования

15:29>> А так это за счёт кеширования разгоняется. разгоняется. разгоняется. >> Ну, в том числе, да. >> Ну, в том числе, да. >> Ну, в том числе, да. >> Так, ещё раз скажи про галлюцинацию >> Так, ещё раз скажи про галлюцинацию >> Так, ещё раз скажи про галлюцинацию неросетей. Что это за проблема и вообще неросетей. Что это за проблема и вообще неросетей. Что это за проблема и вообще она решаема? И она решаема? И она решаема? И как можно выйти? как можно выйти? как можно выйти? >> Это сейчас, наверное, одна из самых >> Это сейчас, наверное, одна из самых >> Это сейчас, наверное, одна из самых важных проблем по экспертным оценкам. То важных проблем по экспертным оценкам. То

15:45важных проблем по экспертным оценкам. То есть тут есть тут есть тут ребята, которые занимаются обучением ребята, которые занимаются обучением ребята, которые занимаются обучением трансформеров и валидацией, вот они, ну, трансформеров и валидацией, вот они, ну, трансформеров и валидацией, вот они, ну, глубоко там, так сказать, ээ уже глубоко там, так сказать, ээ уже глубоко там, так сказать, ээ уже зарылись. Скажем так. Проблема зарылись. Скажем так. Проблема зарылись. Скажем так. Проблема формулируется примерно так. А ты формулируется примерно так. А ты формулируется примерно так. А ты спрашиваешь нейросеть, спрашиваешь нейросеть, спрашиваешь нейросеть, а, о том, чего она гарантированно не

16:04а, о том, чего она гарантированно не а, о том, чего она гарантированно не знает. Скорее всего, ты получаешь, если знает. Скорее всего, ты получаешь, если знает. Скорее всего, ты получаешь, если ты дополнительно её не инструктируешь и ты дополнительно её не инструктируешь и ты дополнительно её не инструктируешь и если ты множество неростей попробуешь, если ты множество неростей попробуешь, если ты множество неростей попробуешь, ты получаешь самые разнообразные ответы. ты получаешь самые разнообразные ответы. ты получаешь самые разнообразные ответы. То есть нейросети это не знает. То есть нейросети это не знает. То есть нейросети это не знает. Какие-то Какие-то

16:19Какие-то в некоторых случаях могут сказать, что я в некоторых случаях могут сказать, что я в некоторых случаях могут сказать, что я не обученная там, у меня нет такой не обученная там, у меня нет такой не обученная там, у меня нет такой информации, но это опять нужно смотреть, информации, но это опять нужно смотреть, информации, но это опять нужно смотреть, что есть система в фронте. Но в целом что есть система в фронте. Но в целом что есть система в фронте. Но в целом фантазии начинаются разнообразные. фантазии начинаются разнообразные. фантазии начинаются разнообразные. Почему это происходит? Потому что когда Почему это происходит? Потому что когда

16:33Почему это происходит? Потому что когда привыкаешь общаться к ней, с ней как с привыкаешь общаться к ней, с ней как с привыкаешь общаться к ней, с ней как с мыслящим, ну, ну, ну, то есть как будто мыслящим, ну, ну, ну, то есть как будто мыслящим, ну, ну, ну, то есть как будто ты переписываешься с человеком, то ты ты переписываешься с человеком, то ты ты переписываешься с человеком, то ты невольно её воодушевляешь и думаешь, что невольно её воодушевляешь и думаешь, что невольно её воодушевляешь и думаешь, что там есть логика. Но по факту это просто там есть логика. Но по факту это просто там есть логика. Но по факту это просто очень хорошая статистика. Это всего лишь

16:49очень хорошая статистика. Это всего лишь очень хорошая статистика. Это всего лишь генерация следующего токена. И, ну, и генерация следующего токена. И, ну, и генерация следующего токена. И, ну, и вот этот механизм генерации следующего вот этот механизм генерации следующего вот этот механизм генерации следующего токена, он и есть, он и поощряется. токена, он и есть, он и поощряется. токена, он и есть, он и поощряется. Просто токен должен быть самый Просто токен должен быть самый Просто токен должен быть самый статистически вероятный. То есть, если статистически вероятный. То есть, если статистически вероятный. То есть, если конструкция правильна, то нейросеть

17:03конструкция правильна, то нейросеть конструкция правильна, то нейросеть спокойно её выдаёт. Аа спокойно её выдаёт. Аа спокойно её выдаёт. Аа если конструкция статистически если конструкция статистически если конструкция статистически достоверная. И как это можно ещё другими достоверная. И как это можно ещё другими достоверная. И как это можно ещё другими словами ну словами ну словами ну объяснить? Э проблема исходит из объяснить? Э проблема исходит из объяснить? Э проблема исходит из методики методики методики из методики обучения и из методики обучения и из методики обучения и как потом валидации, то есть сравнивание как потом валидации, то есть сравнивание

17:26как потом валидации, то есть сравнивание с бенчмарками. А когда ты смотришь на с бенчмарками. А когда ты смотришь на с бенчмарками. А когда ты смотришь на процент правильных ответов, то, ну, а процент правильных ответов, то, ну, а процент правильных ответов, то, ну, а если, соответственно, получаешь если, соответственно, получаешь если, соответственно, получаешь неправильный ответ, то ты просто ноль у неправильный ответ, то ты просто ноль у неправильный ответ, то ты просто ноль у тебя, как бы, то есть всё вот если у тебя, как бы, то есть всё вот если у тебя, как бы, то есть всё вот если у тебя 50% от правильных ответов, то тебя 50% от правильных ответов, то

17:39тебя 50% от правильных ответов, то бенчмарк будет, например, 50%, а бенчмарк будет, например, 50%, а бенчмарк будет, например, 50%, а остальные 50% - это на самом деле остальные 50% - это на самом деле остальные 50% - это на самом деле неправильные ответы. то нейросети и неправильные ответы. то нейросети и неправильные ответы. то нейросети и оптимизатору, который её учат, который оптимизатору, который её учат, который оптимизатору, который её учат, который там градиенты расставляет и всё там градиенты расставляет и всё там градиенты расставляет и всё остальное, то есть по по бочам там остальное, то есть по по бочам там остальное, то есть по по бочам там считает вот эту вот всю сходимость, им

17:55считает вот эту вот всю сходимость, им считает вот эту вот всю сходимость, им выгоднее предположить, выгоднее предположить, выгоднее предположить, чем, ну, просто как бы не ответить, чем, ну, просто как бы не ответить, чем, ну, просто как бы не ответить, потому что всегда есть какая-то потому что всегда есть какая-то потому что всегда есть какая-то ненулевая вероятность угадать. Поэтому ненулевая вероятность угадать. Поэтому ненулевая вероятность угадать. Поэтому какая-то часть вот этого бенчмарка очень какая-то часть вот этого бенчмарка очень какая-то часть вот этого бенчмарка очень маленькая сверху, она натягивается за маленькая сверху, она натягивается за

18:07маленькая сверху, она натягивается за счёт угадывания. И поэтому нейросеть счёт угадывания. И поэтому нейросеть счёт угадывания. И поэтому нейросеть систематически систематически систематически ну как бы подталкивается к тому, чтобы ну как бы подталкивается к тому, чтобы ну как бы подталкивается к тому, чтобы фантазировать, да? То есть это фантазии. фантазировать, да? То есть это фантазии. фантазировать, да? То есть это фантазии. Ну, кстати, вот интересно, да, что это Ну, кстати, вот интересно, да, что это Ну, кстати, вот интересно, да, что это такая фантазия. Просто она очень такая фантазия. Просто она очень такая фантазия. Просто она очень уверенно про это, ну, про это

18:21уверенно про это, ну, про это уверенно про это, ну, про это фантазирует, и многим кажется, что это фантазирует, и многим кажется, что это фантазирует, и многим кажется, что это правда. правда. правда. И, ну, вот прикольный случай. Э значит И, ну, вот прикольный случай. Э значит И, ну, вот прикольный случай. Э значит чего-то вот, ну, недавно только скандал чего-то вот, ну, недавно только скандал чего-то вот, ну, недавно только скандал был, чего-то спросили в Google студии, в был, чего-то спросили в Google студии, в был, чего-то спросили в Google студии, в Google AI Studio что-то спросили. Ну то Google AI Studio что-то спросили. Ну то

18:37Google AI Studio что-то спросили. Ну то есть ты просто как бы уверенно есть ты просто как бы уверенно есть ты просто как бы уверенно спрашиваешь у нейросети. Спросили про спрашиваешь у нейросети. Спросили про спрашиваешь у нейросети. Спросили про американского сенатора, что у американского сенатора, что у американского сенатора, что у американского сенатора были, ну какие-то американского сенатора были, ну какие-то американского сенатора были, ну какие-то проблемы с законом. И там, поскольку проблемы с законом. И там, поскольку проблемы с законом. И там, поскольку спросили уверенно, то есть там Гема спросили уверенно, то есть там Гема

18:48спросили уверенно, то есть там Гема просто выдала всё, там ещё и фотки, и просто выдала всё, там ещё и фотки, и просто выдала всё, там ещё и фотки, и ссылки на статьи не существующие. Ну, ссылки на статьи не существующие. Ну, ссылки на статьи не существующие. Ну, естественно, как бы сенаторам это не естественно, как бы сенаторам это не естественно, как бы сенаторам это не нравится. Это, кстати, не первый, ну, нравится. Это, кстати, не первый, ну, нравится. Это, кстати, не первый, ну, случай, который этот. То есть это случай, который этот. То есть это случай, который этот. То есть это однозначно говорит о том, что будет однозначно говорит о том, что будет

18:58однозначно говорит о том, что будет какое-то правовое регулирование. Хотя я какое-то правовое регулирование. Хотя я какое-то правовое регулирование. Хотя я не знаю, мы мы как бы из России, то есть не знаю, мы мы как бы из России, то есть не знаю, мы мы как бы из России, то есть у нас всё понятно. У нас вон Сбер у нас всё понятно. У нас вон Сбер у нас всё понятно. У нас вон Сбер выпустил помощника, он снизу просто выпустил помощника, он снизу просто выпустил помощника, он снизу просто пишет, что всё, что он пишет, может быть пишет, что всё, что он пишет, может быть пишет, что всё, что он пишет, может быть неправдой. И как бы ну всё. То есть, неправдой. И как бы ну всё. То есть,

19:10неправдой. И как бы ну всё. То есть, >> да, в час же пяти тоже так. >> да, в час же пяти тоже так. >> да, в час же пяти тоже так. >> Ну да. То есть и в целом людям, ну, как >> Ну да. То есть и в целом людям, ну, как >> Ну да. То есть и в целом людям, ну, как будто бы достаточно, то есть они будто бы достаточно, то есть они будто бы достаточно, то есть они понимают, что, ну, как бы надо ещё понимают, что, ну, как бы надо ещё понимают, что, ну, как бы надо ещё валидировать самостоятельно. Поэтому валидировать самостоятельно. Поэтому валидировать самостоятельно. Поэтому пришёл запрос, э, жалоба или как это пришёл запрос, э, жалоба или как это

19:23пришёл запрос, э, жалоба или как это правильно сказать, то есть запрос в правильно сказать, то есть запрос в правильно сказать, то есть запрос в Google с требованием удалить Гему. гему Google с требованием удалить Гему. гему Google с требованием удалить Гему. гему удалили там, не помню, там то ли из апи, удалили там, не помню, там то ли из апи, удалили там, не помню, там то ли из апи, то ли там какие-то есть вот апи, есть то ли там какие-то есть вот апи, есть то ли там какие-то есть вот апи, есть научные исследования, ещё откуда, в научные исследования, ещё откуда, в научные исследования, ещё откуда, в общем, по-моему, откуда-то её удалили общем, по-моему, откуда-то её удалили

19:33общем, по-моему, откуда-то её удалили временно или постоянно, не знаю, но а временно или постоянно, не знаю, но а временно или постоянно, не знаю, но а интересен ответ Гугла. То есть Google интересен ответ Гугла. То есть Google интересен ответ Гугла. То есть Google пишет, что это общеизвестная отраслевая пишет, что это общеизвестная отраслевая пишет, что это общеизвестная отраслевая проблема. То есть он её, ну, то есть как проблема. То есть он её, ну, то есть как проблема. То есть он её, ну, то есть как бы даже даже сама вот эта формулировка бы даже даже сама вот эта формулировка бы даже даже сама вот эта формулировка подразумевает, что проблема вообще не с

19:49подразумевает, что проблема вообще не с подразумевает, что проблема вообще не с Геммой и проблема вообще не с Гуглом и Геммой и проблема вообще не с Гуглом и Геммой и проблема вообще не с Гуглом и проблема не даже конкретно там с проблема не даже конкретно там с проблема не даже конкретно там с сенатором и с вот этим вот софтом, сенатором и с вот этим вот софтом, сенатором и с вот этим вот софтом, который вот что-то там обрабатывал, который вот что-то там обрабатывал, который вот что-то там обрабатывал, когда вот этот запрос был. Проблема в когда вот этот запрос был. Проблема в когда вот этот запрос был. Проблема в том, что технология сама по себе такая,

20:00том, что технология сама по себе такая, том, что технология сама по себе такая, и она всегда, ну, не на этом, так, на и она всегда, ну, не на этом, так, на и она всегда, ну, не на этом, так, на другом сгаллюционирует или сфантазирует. другом сгаллюционирует или сфантазирует. другом сгаллюционирует или сфантазирует. В принципе, сейчас, э, ну, это как это В принципе, сейчас, э, ну, это как это В принципе, сейчас, э, ну, это как это не паника такая, что типа нейросити не паника такая, что типа нейросити не паника такая, что типа нейросити вообще нельзя доверять. вообще нельзя доверять. вообще нельзя доверять. Это просто известная проблема, и её 100% Это просто известная проблема, и её 100%

20:15Это просто известная проблема, и её 100% будут решать. Сейчас вот как бы, ну, будут решать. Сейчас вот как бы, ну, будут решать. Сейчас вот как бы, ну, одну тоже мысль скажу на на этот счёт. одну тоже мысль скажу на на этот счёт. одну тоже мысль скажу на на этот счёт. Получается, что, Получается, что, Получается, что, видимо, придётся менять подход к видимо, придётся менять подход к видимо, придётся менять подход к обучению, обучению, обучению, за счёт чего за счёт чего за счёт чего сейчас уже, ну, вот такоя плата сейчас уже, ну, вот такоя плата сейчас уже, ну, вот такоя плата наблюдается, да, по по бенчмаркам. Ну, наблюдается, да, по по бенчмаркам. Ну,

20:31наблюдается, да, по по бенчмаркам. Ну, некоторая, то есть, некоторая, то есть, некоторая, то есть, >> да, есть такое. То есть вначале был >> да, есть такое. То есть вначале был >> да, есть такое. То есть вначале был какой-то бурный рост, а потом стал рост какой-то бурный рост, а потом стал рост какой-то бурный рост, а потом стал рост поменьше, сейчас уже, ну, как бы плата, поменьше, сейчас уже, ну, как бы плата, поменьше, сейчас уже, ну, как бы плата, да, и усилия потрачены, большие усилия, да, и усилия потрачены, большие усилия, да, и усилия потрачены, большие усилия, потраченные на новые механизмы, новое потраченные на новые механизмы, новое

20:44потраченные на новые механизмы, новое обучения, они уже в гораздо меньшем обучения, они уже в гораздо меньшем обучения, они уже в гораздо меньшем приросте вот этого бенчмарка выражаются. приросте вот этого бенчмарка выражаются. приросте вот этого бенчмарка выражаются. Вот. Ээ какая-то часть этого прироста и Вот. Ээ какая-то часть этого прироста и Вот. Ээ какая-то часть этого прироста и какая-то часть этого бенчмарка - это какая-то часть этого бенчмарка - это какая-то часть этого бенчмарка - это случайно угаданные, ну, просто вот случайно угаданные, ну, просто вот случайно угаданные, ну, просто вот скажем так, угаданные или скажем так, угаданные или

20:58скажем так, угаданные или сфантазированные или сгаллюционированные сфантазированные или сгаллюционированные сфантазированные или сгаллюционированные значения. Э- ответы, когда ты работаешь значения. Э- ответы, когда ты работаешь значения. Э- ответы, когда ты работаешь с нейросетью, для тебя вот эти с нейросетью, для тебя вот эти с нейросетью, для тебя вот эти галлюцинации, процент этих галлюцинаций галлюцинации, процент этих галлюцинаций галлюцинации, процент этих галлюцинаций гораздо важнее, чем бечмарк. То есть я гораздо важнее, чем бечмарк. То есть я гораздо важнее, чем бечмарк. То есть я вот, ну, мы уже упомянули, да, про это, вот, ну, мы уже упомянули, да, про это,

21:10вот, ну, мы уже упомянули, да, про это, что тебе, в принципе, важно, выполнена что тебе, в принципе, важно, выполнена что тебе, в принципе, важно, выполнена твоя задача будет или не выполнена, но твоя задача будет или не выполнена, но твоя задача будет или не выполнена, но при этом количество галлюцинаций, оно при этом количество галлюцинаций, оно при этом количество галлюцинаций, оно очень практически осязаемое. То есть это очень практически осязаемое. То есть это очень практически осязаемое. То есть это понимает, что вот с 10% случаев, понимает, что вот с 10% случаев, понимает, что вот с 10% случаев, например, ты модели доверять не можешь. например, ты модели доверять не можешь.

21:21например, ты модели доверять не можешь. Ну, то есть она что-то там ошибётся Ну, то есть она что-то там ошибётся Ну, то есть она что-то там ошибётся где-то или она что-то придумывает где-то или она что-то придумывает где-то или она что-то придумывает несуществующее. Вот важно, например, несуществующее. Вот важно, например, несуществующее. Вот важно, например, там, да, для системы техподдержки. там, да, для системы техподдержки. там, да, для системы техподдержки. задают какие-то технические вопросы, она задают какие-то технические вопросы, она задают какие-то технические вопросы, она там начинает фантазировать ээ того, что там начинает фантазировать ээ того, что

21:32там начинает фантазировать ээ того, что чего нет. Видимо, будет изменён подход к чего нет. Видимо, будет изменён подход к чего нет. Видимо, будет изменён подход к обучению, и за счёт этого бенчмарки обучению, и за счёт этого бенчмарки обучению, и за счёт этого бенчмарки станут более честными, и, ну, модель как станут более честными, и, ну, модель как станут более честными, и, ну, модель как каким-то образом научится, ну, скажем каким-то образом научится, ну, скажем каким-то образом научится, ну, скажем так, понимать, что, ну, вот как человек, так, понимать, что, ну, вот как человек, так, понимать, что, ну, вот как человек, человек же понимает, если он не знает,

21:46человек же понимает, если он не знает, человек же понимает, если он не знает, то есть его спрашивает, он говорит: "Я то есть его спрашивает, он говорит: "Я то есть его спрашивает, он говорит: "Я не знаю". Или там это не нужно не у меня не знаю". Или там это не нужно не у меня не знаю". Или там это не нужно не у меня спрашивать. То есть, видимо, здесь ээ ну спрашивать. То есть, видимо, здесь ээ ну спрашивать. То есть, видимо, здесь ээ ну такого не будет. такого не будет. такого не будет. Галлюцинации известная проблема. А Галлюцинации известная проблема. А Галлюцинации известная проблема. А отчасти решается, отчасти решается ещё отчасти решается, отчасти решается ещё

22:02отчасти решается, отчасти решается ещё помимо, ну, то есть в промкте за счёт помимо, ну, то есть в промкте за счёт помимо, ну, то есть в промкте за счёт того, что можно, ну, то есть можно того, что можно, ну, то есть можно того, что можно, ну, то есть можно хорошо проинструктировать модель на то, хорошо проинструктировать модель на то, хорошо проинструктировать модель на то, что нужно, что не нужно. Ну, она всегда, что нужно, что не нужно. Ну, она всегда, что нужно, что не нужно. Ну, она всегда, конечно, может проигнорировать эту конечно, может проигнорировать эту конечно, может проигнорировать эту часть, но тем не менее. Вот. И, видимо, часть, но тем не менее. Вот. И, видимо,

22:15часть, но тем не менее. Вот. И, видимо, ещё решается за счёт всяких констентов, ещё решается за счёт всяких констентов, ещё решается за счёт всяких констентов, которые там, ну, дальше возникают. Это, которые там, ну, дальше возникают. Это, которые там, ну, дальше возникают. Это, например, там использование, а, ну, например, там использование, а, ну, например, там использование, а, ну, скажем так, дробление задачи на более скажем так, дробление задачи на более скажем так, дробление задачи на более маленькие, более типовое решение. маленькие, более типовое решение. маленькие, более типовое решение. и может быть даже структурированный и может быть даже структурированный

22:30и может быть даже структурированный выработ вот здесь вот возникает, то выработ вот здесь вот возникает, то выработ вот здесь вот возникает, то есть, ну, какие-то ответ по схемам, да, есть, ну, какие-то ответ по схемам, да, есть, ну, какие-то ответ по схемам, да, то есть когда ты её загоняешь в какие-то то есть когда ты её загоняешь в какие-то то есть когда ты её загоняешь в какие-то рамки, когда она вынуждена отвечать рамки, когда она вынуждена отвечать рамки, когда она вынуждена отвечать очень однозначно. Вот. И тогда вот очень однозначно. Вот. И тогда вот очень однозначно. Вот. И тогда вот на практике можно применять даже на практике можно применять даже

22:42на практике можно применять даже несмотря на галлюцинацию. То есть она несмотря на галлюцинацию. То есть она несмотря на галлюцинацию. То есть она частично уже решается эта проблема на частично уже решается эта проблема на частично уже решается эта проблема на практике как-то, но скорее всего будет практике как-то, но скорее всего будет практике как-то, но скорее всего будет изменён вот подход к обучению. изменён вот подход к обучению. изменён вот подход к обучению. >> Я хочу ещё рассказать про дистилляцию >> Я хочу ещё рассказать про дистилляцию >> Я хочу ещё рассказать про дистилляцию моделей. А недавно, когда делал тест моделей. А недавно, когда делал тест

22:59моделей. А недавно, когда делал тест неросеть по программированию, неросеть по программированию, неросеть по программированию, и там была на тот момент JLM 4,5 и там была на тот момент JLM 4,5 и там была на тот момент JLM 4,5 нейросеть и JLM 4,5. нейросеть и JLM 4,5. нейросеть и JLM 4,5. И на удивление какая-то name китайская И на удивление какая-то name китайская И на удивление какая-то name китайская нейросеть стала хорошо программировать. нейросеть стала хорошо программировать. нейросеть стала хорошо программировать. Ну и причём тот код, который я смотрел, Ну и причём тот код, который я смотрел, Ну и причём тот код, который я смотрел, там прямо качественно это сделано. Ну

23:18там прямо качественно это сделано. Ну там прямо качественно это сделано. Ну видно, что неросеть хорошая. видно, что неросеть хорошая. видно, что неросеть хорошая. Вот. И я пробовал её в своих задачах и Вот. И я пробовал её в своих задачах и Вот. И я пробовал её в своих задачах и тоже с задачами она хорошо справляется. тоже с задачами она хорошо справляется. тоже с задачами она хорошо справляется. И потом понял, как это было достигнуто. И потом понял, как это было достигнуто. И потом понял, как это было достигнуто. А, похоже, китайцы, А, похоже, китайцы, А, похоже, китайцы, именно вот это GLM, они дообучали свои именно вот это GLM, они дообучали свои

23:38именно вот это GLM, они дообучали свои нейросети на ответах от Anтропик. нейросети на ответах от Anтропик. нейросети на ответах от Anтропик. >> Угу. >> Угу. >> Угу. >> То есть я использовал очень часто >> То есть я использовал очень часто >> То есть я использовал очень часто нейросеть OPUS. Сейчас это Opus 4.1. Ну, нейросеть OPUS. Сейчас это Opus 4.1. Ну, нейросеть OPUS. Сейчас это Opus 4.1. Ну, достаточно дорогая нейросеть, но она достаточно дорогая нейросеть, но она достаточно дорогая нейросеть, но она выдаёт очень качественный код. выдаёт очень качественный код. выдаёт очень качественный код. >> Угу. То есть учитывая кучу всяких >> Угу. То есть учитывая кучу всяких

23:51>> Угу. То есть учитывая кучу всяких нюансов, то есть там, ну, например, нюансов, то есть там, ну, например, нюансов, то есть там, ну, например, вызовы нужных файлов, то есть я вызовы нужных файлов, то есть я вызовы нужных файлов, то есть я сравнивал OPUS, Sonnet, ещё какие-то сравнивал OPUS, Sonnet, ещё какие-то сравнивал OPUS, Sonnet, ещё какие-то неросети. неросети. неросети. Подал много файлов на вход и только OPUS Подал много файлов на вход и только OPUS Подал много файлов на вход и только OPUS подставил нужный файл, то, что подставил нужный файл, то, что подставил нужный файл, то, что подгрузить конфиг из такого-то файла, он подгрузить конфиг из такого-то файла, он

24:12подгрузить конфиг из такого-то файла, он нашёл именно этот файл, а многие другие нашёл именно этот файл, а многие другие нашёл именно этот файл, а многие другие неросети как раз сказали, что сюда неросети как раз сказали, что сюда неросети как раз сказали, что сюда поставьте там путь к конфигу. поставьте там путь к конфигу. поставьте там путь к конфигу. >> Угу. Хотя это было в промте и опуск >> Угу. Хотя это было в промте и опуск >> Угу. Хотя это было в промте и опуск конкретно решил эту задачу. И как раз конкретно решил эту задачу. И как раз конкретно решил эту задачу. И как раз JМ 4 повино, на мой взгляд, очень хорошо JМ 4 повино, на мой взгляд, очень хорошо

24:29JМ 4 повино, на мой взгляд, очень хорошо решала точно такие же задачи. решала точно такие же задачи. решала точно такие же задачи. >> Угу. >> Угу. >> Угу. >> И потом я начал уже детально сравнивать. >> И потом я начал уже детально сравнивать. >> И потом я начал уже детально сравнивать. Я просто брал запрос конкретный, кидал Я просто брал запрос конкретный, кидал Я просто брал запрос конкретный, кидал её в GLM, кидал в ряд американских её в GLM, кидал в ряд американских её в GLM, кидал в ряд американских университей, это Open, Antropic, Google. университей, это Open, Antropic, Google. университей, это Open, Antropic, Google. И прямо видно, что ответы полностью

24:48И прямо видно, что ответы полностью И прямо видно, что ответы полностью совпадают с ответами от Anтропик. То совпадают с ответами от Anтропик. То совпадают с ответами от Anтропик. То есть как отвечает OPСus, как отвечает есть как отвечает OPСus, как отвечает есть как отвечает OPСus, как отвечает Sunnet, прямо точно такое же Sunnet, прямо точно такое же Sunnet, прямо точно такое же форматирование, точно такие же форматирование, точно такие же форматирование, точно такие же заголовки, заголовки, заголовки, ээ, прямо одинаковая фраза в ответах. ээ, прямо одинаковая фраза в ответах. ээ, прямо одинаковая фраза в ответах. И вот есть такой тренд, то, что китайцы

25:06И вот есть такой тренд, то, что китайцы И вот есть такой тренд, то, что китайцы сейчас, неважно, какую крутую неросеть сейчас, неважно, какую крутую неросеть сейчас, неважно, какую крутую неросеть выпустят американцы, неважно какая выпустят американцы, неважно какая выпустят американцы, неважно какая компания. То есть пройдёт какое-то компания. То есть пройдёт какое-то компания. То есть пройдёт какое-то время, ээ, появится база ответов. время, ээ, появится база ответов. время, ээ, появится база ответов. >> Угу. >> Угу. >> Угу. >> То есть запрос-ответ. И на этих данных >> То есть запрос-ответ. И на этих данных >> То есть запрос-ответ. И на этих данных можно зафантюнить свою модель, чтобы она

25:23можно зафантюнить свою модель, чтобы она можно зафантюнить свою модель, чтобы она работала, ну, достаточно хорошо. работала, ну, достаточно хорошо. работала, ну, достаточно хорошо. Ну да, можно, можно и не зафатюнить, Ну да, можно, можно и не зафатюнить, Ну да, можно, можно и не зафатюнить, можно, наверное, ну, просто в можно, наверное, ну, просто в можно, наверное, ну, просто в определённом этапе использовать определённом этапе использовать определённом этапе использовать при обучении. Китайцы догонят. Ну, при обучении. Китайцы догонят. Ну, при обучении. Китайцы догонят. Ну, догонят, как бы, что быы не сделали догонят, как бы, что быы не сделали

25:38догонят, как бы, что быы не сделали американцы, китайцы нагонят сейчас. американцы, китайцы нагонят сейчас. американцы, китайцы нагонят сейчас. >> Да. >> Да. >> Да. Мы, получается, ну, что знаем, что, Мы, получается, ну, что знаем, что, Мы, получается, ну, что знаем, что, ну, случился DeepsК и, ну, случился DeepsК и, ну, случился DeepsК и, ну, на короткий момент они там догнали ну, на короткий момент они там догнали ну, на короткий момент они там догнали или почти догнали Openi. Э, мы знаем или почти догнали Openi. Э, мы знаем или почти догнали Openi. Э, мы знаем точно, что сейчас есть, ну, вот точно, что сейчас есть, ну, вот

25:55точно, что сейчас есть, ну, вот наблюдение, что китайские нейросети, наблюдение, что китайские нейросети, наблюдение, что китайские нейросети, другие тоже уже как бы качественно, ну, другие тоже уже как бы качественно, ну, другие тоже уже как бы качественно, ну, пишут код, а пишут код, а пишут код, а качественно генерации видео делают. И, качественно генерации видео делают. И, качественно генерации видео делают. И, ну, нам вот известно, то есть нам вот ну, нам вот известно, то есть нам вот ну, нам вот известно, то есть нам вот недавно сообщили о том, что, ну, недавно сообщили о том, что, ну, недавно сообщили о том, что, ну, готовится к продаже аналог карт ампер на

26:17готовится к продаже аналог карт ампер на готовится к продаже аналог карт ампер на 100. Вот единственное, что на 64 ГБ. Вот 100. Вот единственное, что на 64 ГБ. Вот 100. Вот единственное, что на 64 ГБ. Вот мы сейчас ждём предложения по цене. А, мы сейчас ждём предложения по цене. А, мы сейчас ждём предложения по цене. А, есть такие вот есть такие вот есть такие вот вещи. А, ну, то есть сложно себе вещи. А, ну, то есть сложно себе вещи. А, ну, то есть сложно себе представить. То есть с нуля такое представить. То есть с нуля такое представить. То есть с нуля такое производство, ну, просто невозможно. То производство, ну, просто невозможно. То

26:30производство, ну, просто невозможно. То есть сделать с нуля техпроцесс карту, есть сделать с нуля техпроцесс карту, есть сделать с нуля техпроцесс карту, там, куду, поддержку куды, драйверов и там, куду, поддержку куды, драйверов и там, куду, поддержку куды, драйверов и всего остального. Ну это очень сложно. всего остального. Ну это очень сложно. всего остального. Ну это очень сложно. То есть вот они берут, что есть, как бы То есть вот они берут, что есть, как бы То есть вот они берут, что есть, как бы докручивают и догоняют. Так, ещё докручивают и догоняют. Так, ещё докручивают и догоняют. Так, ещё интересный тренд - это мультимодальные интересный тренд - это мультимодальные

26:46интересный тренд - это мультимодальные модели. модели. модели. Нерасите перешли в Vision. И это было Нерасите перешли в Vision. И это было Нерасите перешли в Vision. И это было ещё интересное наблюдение во время GPT4, ещё интересное наблюдение во время GPT4, ещё интересное наблюдение во время GPT4, как только вышло. то, что если мы как только вышло. то, что если мы как только вышло. то, что если мы добавляем картинки, ну или ещё какую-то добавляем картинки, ну или ещё какую-то добавляем картинки, ну или ещё какую-то модальность к нейти, то она начинает модальность к нейти, то она начинает модальность к нейти, то она начинает лучше понимать уже в текущих доменах.

27:05лучше понимать уже в текущих доменах. лучше понимать уже в текущих доменах. >> Угу. >> Угу. >> Угу. >> Аналогичное наблюдение было при >> Аналогичное наблюдение было при >> Аналогичное наблюдение было при тренировке ламы ещё третьей, когда тренировке ламы ещё третьей, когда тренировке ламы ещё третьей, когда добавили код, как раз переход с ламы добавили код, как раз переход с ламы добавили код, как раз переход с ламы второй в третью. Просто добавили код в второй в третью. Просто добавили код в второй в третью. Просто добавили код в обучение и не растеть стало лучше на обучение и не растеть стало лучше на обучение и не растеть стало лучше на каких-то простых диалогах, понимать

27:21каких-то простых диалогах, понимать каких-то простых диалогах, понимать логику и отвечать более правильно. Угу. логику и отвечать более правильно. Угу. логику и отвечать более правильно. Угу. >> И сейчас просто есть тренд, что >> И сейчас просто есть тренд, что >> И сейчас просто есть тренд, что нейросети становятся мультимодальными. нейросети становятся мультимодальными. нейросети становятся мультимодальными. А есть как Vision нейросети, которые А есть как Vision нейросети, которые А есть как Vision нейросети, которые просто берут на вход картинку, берут просто берут на вход картинку, берут просто берут на вход картинку, берут текст и на выходе у них текст. Есть

27:37текст и на выходе у них текст. Есть текст и на выходе у них текст. Есть нейросети, которые генерят картинки, нейросети, которые генерят картинки, нейросети, которые генерят картинки, есть нейросети, которые есть нейросети, которые есть нейросети, которые на вход могут сразу несколько на вход могут сразу несколько на вход могут сразу несколько модальностей брать, например, текст, модальностей брать, например, текст, модальностей брать, например, текст, картинка, видео и аудио. Ну, например, 3 картинка, видео и аудио. Ну, например, 3 картинка, видео и аудио. Ну, например, 3 VL так работает. VL так работает. VL так работает. >> Угу. Ну и появились уже >> Угу. Ну и появились уже

27:56>> Угу. Ну и появились уже омни, например, где можно общаться омни, например, где можно общаться омни, например, где можно общаться голосом, то есть там сразу несколько голосом, то есть там сразу несколько голосом, то есть там сразу несколько модальностей подаётся, и на выходе мы модальностей подаётся, и на выходе мы модальностей подаётся, и на выходе мы имеем сразу несколько модальностей. В имеем сразу несколько модальностей. В имеем сразу несколько модальностей. В данном случае аудио. Э также есть тренд данном случае аудио. Э также есть тренд данном случае аудио. Э также есть тренд с видео. Видео уже с видео. Видео уже с видео. Видео уже стало хорошо работать. Вышло 42. Есть

28:16стало хорошо работать. Вышло 42. Есть стало хорошо работать. Вышло 42. Есть One 2.2. Я в себя обзор видел, э, видео One 2.2. Я в себя обзор видел, э, видео One 2.2. Я в себя обзор видел, э, видео делал. Есть VO3 от Гугла. Ну, в делал. Есть VO3 от Гугла. Ну, в делал. Есть VO3 от Гугла. Ну, в общем-то, эти неросети уже достаточно общем-то, эти неросети уже достаточно общем-то, эти неросети уже достаточно качественно генерят видео. И если не качественно генерят видео. И если не качественно генерят видео. И если не вглядываться в детали, ну, либо человек вглядываться в детали, ну, либо человек вглядываться в детали, ну, либо человек не разбирается в и, то, не разбирается в и, то,

28:33не разбирается в и, то, >> Угу. >> Угу. >> Угу. >> видео выглядит весьма натурально. И вот >> видео выглядит весьма натурально. И вот >> видео выглядит весьма натурально. И вот за счёт мультимодальности можно за счёт мультимодальности можно за счёт мультимодальности можно существенно повысить качество и область существенно повысить качество и область существенно повысить качество и область применения неросетей. применения неросетей. применения неросетей. >> Да. Я добавлю, что ещё, ну, получается, >> Да. Я добавлю, что ещё, ну, получается, >> Да. Я добавлю, что ещё, ну, получается, в двадцать пятом году как раз вот это в двадцать пятом году как раз вот это

28:49в двадцать пятом году как раз вот это случилось. То есть, ну, дифюзеры они по случилось. То есть, ну, дифюзеры они по случилось. То есть, ну, дифюзеры они по генерации видео они существовали просто, генерации видео они существовали просто, генерации видео они существовали просто, м, ну, как бы ими стало, ну, удобнее, м, ну, как бы ими стало, ну, удобнее, м, ну, как бы ими стало, ну, удобнее, что ли, пользоваться, то есть скорость что ли, пользоваться, то есть скорость что ли, пользоваться, то есть скорость генерации стала быстрее, и теперь ты, генерации стала быстрее, и теперь ты, генерации стала быстрее, и теперь ты, ну, за очень разумное время получаешь

29:03ну, за очень разумное время получаешь ну, за очень разумное время получаешь уже видеоролики, ну, пока короткие, да, уже видеоролики, ну, пока короткие, да, уже видеоролики, ну, пока короткие, да, пока там не с очень большим фпэсом, но пока там не с очень большим фпэсом, но пока там не с очень большим фпэсом, но тем не менее. То есть, в принципе, вот а тем не менее. То есть, в принципе, вот а тем не менее. То есть, в принципе, вот а есть есть есть ну да, оценки, ну, это можно с флаксом и ну да, оценки, ну, это можно с флаксом и ну да, оценки, ну, это можно с флаксом и со stable diffusion, например, со stable diffusion, например,

29:15со stable diffusion, например, сравнивать. То есть, если, мм, типовые, сравнивать. То есть, если, мм, типовые, сравнивать. То есть, если, мм, типовые, да, значения для диффюзера, когда да, значения для диффюзера, когда да, значения для диффюзера, когда десятки секунд генерируется одна, а, ну, десятки секунд генерируется одна, а, ну, десятки секунд генерируется одна, а, ну, одна картинка, и те диффюзеры, которые одна картинка, и те диффюзеры, которые одна картинка, и те диффюзеры, которые сейчас генерируют видео, они дошли до сейчас генерируют видео, они дошли до сейчас генерируют видео, они дошли до того, что, в принципе, они могут там того, что, в принципе, они могут там

29:29того, что, в принципе, они могут там кадр в секунду, ну, там, конечно, кадр в секунду, ну, там, конечно, кадр в секунду, ну, там, конечно, качество регулируется, да, но они могут качество регулируется, да, но они могут качество регулируется, да, но они могут кадр в секунду делать. Это вот тоже за кадр в секунду делать. Это вот тоже за кадр в секунду делать. Это вот тоже за это время произошло. это время произошло. это время произошло. >> Ну, кстати, в генерации видео там сильно >> Ну, кстати, в генерации видео там сильно >> Ну, кстати, в генерации видео там сильно на качество влияет как раз квантизация. на качество влияет как раз квантизация.

29:40на качество влияет как раз квантизация. >> То есть BF16, если запускать, то >> То есть BF16, если запускать, то >> То есть BF16, если запускать, то качество хорошее. Если уже в P8 качество хорошее. Если уже в P8 качество хорошее. Если уже в P8 спускаться, то различные артефафакты спускаться, то различные артефафакты спускаться, то различные артефафакты вылазят. И то, что генерил там где-то вылазят. И то, что генерил там где-то вылазят. И то, что генерил там где-то минут 40 минут 40 минут 40 >> генерировался десятисекундный ролик в >> генерировался десятисекундный ролик в >> генерировался десятисекундный ролик в хорошем качестве. хорошем качестве.

29:56хорошем качестве. То есть вот примерно такая скорость То есть вот примерно такая скорость То есть вот примерно такая скорость генерации видео. генерации видео. генерации видео. >> Да, кстати, квен у нас тоже прикольный >> Да, кстати, квен у нас тоже прикольный >> Да, кстати, квен у нас тоже прикольный артефакт был. Я только не вспомню сейчас артефакт был. Я только не вспомню сейчас артефакт был. Я только не вспомню сейчас FP4 или FP8 мы его пытались запускать. В FP4 или FP8 мы его пытались запускать. В FP4 или FP8 мы его пытались запускать. В общем, там всё стало как масляными общем, там всё стало как масляными общем, там всё стало как масляными красками нарисовано. Конечно, он такими,

30:10красками нарисовано. Конечно, он такими, красками нарисовано. Конечно, он такими, то есть там артефакт, ну, как бы такой то есть там артефакт, ну, как бы такой то есть там артефакт, ну, как бы такой достаточно специфичный. Вот. То есть, то достаточно специфичный. Вот. То есть, то достаточно специфичный. Вот. То есть, то есть как будто у тебя картинка была, а есть как будто у тебя картинка была, а есть как будто у тебя картинка была, а потом она так чуть стекла. [музыка] потом она так чуть стекла. [музыка] потом она так чуть стекла. [музыка] Прикольно. А так, я ещё хочу упомянуть Прикольно. А так, я ещё хочу упомянуть

30:21Прикольно. А так, я ещё хочу упомянуть то, что произошло за двадцать пятый год то, что произошло за двадцать пятый год то, что произошло за двадцать пятый год - это инстракт и финкинг модели. То есть - это инстракт и финкинг модели. То есть - это инстракт и финкинг модели. То есть с выходом О1, О3 от Openi модели перешли с выходом О1, О3 от Openi модели перешли с выходом О1, О3 от Openi модели перешли к размышлениям, то есть они сейчас к размышлениям, то есть они сейчас к размышлениям, то есть они сейчас думают достаточно долго и потом выдают думают достаточно долго и потом выдают думают достаточно долго и потом выдают уже сжатый ответ. то, что нужно уже сжатый ответ. то, что нужно

30:39уже сжатый ответ. то, что нужно пользователю, и это позволило пользователю, и это позволило пользователю, и это позволило существенно улучшить качество ответов. существенно улучшить качество ответов. существенно улучшить качество ответов. >> Да, кстати, мы про это сказали. Это >> Да, кстати, мы про это сказали. Это >> Да, кстати, мы про это сказали. Это получается пропустили после третьего получается пропустили после третьего получается пропустили после третьего сразу перепрыгнулик к следующим моделям сразу перепрыгнулик к следующим моделям сразу перепрыгнулик к следующим моделям про после дипсика. про после дипсика. про после дипсика. Ну, то есть вот в прошлом видео мы как

30:56Ну, то есть вот в прошлом видео мы как Ну, то есть вот в прошлом видео мы как раз сказали про память и сказали про то, раз сказали про память и сказали про то, раз сказали про память и сказали про то, что есть проблема с логикой. То есть что есть проблема с логикой. То есть что есть проблема с логикой. То есть тогда уже было, ну, понятно, что тогда уже было, ну, понятно, что тогда уже было, ну, понятно, что появится ризонинг, но то, что он станет появится ризонинг, но то, что он станет появится ризонинг, но то, что он станет настолько как бы стандартным, да, и что настолько как бы стандартным, да, и что настолько как бы стандартным, да, и что это будет основное решение для

31:11это будет основное решение для это будет основное решение для для того, чтобы сложные задачи, какие-то для того, чтобы сложные задачи, какие-то для того, чтобы сложные задачи, какие-то логические рассуждения делать, решать логические рассуждения делать, решать логические рассуждения делать, решать какие-то сложные проблемы. Ну вот он какие-то сложные проблемы. Ну вот он какие-то сложные проблемы. Ну вот он случился, то есть DPC1, э, тот же самый случился, то есть DPC1, э, тот же самый случился, то есть DPC1, э, тот же самый V3, да, но с thinking, V3, да, но с thinking, V3, да, но с thinking, там, кстати, сейчас идёт оптимизация там, кстати, сейчас идёт оптимизация

31:27там, кстати, сейчас идёт оптимизация этих размышлений. этих размышлений. этих размышлений. Там были примеры, что сравнение Там были примеры, что сравнение Там были примеры, что сравнение нейросетей, вот эта нейросети нейросетей, вот эта нейросети нейросетей, вот эта нейросети долго-долго думает, много токенов долго-долго думает, много токенов долго-долго думает, много токенов >> и потом выдаёт ответ. И сейчас есть >> и потом выдаёт ответ. И сейчас есть >> и потом выдаёт ответ. И сейчас есть такой тренд, чтобы все эти размышления такой тренд, чтобы все эти размышления такой тренд, чтобы все эти размышления уменьшать. То есть чем меньше модель уменьшать. То есть чем меньше модель

31:43уменьшать. То есть чем меньше модель думает и выдаёт правильный ответ, тем думает и выдаёт правильный ответ, тем думает и выдаёт правильный ответ, тем считается лучше. Ну, с точки зрения считается лучше. Ну, с точки зрения считается лучше. Ну, с точки зрения инфса меньше токенов надо. С точки инфса меньше токенов надо. С точки инфса меньше токенов надо. С точки зрения, то есть человек получает быстрее зрения, то есть человек получает быстрее зрения, то есть человек получает быстрее ответ. ответ. ответ. >> Ну, в общем, тренд. >> Ну, в общем, тренд. >> Ну, в общем, тренд. >> Ну, и с точки зрения контекста, да, >> Ну, и с точки зрения контекста, да,

31:55>> Ну, и с точки зрения контекста, да, получается, да, меньше в запросе, да, получается, да, меньше в запросе, да, получается, да, меньше в запросе, да, контекст. Расскажи про поинты. Что такое контекст. Расскажи про поинты. Что такое контекст. Расскажи про поинты. Что такое и и и >> для кого это? >> для кого это? >> для кого это? >> Ну, мы поняли, что, э, как сказать >> Ну, мы поняли, что, э, как сказать >> Ну, мы поняли, что, э, как сказать находимся находимся находимся в таком вот ограниченном пространстве. в таком вот ограниченном пространстве. в таком вот ограниченном пространстве. То есть мы сначала, с одной стороны, То есть мы сначала, с одной стороны,

32:09То есть мы сначала, с одной стороны, инфраструктурный провайдер, и мы не инфраструктурный провайдер, и мы не инфраструктурный провайдер, и мы не лезем в прикладную область, а с другой лезем в прикладную область, а с другой лезем в прикладную область, а с другой стороны, э, клиентам часто очень стороны, э, клиентам часто очень стороны, э, клиентам часто очень требуется поддержка по лмкам, потому что требуется поддержка по лмкам, потому что требуется поддержка по лмкам, потому что у них нет знаний о типах данных, там, об у них нет знаний о типах данных, там, об у них нет знаний о типах данных, там, об в ЛМЕ, инфраструктуре, там, сетях, в ЛМЕ, инфраструктуре, там, сетях,

32:24в ЛМЕ, инфраструктуре, там, сетях, балансировке и так далее. Поэтому, ну, балансировке и так далее. Поэтому, ну, балансировке и так далее. Поэтому, ну, возникла такая идея, она витала в возникла такая идея, она витала в возникла такая идея, она витала в воздухе уже уже назревала про то, что воздухе уже уже назревала про то, что воздухе уже уже назревала про то, что нейросети нужно и можно, ну, то есть нейросети нужно и можно, ну, то есть нейросети нужно и можно, ну, то есть началось с этого, что можно нужно и началось с этого, что можно нужно и началось с этого, что можно нужно и можно отдавать по апе. Ну, в то же время можно отдавать по апе. Ну, в то же время

32:41можно отдавать по апе. Ну, в то же время нам не хочется конкурировать с Квен, не нам не хочется конкурировать с Квен, не нам не хочется конкурировать с Квен, не хочется конкурировано с Алибабой, не хочется конкурировано с Алибабой, не хочется конкурировано с Алибабой, не хочется конкурировать с GPT и GPT и, ну, хочется конкурировать с GPT и GPT и, ну, хочется конкурировать с GPT и GPT и, ну, со всеми остальными, там, с Яндекс GPT со всеми остальными, там, с Яндекс GPT со всеми остальными, там, с Яндекс GPT вообще ни с кем не хочется вообще ни с кем не хочется вообще ни с кем не хочется конкурировать, потому что это это не конкурировать, потому что это это не

32:55конкурировать, потому что это это не наша история. То есть мы не претендуем наша история. То есть мы не претендуем наша история. То есть мы не претендуем на то, что наша модель лучше. Мы на то, что наша модель лучше. Мы на то, что наша модель лучше. Мы претендуем на то, что мы решение для претендуем на то, что мы решение для претендуем на то, что мы решение для тех, кто хочет захостить лэмки, либо уже тех, кто хочет захостить лэмки, либо уже тех, кто хочет захостить лэмки, либо уже взять готовую, ну, модель. И сейчас взять готовую, ну, модель. И сейчас взять готовую, ну, модель. И сейчас родилась такая формула. родилась такая формула.

33:10родилась такая формула. Ну, интересное, да, как раз продукт Ну, интересное, да, как раз продукт Ну, интересное, да, как раз продукт такой в глубокой бете. Вот. То есть такой в глубокой бете. Вот. То есть такой в глубокой бете. Вот. То есть можно уже в интернете, ну, найти можно уже в интернете, ну, найти можно уже в интернете, ну, найти посадочные, да, на вот эти страницы, но посадочные, да, на вот эти страницы, но посадочные, да, на вот эти страницы, но специально мы его не рекламируем и из специально мы его не рекламируем и из специально мы его не рекламируем и из менюх его как бы, ну, сложно очень там менюх его как бы, ну, сложно очень там

33:25менюх его как бы, ну, сложно очень там туда пробиться. В продуктовых меню нет туда пробиться. В продуктовых меню нет туда пробиться. В продуктовых меню нет туда ссылок. туда ссылок. туда ссылок. >> Так, а тогда пару вопросов сразу. Какая >> Так, а тогда пару вопросов сразу. Какая >> Так, а тогда пару вопросов сразу. Какая стоимость? стоимость? стоимость? А А А >> мы пока всё, что там размещено, мы пока >> мы пока всё, что там размещено, мы пока >> мы пока всё, что там размещено, мы пока бесплатно отдаём. Так, то есть можно бесплатно отдаём. Так, то есть можно бесплатно отдаём. Так, то есть можно сейчас взять и бесплатно использовать сейчас взять и бесплатно использовать

33:38сейчас взять и бесплатно использовать ваше IP? ваше IP? ваше IP? >> Да, сейчас подняты, ну, наверное, >> Да, сейчас подняты, ну, наверное, >> Да, сейчас подняты, ну, наверное, где-то, ну, больше десятка, да, поинтов где-то, ну, больше десятка, да, поинтов где-то, ну, больше десятка, да, поинтов есть. По диффюзерам проще сказать, там есть. По диффюзерам проще сказать, там есть. По диффюзерам проще сказать, там есть флакс. Вот, кстати, с ним тоже есть флакс. Вот, кстати, с ним тоже есть флакс. Вот, кстати, с ним тоже такая история. Он у нас тестово поднят, такая история. Он у нас тестово поднят, такая история. Он у нас тестово поднят, потому что флакс полноценный дев, он по

33:57потому что флакс полноценный дев, он по потому что флакс полноценный дев, он по лицензии запрещает как бы использование, лицензии запрещает как бы использование, лицензии запрещает как бы использование, да, да, по апе да, да, по апе да, да, по апе >> вот с флаксом гораздо проще. FL FL de FL >> вот с флаксом гораздо проще. FL FL de FL >> вот с флаксом гораздо проще. FL FL de FL K там присутствует есть н image как раз K там присутствует есть н image как раз K там присутствует есть н image как раз вот на котором если там найти вот на котором если там найти вот на котором если там найти восьмибитный как раз вот тот эффект про восьмибитный как раз вот тот эффект про

34:12восьмибитный как раз вот тот эффект про который я говорил может можно заметить который я говорил может можно заметить который я говорил может можно заметить как как он работает как как он работает как как он работает >> а сколько миллиардов параметров у этой >> а сколько миллиардов параметров у этой >> а сколько миллиардов параметров у этой Quen image git я сейчас не вспомню Quen image git я сейчас не вспомню Quen image git я сейчас не вспомню >> ну это это можем можем дано >> ну это это можем можем дано >> ну это это можем можем дано >> а там кстати вот как раз классно что все >> а там кстати вот как раз классно что все

34:27>> а там кстати вот как раз классно что все модели которые добавлены в каталог ты модели которые добавлены в каталог ты модели которые добавлены в каталог ты можешь очень быстро про них прочитать э можешь очень быстро про них прочитать э можешь очень быстро про них прочитать э базовую информацию это типа понимание, базовую информацию это типа понимание, базовую информацию это типа понимание, ширина контекста, потребление памяти в ширина контекста, потребление памяти в ширина контекста, потребление памяти в каждом ВП4, ВП-8 и ВП-16, и сразу каждом ВП4, ВП-8 и ВП-16, и сразу каждом ВП4, ВП-8 и ВП-16, и сразу увидеть конфиги, на которых она увидеть конфиги, на которых она

34:40увидеть конфиги, на которых она запустится. И суть как раз проекта в запустится. И суть как раз проекта в запустится. И суть как раз проекта в том, что мы пытаемся эти конфиги том, что мы пытаемся эти конфиги том, что мы пытаемся эти конфиги отвалидировать и в дальнейшем их отвалидировать и в дальнейшем их отвалидировать и в дальнейшем их отбчмаркать. Но бенчмарки не в том отбчмаркать. Но бенчмарки не в том отбчмаркать. Но бенчмарки не в том смысле, что посмотреть, сколько там смысле, что посмотреть, сколько там смысле, что посмотреть, сколько там бенчмарка какого, а в смысле ТПС бенчмарка какого, а в смысле ТПС бенчмарка какого, а в смысле ТПС промерить. промерить. промерить. >> Ну да.

34:53>> Ну да. >> Ну да. >> Вот. А это к чем? Ну это нам нужно для >> Вот. А это к чем? Ну это нам нужно для >> Вот. А это к чем? Ну это нам нужно для чего? И как мы считаем? чего? И как мы считаем? чего? И как мы считаем? Вот по обратной связи с клиентами Вот по обратной связи с клиентами Вот по обратной связи с клиентами получается так, что клиент зачастую получается так, что клиент зачастую получается так, что клиент зачастую не знает точно, какую модель он будет не знает точно, какую модель он будет не знает точно, какую модель он будет использовать. Влезет она в конфиг, ну, использовать. Влезет она в конфиг, ну, использовать. Влезет она в конфиг, ну, то есть или знает неточно примерно, да,

35:12то есть или знает неточно примерно, да, то есть или знает неточно примерно, да, вот и насколько хорошо она решает его вот и насколько хорошо она решает его вот и насколько хорошо она решает его задачи. И тут мы пытаемся как раз ээ задачи. И тут мы пытаемся как раз ээ задачи. И тут мы пытаемся как раз ээ собственно, ну, убить трёх зайцев, да. собственно, ну, убить трёх зайцев, да. собственно, ну, убить трёх зайцев, да. Мы даём попробовать, вот даём Мы даём попробовать, вот даём Мы даём попробовать, вот даём попробовать в разных, ну, там сейчас попробовать в разных, ну, там сейчас попробовать в разных, ну, там сейчас пока в FP4, да, но постепенно количество

35:29пока в FP4, да, но постепенно количество пока в FP4, да, но постепенно количество оборудования увеличивается. То есть даём оборудования увеличивается. То есть даём оборудования увеличивается. То есть даём попробовать в небольшой точности уже попробовать в небольшой точности уже попробовать в небольшой точности уже наладить, возможно, ну, какой-то наладить, возможно, ну, какой-то наладить, возможно, ну, какой-то внутренний цикл, да, вот на этой штуке, внутренний цикл, да, вот на этой штуке, внутренний цикл, да, вот на этой штуке, а потом переключиться, как бы уже купить а потом переключиться, как бы уже купить а потом переключиться, как бы уже купить ну дорогую конфигурацию и уже

35:40ну дорогую конфигурацию и уже ну дорогую конфигурацию и уже развернуть. Но на этой конфигурации ты развернуть. Но на этой конфигурации ты развернуть. Но на этой конфигурации ты уже понимаешь оценку, то есть ты уже понимаешь оценку, то есть ты уже понимаешь оценку, то есть ты понимаешь, что туда точно влезет в LM, понимаешь, что туда точно влезет в LM, понимаешь, что туда точно влезет в LM, там запустится, память слоцируется. он там запустится, память слоцируется. он там запустится, память слоцируется. он длительно не падает, и ТПС будет вот длительно не падает, и ТПС будет вот длительно не падает, и ТПС будет вот такой прямо прямо у нас ТПС такой будет,

35:55такой прямо прямо у нас ТПС такой будет, такой прямо прямо у нас ТПС такой будет, да? То есть, соответственно, это да? То есть, соответственно, это да? То есть, соответственно, это приводит нас к тому, что мы точно мы приводит нас к тому, что мы точно мы приводит нас к тому, что мы точно мы точно хотим посчитать а TCO стоимость точно хотим посчитать а TCO стоимость точно хотим посчитать а TCO стоимость владения для клиента. То есть он владения для клиента. То есть он владения для клиента. То есть он приходит, он выбирает нейросеть и приходит, он выбирает нейросеть и приходит, он выбирает нейросеть и говорит: "Мне вот её там содержание говорит: "Мне вот её там содержание

36:07говорит: "Мне вот её там содержание обойдётся столько. При этом, поскольку у обойдётся столько. При этом, поскольку у обойдётся столько. При этом, поскольку у неё такое количество токенов в секунду и неё такое количество токенов в секунду и неё такое количество токенов в секунду и такой конкарен, то я смогу обработать такой конкарен, то я смогу обработать такой конкарен, то я смогу обработать столько запросов, столько токенов". столько запросов, столько токенов". столько запросов, столько токенов". >> Ну, вопрос от зрителей, я думаю, будет >> Ну, вопрос от зрителей, я думаю, будет >> Ну, вопрос от зрителей, я думаю, будет актуален. Какие у вас модели сейчас

36:19актуален. Какие у вас модели сейчас актуален. Какие у вас модели сейчас запущены, которые можно бесплатно запущены, которые можно бесплатно запущены, которые можно бесплатно использовать? использовать? использовать? >> Да, это авен третий 235B, а а >> Да, это авен третий 235B, а а >> Да, это авен третий 235B, а а соответственно 332B, Гема треть 27B, соответственно 332B, Гема треть 27B, соответственно 332B, Гема треть 27B, QVQ, V4, флаксы GPTOSS 20B. Есть модели, QVQ, V4, флаксы GPTOSS 20B. Есть модели, QVQ, V4, флаксы GPTOSS 20B. Есть модели, которые сейчас учимся разворачивать и которые сейчас учимся разворачивать и

36:37которые сейчас учимся разворачивать и настраивать. Они периодически появляются настраивать. Они периодически появляются настраивать. Они периодически появляются GPT USS 120B иama четвёт. Как раз мы GPT USS 120B иama четвёт. Как раз мы GPT USS 120B иama четвёт. Как раз мы всё-таки хотим её оставить, потому что всё-таки хотим её оставить, потому что всё-таки хотим её оставить, потому что по оптическому распознаванию Осина по оптическому распознаванию Осина по оптическому распознаванию Осина Расскажи, какие тренды есть в новых Расскажи, какие тренды есть в новых Расскажи, какие тренды есть в новых числах FP4, числах FP4, числах FP4, NV FP4 MX FP4 FP8. Почему вообще их

36:58NV FP4 MX FP4 FP8. Почему вообще их NV FP4 MX FP4 FP8. Почему вообще их применяют и что это даёт? применяют и что это даёт? применяют и что это даёт? >> М, ну получается, именно FP8 появился в >> М, ну получается, именно FP8 появился в >> М, ну получается, именно FP8 появился в хоппере в Nvidia. Кстати, интересный хоппере в Nvidia. Кстати, интересный хоппере в Nvidia. Кстати, интересный факт, что intмел. факт, что intмел. факт, что intмел. А, ну это, в принципе, логично, потому А, ну это, в принципе, логично, потому А, ну это, в принципе, логично, потому что интых можно, ну, сокращать до что интых можно, ну, сокращать до что интых можно, ну, сокращать до определённого момента, да, то есть,

37:16определённого момента, да, то есть, определённого момента, да, то есть, потому что это просто число меньше, как потому что это просто число меньше, как потому что это просто число меньше, как бы ты его умеешь считать, просто оно бы ты его умеешь считать, просто оно бы ты его умеешь считать, просто оно само по себе меньше. А флотинг pointт само по себе меньше. А флотинг pointт само по себе меньше. А флотинг pointт появился в хоппере восемь восьмой. И, э, появился в хоппере восемь восьмой. И, э, появился в хоппере восемь восьмой. И, э, тут ещё важный момент, что, ну, на самом тут ещё важный момент, что, ну, на самом тут ещё важный момент, что, ну, на самом деле это как бы, ну, важно для

37:30деле это как бы, ну, важно для деле это как бы, ну, важно для понимания, что никто не запрещает понимания, что никто не запрещает понимания, что никто не запрещает считать тебе в FP8. Просто вопрос в том, считать тебе в FP8. Просто вопрос в том, считать тебе в FP8. Просто вопрос в том, есть ли у тебя, ну, то есть поскольку у есть ли у тебя, ну, то есть поскольку у есть ли у тебя, ну, то есть поскольку у тебя видеокарта умеет точность выше, то тебя видеокарта умеет точность выше, то тебя видеокарта умеет точность выше, то тебе никто не запрещает посчитать в тебе никто не запрещает посчитать в тебе никто не запрещает посчитать в меньшей точности. Вот другое дело, что

37:44меньшей точности. Вот другое дело, что меньшей точности. Вот другое дело, что есть ли у этой точности аппаратное есть ли у этой точности аппаратное есть ли у этой точности аппаратное ускорение. Вот в Хоппере как раз ускорение. Вот в Хоппере как раз ускорение. Вот в Хоппере как раз появилось аппаратное ускорение. И появилось аппаратное ускорение. И появилось аппаратное ускорение. И поэтому, когда ну, мы знаем, что выходит поэтому, когда ну, мы знаем, что выходит поэтому, когда ну, мы знаем, что выходит новый чип, новая видеокарта, меняется новый чип, новая видеокарта, меняется новый чип, новая видеокарта, меняется техпроцесс, становится, ну, там примерно

37:58техпроцесс, становится, ну, там примерно техпроцесс, становится, ну, там примерно в два раза больше транзисторов, а потом в два раза больше транзисторов, а потом в два раза больше транзисторов, а потом ещё оказывается, что с каждый транзистор ещё оказывается, что с каждый транзистор ещё оказывается, что с каждый транзистор теперь внутрь ещё, ну, по два числа теперь внутрь ещё, ну, по два числа теперь внутрь ещё, ну, по два числа принимает. То есть это ещё нужно на два принимает. То есть это ещё нужно на два принимает. То есть это ещё нужно на два производительности умножать. Поэтому вот производительности умножать. Поэтому вот

38:07производительности умножать. Поэтому вот эти вот радикальные приросты втеро, то эти вот радикальные приросты втеро, то эти вот радикальные приросты втеро, то есть, ну, как, во-первых, терофлопсы есть, ну, как, во-первых, терофлопсы есть, ну, как, во-первых, терофлопсы оттуда именно взялись, а, во-вторых, их оттуда именно взялись, а, во-вторых, их оттуда именно взялись, а, во-вторых, их радикальный прирост, когда там в три радикальный прирост, когда там в три радикальный прирост, когда там в три раза как бы, да, там между ампером и раза как бы, да, там между ампером и раза как бы, да, там между ампером и хопером отличаются, это как бы реальные хопером отличаются, это как бы реальные

38:18хопером отличаются, это как бы реальные какие-то замеры, потому что, ну, какие-то замеры, потому что, ну, какие-то замеры, потому что, ну, действительно, оно стало быстрее. Мнето действительно, оно стало быстрее. Мнето действительно, оно стало быстрее. Мнето кажется, что они думали про скорость кажется, что они думали про скорость кажется, что они думали про скорость обучения, потому что очень дорого учить обучения, потому что очень дорого учить обучения, потому что очень дорого учить трансформеры, но потом оказалось, что и трансформеры, но потом оказалось, что и трансформеры, но потом оказалось, что и инференсить лмки можно вполне инференсить лмки можно вполне

38:32инференсить лмки можно вполне качественно и стабильно. Причём, ну, качественно и стабильно. Причём, ну, качественно и стабильно. Причём, ну, опять же, забегая вперёд, скажу, что в опять же, забегая вперёд, скажу, что в опять же, забегая вперёд, скажу, что в нпоинтах мы в P4 вот у себя используем. нпоинтах мы в P4 вот у себя используем. нпоинтах мы в P4 вот у себя используем. И, ну, конечно, бенчмарки полностью мы И, ну, конечно, бенчмарки полностью мы И, ну, конечно, бенчмарки полностью мы не прогоняем, но для практической работы не прогоняем, но для практической работы не прогоняем, но для практической работы этого вполне достаточно. И с учётом этого вполне достаточно. И с учётом

38:44этого вполне достаточно. И с учётом того, что бюджет нужно часть сэкономить того, что бюджет нужно часть сэкономить того, что бюджет нужно часть сэкономить на у клиента на конфликт какой-то, то на у клиента на конфликт какой-то, то на у клиента на конфликт какой-то, то это, ну, частое очень решение. это, ну, частое очень решение. это, ну, частое очень решение. >> А, кстати, оценивали, насколько бенчмарк >> А, кстати, оценивали, насколько бенчмарк >> А, кстати, оценивали, насколько бенчмарк проседает при квантизации FP4? проседает при квантизации FP4? проседает при квантизации FP4? >> Ну, просто их очень много. Честно >> Ну, просто их очень много. Честно

38:58>> Ну, просто их очень много. Честно говоря, мы просто, знаешь, как оцениваем говоря, мы просто, знаешь, как оцениваем говоря, мы просто, знаешь, как оцениваем так приемлемо, неприемлемо. Вот так вот так приемлемо, неприемлемо. Вот так вот так приемлемо, неприемлемо. Вот так вот очень часто. единичные запросы. очень часто. единичные запросы. очень часто. единичные запросы. >> Да, мне понравилось. Я, кстати, вот это >> Да, мне понравилось. Я, кстати, вот это >> Да, мне понравилось. Я, кстати, вот это у тебя как бы подсмотрел, когда мы в у тебя как бы подсмотрел, когда мы в у тебя как бы подсмотрел, когда мы в прошлый раз обсуждали матчинг. Ты прошлый раз обсуждали матчинг. Ты

39:10прошлый раз обсуждали матчинг. Ты сказал, что вот появилось, можно матчить сказал, что вот появилось, можно матчить сказал, что вот появилось, можно матчить и всё. Я такой подумал, не надо там, ну и всё. Я такой подумал, не надо там, ну и всё. Я такой подумал, не надо там, ну вот, ну то есть ну какое какая, как вот, ну то есть ну какое какая, как вот, ну то есть ну какое какая, как сказать какая там разница, там 96 или 95 сказать какая там разница, там 96 или 95 сказать какая там разница, там 96 или 95 или там 48, оно либо работает, либо не или там 48, оно либо работает, либо не или там 48, оно либо работает, либо не работает. Поэтому очень часто, когда, работает. Поэтому очень часто, когда,

39:25работает. Поэтому очень часто, когда, ну, бизнес или, ну, энтузиасты приходят ну, бизнес или, ну, энтузиасты приходят ну, бизнес или, ну, энтузиасты приходят решать конкретную задачу, им, на самом решать конкретную задачу, им, на самом решать конкретную задачу, им, на самом деле, важно, ну, как бы справиться их деле, важно, ну, как бы справиться их деле, важно, ну, как бы справиться их неросеть задачи или нет. А на этапе неросеть задачи или нет. А на этапе неросеть задачи или нет. А на этапе выбора нейросети, там важно подобрать выбора нейросети, там важно подобрать выбора нейросети, там важно подобрать самую хорошую нейросеть. Соответственно, самую хорошую нейросеть. Соответственно,

39:38самую хорошую нейросеть. Соответственно, дальше у нас появляется дальше у нас появляется дальше у нас появляется 2025 год. Это, ну, давай вот ты ламу 2025 год. Это, ну, давай вот ты ламу 2025 год. Это, ну, давай вот ты ламу четвёртую упомянул. Это dual chant или четвёртую упомянул. Это dual chant или четвёртую упомянул. Это dual chant или чанки. Вот, соответственно, если чанки. Вот, соответственно, если чанки. Вот, соответственно, если посмотреть в коде, то чередуются, да, посмотреть в коде, то чередуются, да, посмотреть в коде, то чередуются, да, там слои. Какие-то слои можно, ну, там слои. Какие-то слои можно, ну, там слои. Какие-то слои можно, ну, оставить с полным вниманием, а какие-то

39:54оставить с полным вниманием, а какие-то оставить с полным вниманием, а какие-то вот это вот вот это вот вот это вот там величина в ЛМ зашита 8.192 там величина в ЛМ зашита 8.192 там величина в ЛМ зашита 8.192 а а 8.192 токена. То есть это как а а 8.192 токена. То есть это как а а 8.192 токена. То есть это как выглядит? То есть, э, какие-то слои выглядит? То есть, э, какие-то слои выглядит? То есть, э, какие-то слои ориентируются на, ну, весь, аэ, скажем ориентируются на, ну, весь, аэ, скажем ориентируются на, ну, весь, аэ, скажем так, контекст, какие-то слои только на так, контекст, какие-то слои только на так, контекст, какие-то слои только на часть этого контекста. Ну вот точно эту

40:14часть этого контекста. Ну вот точно эту часть этого контекста. Ну вот точно эту формулу не помню. Там с двух сторон эти формулу не помню. Там с двух сторон эти формулу не помню. Там с двух сторон эти 8.192 или с одной, но не суть. Ну, 8.192 или с одной, но не суть. Ну, 8.192 или с одной, но не суть. Ну, короче, вот эта вот величина, она там короче, вот эта вот величина, она там короче, вот эта вот величина, она там прямо есть. В в где-то в коде есть прямо есть. В в где-то в коде есть прямо есть. В в где-то в коде есть небольшие ещё отличия, может быть, от небольшие ещё отличия, может быть, от небольшие ещё отличия, может быть, от модели видеокарты ещё. Они иногда там

40:24модели видеокарты ещё. Они иногда там модели видеокарты ещё. Они иногда там цепляются, они меняют эту величину цепляются, они меняют эту величину цепляются, они меняют эту величину чанка. Но это опять же попытка сократить чанка. Но это опять же попытка сократить чанка. Но это опять же попытка сократить потребление э памяти для расчёта кв для потребление э памяти для расчёта кв для потребление э памяти для расчёта кв для того, чтобы infence был быстрее. А того, чтобы infence был быстрее. А того, чтобы infence был быстрее. А конкретно в случае слама 4 это до сих конкретно в случае слама 4 это до сих конкретно в случае слама 4 это до сих пор модель с самым большим контекстом.

40:41пор модель с самым большим контекстом. пор модель с самым большим контекстом. То есть это миллионы 10 млн токенов. То есть это миллионы 10 млн токенов. То есть это миллионы 10 млн токенов. Вот. А это Лама 4, Вот. А это Лама 4, Вот. А это Лама 4, >> да. Ну это контекст как-то очень плохо >> да. Ну это контекст как-то очень плохо >> да. Ну это контекст как-то очень плохо работал. работал. работал. Они, ну, скажем так, они его зарелизили. Они, ну, скажем так, они его зарелизили. Они, ну, скажем так, они его зарелизили. Вот туда физически можно засунуть, да, Вот туда физически можно засунуть, да, Вот туда физически можно засунуть, да, эти токены. Про прикладную часть мне

41:00эти токены. Про прикладную часть мне эти токены. Про прикладную часть мне всегда сложнее говорить, потому что, ну, всегда сложнее говорить, потому что, ну, всегда сложнее говорить, потому что, ну, это надо много с моделью прямо работать. это надо много с моделью прямо работать. это надо много с моделью прямо работать. Вот, чтобы точно её там плюсы и минусы Вот, чтобы точно её там плюсы и минусы Вот, чтобы точно её там плюсы и минусы знать, я у нас есть ребята, которые знать, я у нас есть ребята, которые знать, я у нас есть ребята, которые работают над юридическими кейсами и работают над юридическими кейсами и работают над юридическими кейсами и конкретно вот я слышал много раз, что

41:15конкретно вот я слышал много раз, что конкретно вот я слышал много раз, что Ламу четвёртую, а, ругают. Ламу четвёртую, а, ругают. Ламу четвёртую, а, ругают. Лама. Четвёртая скаут. Сейчас вот по Лама. Четвёртая скаут. Сейчас вот по Лама. Четвёртая скаут. Сейчас вот по мнению ребят, которые юридические мнению ребят, которые юридические мнению ребят, которые юридические документы у нас распознают, документы у нас распознают, документы у нас распознают, самое лучшее в оптическом распознавании самое лучшее в оптическом распознавании самое лучшее в оптическом распознавании в в ОР. То есть они она распознаёт кверх в в ОР. То есть они она распознаёт кверх

41:31в в ОР. То есть они она распознаёт кверх ногами, она отсекает, то есть она умеет ногами, она отсекает, то есть она умеет ногами, она отсекает, то есть она умеет наложенные друг на друге страницы наложенные друг на друге страницы наложенные друг на друге страницы различать. То есть вот ты ей говоришь в различать. То есть вот ты ей говоришь в различать. То есть вот ты ей говоришь в промте, типа убери там нижнюю страницу и промте, типа убери там нижнюю страницу и промте, типа убери там нижнюю страницу и она сопро. она сопро. она сопро. >> А когда это было? >> А когда это было? >> А когда это было? >> Это вот не ну это постоянно. Это вот >> Это вот не ну это постоянно. Это вот

41:43>> Это вот не ну это постоянно. Это вот прямо сейчас происходит. Это базовые прямо сейчас происходит. Это базовые прямо сейчас происходит. Это базовые веса. Ну, единственное, что мы её мы её веса. Ну, единственное, что мы её мы её веса. Ну, единственное, что мы её мы её в четырёх битах запускаем, то есть, в четырёх битах запускаем, то есть, в четырёх битах запускаем, то есть, >> ну, ну, понятно, >> ну, ну, понятно, >> ну, ну, понятно, >> да, там, возможно, или какой-то вес, или >> да, там, возможно, или какой-то вес, или >> да, там, возможно, или какой-то вес, или там кантизация используется на лету там кантизация используется на лету

41:54там кантизация используется на лету какая-то. Ну, поэто надо у ребят какая-то. Ну, поэто надо у ребят какая-то. Ну, поэто надо у ребят спросить. Кстати, это inпоint, который у спросить. Кстати, это inпоint, который у спросить. Кстати, это inпоint, который у нас запущен, он доступен, э, бесплатно. нас запущен, он доступен, э, бесплатно. нас запущен, он доступен, э, бесплатно. Он в зависимости от нагрузки, иногда Он в зависимости от нагрузки, иногда Он в зависимости от нагрузки, иногда появляется, иногда уходит, то есть можно появляется, иногда уходит, то есть можно появляется, иногда уходит, то есть можно поймать и попользоваться им. поймать и попользоваться им.

42:06поймать и попользоваться им. >> Ну, Lama 4 я тестировал только в >> Ну, Lama 4 я тестировал только в >> Ну, Lama 4 я тестировал только в текстовой части и Vision не тестировал. текстовой части и Vision не тестировал. текстовой части и Vision не тестировал. Получается, лама мета, которая Получается, лама мета, которая Получается, лама мета, которая запрещена, да, у нас, сделали ставку на запрещена, да, у нас, сделали ставку на запрещена, да, у нас, сделали ставку на чанки и практически сразу после этого, чанки и практически сразу после этого, чанки и практически сразу после этого, ну, где-то где-то вот в этом моменте, ну, где-то где-то вот в этом моменте,

42:22ну, где-то где-то вот в этом моменте, да, там сложно сказать, кто когда начал да, там сложно сказать, кто когда начал да, там сложно сказать, кто когда начал разработку, да, но утризы там идут разработку, да, но утризы там идут разработку, да, но утризы там идут практически подряд. Это гема третья. практически подряд. Это гема третья. практически подряд. Это гема третья. Гема третья - это, а, оконное внимание. Гема третья - это, а, оконное внимание. Гема третья - это, а, оконное внимание. Вот sliding window attention. То же Вот sliding window attention. То же Вот sliding window attention. То же самое, то есть, если посмотреть в код в самое, то есть, если посмотреть в код в

42:38самое, то есть, если посмотреть в код в ЛМА, ну, под алокацию памяти ничего не ЛМА, ну, под алокацию памяти ничего не ЛМА, ну, под алокацию памяти ничего не меняется. То есть тоже есть слои как бы меняется. То есть тоже есть слои как бы меняется. То есть тоже есть слои как бы с полным вниманием, есть, с полным вниманием, есть, с полным вниманием, есть, соответственно, слои соконным вниманием. соответственно, слои соконным вниманием. соответственно, слои соконным вниманием. А то же самое число там 8.192 по А то же самое число там 8.192 по А то же самое число там 8.192 по умолчанию в ЛМ зашито. И, ну, гема умолчанию в ЛМ зашито. И, ну, гема

42:52умолчанию в ЛМ зашито. И, ну, гема третья такая вот, типа, прямо совсем они третья такая вот, типа, прямо совсем они третья такая вот, типа, прямо совсем они пытались универсальную модель сделать, пытались универсальную модель сделать, пытались универсальную модель сделать, типа под все случаи жизни. Вот. То есть, типа под все случаи жизни. Вот. То есть, типа под все случаи жизни. Вот. То есть, если у Лама четвёртый, ну, у неё был если у Лама четвёртый, ну, у неё был если у Лама четвёртый, ну, у неё был прямо, ну, скажем так, явно, а, понятно, прямо, ну, скажем так, явно, а, понятно, прямо, ну, скажем так, явно, а, понятно, куда они целись, это сверхдлинные куда они целись, это сверхдлинные

43:06куда они целись, это сверхдлинные контексты. Ну, и, соответственно, контексты. Ну, и, соответственно, контексты. Ну, и, соответственно, видимо, целись так далеко и широко. То видимо, целись так далеко и широко. То видимо, целись так далеко и широко. То есть, ну, что получилось ээ как бы, ну, есть, ну, что получилось ээ как бы, ну, есть, ну, что получилось ээ как бы, ну, не на 100%, да, эту задачу решить. Вот, не на 100%, да, эту задачу решить. Вот, не на 100%, да, эту задачу решить. Вот, э, гема оконное внимание. Ну, и если уж э, гема оконное внимание. Ну, и если уж э, гема оконное внимание. Ну, и если уж говорить про оконное внимание, то потом говорить про оконное внимание, то потом

43:20говорить про оконное внимание, то потом появляется GPTOSS. Она тоже с оконного появляется GPTOSS. Она тоже с оконного появляется GPTOSS. Она тоже с оконного вниманием. Вот тоже со стинг Window. вниманием. Вот тоже со стинг Window. вниманием. Вот тоже со стинг Window. Вот что нам двадцать пятый год подарил. Вот что нам двадцать пятый год подарил. Вот что нам двадцать пятый год подарил. Соответственно, двадцать пятый год дарит Соответственно, двадцать пятый год дарит Соответственно, двадцать пятый год дарит нам то, что потребление тот, ту нам то, что потребление тот, ту нам то, что потребление тот, ту проблему, которую мы заметили, то есть в проблему, которую мы заметили, то есть в

43:35проблему, которую мы заметили, то есть в двадцать четвёртом году мы не двадцать четвёртом году мы не двадцать четвёртом году мы не сформулировали тогда, ну, с тобой это сформулировали тогда, ну, с тобой это сформулировали тогда, ну, с тобой это так, но выглядело это так, что главным так, но выглядело это так, что главным так, но выглядело это так, что главным ограничивающим фактором для лмок ограничивающим фактором для лмок ограничивающим фактором для лмок является память. С одной стороны, тебе является память. С одной стороны, тебе является память. С одной стороны, тебе нужно как можно больше памяти, чтобы и нужно как можно больше памяти, чтобы и

43:47нужно как можно больше памяти, чтобы и учить базовые модели, и как можно меньше учить базовые модели, и как можно меньше учить базовые модели, и как можно меньше сетей между ними делать. И с другой сетей между ними делать. И с другой сетей между ними делать. И с другой стороны, тебе нужно контекст засунуть стороны, тебе нужно контекст засунуть стороны, тебе нужно контекст засунуть внутрь, и чем больше контекст, тем внутрь, и чем больше контекст, тем внутрь, и чем больше контекст, тем лучше. лучше. лучше. и упираешься ты всегда в память. А и упираешься ты всегда в память. А и упираешься ты всегда в память. А потребление памяти у ЛНКИ, она, ну, потребление памяти у ЛНКИ, она, ну,

44:00потребление памяти у ЛНКИ, она, ну, состоит из двух частей. То есть, состоит из двух частей. То есть, состоит из двух частей. То есть, соответственно, Веса нужно сохранить и соответственно, Веса нужно сохранить и соответственно, Веса нужно сохранить и квш нужно сохранить. И вот, ну, веса квш нужно сохранить. И вот, ну, веса квш нужно сохранить. И вот, ну, веса уменьшить не сильно получается. Ну, там уменьшить не сильно получается. Ну, там уменьшить не сильно получается. Ну, там точность только можно понижать. Вот FP8, точность только можно понижать. Вот FP8, точность только можно понижать. Вот FP8, тем более уже псик как бы тренд, ну, тем более уже псик как бы тренд, ну,

44:12тем более уже псик как бы тренд, ну, скажем так, псик уже случился, FP8 уже скажем так, псик уже случился, FP8 уже скажем так, псик уже случился, FP8 уже случился. случился. случился. Поэтому начали сокращать квкэш. Если, Поэтому начали сокращать квкэш. Если, Поэтому начали сокращать квкэш. Если, ну, забегая вперёд сказать, да, что ну, забегая вперёд сказать, да, что ну, забегая вперёд сказать, да, что сейчас происходит сейчас происходит сейчас происходит next, линейное внимание. То есть там уже next, линейное внимание. То есть там уже next, линейное внимание. То есть там уже при таких больших контекстах там 1диница при таких больших контекстах там 1диница

44:29при таких больших контекстах там 1диница гигабт и вот ну и MAMB 2 тоже там 1 гигабт и вот ну и MAMB 2 тоже там 1 гигабт и вот ну и MAMB 2 тоже там 1 гигаб на KVШ. Ну, кстати, вот ты гигаб на KVШ. Ну, кстати, вот ты гигаб на KVШ. Ну, кстати, вот ты упомянул эти две модели G5 OSS 120B и упомянул эти две модели G5 OSS 120B и упомянул эти две модели G5 OSS 120B и Qentry Next на 80 млрд. Qentry Next на 80 млрд. Qentry Next на 80 млрд. >> Э, у этих двух моделей очень большое >> Э, у этих двух моделей очень большое >> Э, у этих двух моделей очень большое соотношение активных параметров к всему соотношение активных параметров к всему

44:47соотношение активных параметров к всему объёму. То есть всё меньше и меньше объёму. То есть всё меньше и меньше объёму. То есть всё меньше и меньше данных, точнее весов нужно для данных, точнее весов нужно для данных, точнее весов нужно для предсказания следующего токена. предсказания следующего токена. предсказания следующего токена. >> Это как раз упорно на infence именно, >> Это как раз упорно на infence именно, >> Это как раз упорно на infence именно, >> да? Упор на inference. Ну и и как это >> да? Упор на inference. Ну и и как это >> да? Упор на inference. Ну и и как это правильно? То есть я просто у меня правильно? То есть я просто у меня

45:03правильно? То есть я просто у меня волове внимание сейчас жек SPARS волове внимание сейчас жек SPARS волове внимание сейчас жек SPARS attention, то есть это если вот термин, attention, то есть это если вот термин, attention, то есть это если вот термин, чтобы были плотные модели, а это как бы чтобы были плотные модели, а это как бы чтобы были плотные модели, а это как бы разряженные модели, то же всё равно ну разряженные модели, то же всё равно ну разряженные модели, то же всё равно ну разряженность получается, да, вот этот разряженность получается, да, вот этот разряженность получается, да, вот этот термин, ну вот это соотношение, чтобы термин, ну вот это соотношение, чтобы

45:14термин, ну вот это соотношение, чтобы значить, то есть когда у тебя не все значить, то есть когда у тебя не все значить, то есть когда у тебя не все веса задействованные, а только часть, веса задействованные, а только часть, веса задействованные, а только часть, >> то есть да, это сильно, ну сильно >> то есть да, это сильно, ну сильно >> то есть да, это сильно, ну сильно разряженные модели. Доверие крупного разряженные модели. Доверие крупного разряженные модели. Доверие крупного бизнеса, да и корпорации, оно в этот бизнеса, да и корпорации, оно в этот бизнеса, да и корпорации, оно в этот момент возрастает, потому что, ну, момент возрастает, потому что, ну,

45:26момент возрастает, потому что, ну, большие модели, они, конечно, большие модели, они, конечно, большие модели, они, конечно, интересные, да, то есть это квенны интересные, да, то есть это квенны интересные, да, то есть это квенны большие, это дипсики большие и так большие, это дипсики большие и так большие, это дипсики большие и так далее, это ламы вот эти большие там с далее, это ламы вот эти большие там с далее, это ламы вот эти большие там с большим контекстом. Их захостить большим контекстом. Их захостить большим контекстом. Их захостить достаточно сложно. Вот у нас это сделать достаточно сложно. Вот у нас это сделать

45:35достаточно сложно. Вот у нас это сделать можно. А только мы немного в сторону можно. А только мы немного в сторону можно. А только мы немного в сторону ушли, да? Про а про ушли, да? Про а про ушли, да? Про а про >> про дистилляцию ещё вопрос был про про >> про дистилляцию ещё вопрос был про про >> про дистилляцию ещё вопрос был про про рак, наверное, сейчас про софт совсм рак, наверное, сейчас про софт совсм рак, наверное, сейчас про софт совсм чуть. чуть. чуть. >> Давай про рак, >> Давай про рак, >> Давай про рак, >> да. Мы видим, что, >> да. Мы видим, что, >> да. Мы видим, что, ну, вот контекст расширяется, и типовой ну, вот контекст расширяется, и типовой

45:54ну, вот контекст расширяется, и типовой контекст уже, ну, как как наконец контекст уже, ну, как как наконец контекст уже, ну, как как наконец двадцать четвёртого года мы тогда двадцать четвёртого года мы тогда двадцать четвёртого года мы тогда сказали, да, что 128.000 - это хороший сказали, да, что 128.000 - это хороший сказали, да, что 128.000 - это хороший такой контекст. Сейчас контекст такой контекст. Сейчас контекст такой контекст. Сейчас контекст ну, наверное, 256 там, 263.000 - это уже ну, наверное, 256 там, 263.000 - это уже ну, наверное, 256 там, 263.000 - это уже такая, ну, известная история. Они есть такая, ну, известная история. Они есть

46:08такая, ну, известная история. Они есть повсеместно. И есть решение для повсеместно. И есть решение для повсеместно. И есть решение для контекстов, там миллионы 10 млн. И есть контекстов, там миллионы 10 млн. И есть контекстов, там миллионы 10 млн. И есть ещё способы масштабировать этот ещё способы масштабировать этот ещё способы масштабировать этот контекст. Поэтому контекст. Поэтому контекст. Поэтому рак заиграл новыми красками. То есть рак заиграл новыми красками. То есть рак заиграл новыми красками. То есть теперь можно большое, очень большое теперь можно большое, очень большое теперь можно большое, очень большое количество, ну, данных грузить в промт.

46:25количество, ну, данных грузить в промт. количество, ну, данных грузить в промт. Соответственно, ну, качество этого Соответственно, ну, качество этого Соответственно, ну, качество этого ответа м и проработка деталей этого ответа м и проработка деталей этого ответа м и проработка деталей этого ответа может быть ответа может быть ответа может быть м ну очень высокой. Недавно смотрел м ну очень высокой. Недавно смотрел м ну очень высокой. Недавно смотрел видео ВК про то, как ребята для видео ВК про то, как ребята для видео ВК про то, как ребята для информационной безопасности, ну, информационной безопасности, ну, информационной безопасности, ну, применяют. А они говорят: "У нас такая

46:44применяют. А они говорят: "У нас такая применяют. А они говорят: "У нас такая ситуация, а уязвимости и отчёты об их ситуация, а уязвимости и отчёты об их ситуация, а уязвимости и отчёты об их применениях и analлитиalрепорты и вообще применениях и analлитиalрепорты и вообще применениях и analлитиalрепорты и вообще то, как ну что происходит. То есть там то, как ну что происходит. То есть там то, как ну что происходит. То есть там настолько динамичная сфера, что там настолько динамичная сфера, что там настолько динамичная сфера, что там 14-15, например, расследований там может 14-15, например, расследований там может 14-15, например, расследований там может выходить в сутки. выходить в сутки.

46:58выходить в сутки. >> И это достаточно большие такие детальные >> И это достаточно большие такие детальные >> И это достаточно большие такие детальные документы, в которые нужно въехать документы, в которые нужно въехать документы, в которые нужно въехать по-простому". И поэтому ребята, ну, что по-простому". И поэтому ребята, ну, что по-простому". И поэтому ребята, ну, что делают? То есть это онлайн-система, делают? То есть это онлайн-система, делают? То есть это онлайн-система, которая следит за инцидентами, она которая следит за инцидентами, она которая следит за инцидентами, она просто в онлайне читает вот эти вот просто в онлайне читает вот эти вот

47:09просто в онлайне читает вот эти вот новые документы и принимает решение. То новые документы и принимает решение. То новые документы и принимает решение. То есть, например, там, ну, приходит есть, например, там, ну, приходит есть, например, там, ну, приходит какая-то ибэшное расследование про то, какая-то ибэшное расследование про то, какая-то ибэшное расследование про то, что в каком-то софте есть уязвимость. что в каком-то софте есть уязвимость. что в каком-то софте есть уязвимость. Соответственно, есть агент, который Соответственно, есть агент, который Соответственно, есть агент, который говорит: "А есть ли у нас такой софт?" говорит: "А есть ли у нас такой софт?"

47:20говорит: "А есть ли у нас такой софт?" Если есть софт, то, соответственно, это Если есть софт, то, соответственно, это Если есть софт, то, соответственно, это там дальше куда-то, ну, запускается, там дальше куда-то, ну, запускается, там дальше куда-то, ну, запускается, эскалируется и уведомляется, вот, и так эскалируется и уведомляется, вот, и так эскалируется и уведомляется, вот, и так далее. То есть это, ну, вот такой далее. То есть это, ну, вот такой далее. То есть это, ну, вот такой интересный кейс. Я к чему? К тому, что интересный кейс. Я к чему? К тому, что интересный кейс. Я к чему? К тому, что там такие статьи и их такое количество, там такие статьи и их такое количество,

47:31там такие статьи и их такое количество, что там действительно нужны большие что там действительно нужны большие что там действительно нужны большие контексты. Вот. Потому что, ну, как бы, контексты. Вот. Потому что, ну, как бы, контексты. Вот. Потому что, ну, как бы, ну, нельзя там, да, всё повыкидывать, ну, нельзя там, да, всё повыкидывать, ну, нельзя там, да, всё повыкидывать, оставить только несколько абзацев. Тогда оставить только несколько абзацев. Тогда оставить только несколько абзацев. Тогда просто, ну, непонятно будет, ээ, как о просто, ну, непонятно будет, ээ, как о просто, ну, непонятно будет, ээ, как о чём речь. Вот со своей инфраструктурной

47:43чём речь. Вот со своей инфраструктурной чём речь. Вот со своей инфраструктурной точки зрения мм сейчас точки зрения мм сейчас точки зрения мм сейчас ещё не утряслась история ещё не утряслась история ещё не утряслась история с тем, что такое, ну, что такое вот под с тем, что такое, ну, что такое вот под с тем, что такое, ну, что такое вот под капотом этот трансформер. То есть вот капотом этот трансформер. То есть вот капотом этот трансформер. То есть вот эти типы типы внимания там все бешено эти типы типы внимания там все бешено эти типы типы внимания там все бешено скачут, постоянно что-то изобретается. А скачут, постоянно что-то изобретается. А

48:02скачут, постоянно что-то изобретается. А более-менее утряслась история с более-менее утряслась история с более-менее утряслась история с хостингом, то есть там вма, лама,п, вот хостингом, то есть там вма, лама,п, вот хостингом, то есть там вма, лама,п, вот это вот всё, ну там тритоon, вот оно уже это вот всё, ну там тритоon, вот оно уже это вот всё, ну там тритоon, вот оно уже как бы есть, да. Вот э,

48:16примерно уже есть понимание, ну вот примерно уже есть понимание, ну вот благодаря, в том числе тем вот людям, благодаря, в том числе тем вот людям, благодаря, в том числе тем вот людям, кто обзоры делает на эти нейросети, кто кто обзоры делает на эти нейросети, кто кто обзоры делает на эти нейросети, кто тесты какие-то делает, что на каких тесты какие-то делает, что на каких тесты какие-то делает, что на каких конфигурациях можно запускать. То есть конфигурациях можно запускать. То есть конфигурациях можно запускать. То есть людям хотя бы они не вслепую, да, ну, людям хотя бы они не вслепую, да, ну, людям хотя бы они не вслепую, да, ну, пытаются что-то там купить себе для

48:29пытаются что-то там купить себе для пытаются что-то там купить себе для того, чтобы захостить. того, чтобы захостить. того, чтобы захостить. И, видимо, дальше, ну, мне так кажется, И, видимо, дальше, ну, мне так кажется, И, видимо, дальше, ну, мне так кажется, и мне бы очень хотелось бы, чтобы вот и мне бы очень хотелось бы, чтобы вот и мне бы очень хотелось бы, чтобы вот как есть стандартное решение там для как есть стандартное решение там для как есть стандартное решение там для балансировки, например, поинта и для балансировки, например, поинта и для балансировки, например, поинта и для мониторингапоинта, чтобы появились мониторингапоинта, чтобы появились

48:41мониторингапоинта, чтобы появились решения вот стандартный там рак, чтобы решения вот стандартный там рак, чтобы решения вот стандартный там рак, чтобы там какие-то агенты и какие-то вот там какие-то агенты и какие-то вот там какие-то агенты и какие-то вот базовые наборы инструментов, чтобы базовые наборы инструментов, чтобы базовые наборы инструментов, чтобы появился, которые очень простые, которые появился, которые очень простые, которые появился, которые очень простые, которые любой человек может, ну, как бы любой человек может, ну, как бы любой человек может, ну, как бы установить и использовать. установить и использовать. установить и использовать. Вот. Вот это, наверное, м история,

48:55Вот. Вот это, наверное, м история, Вот. Вот это, наверное, м история, которая, как мне кажется, вот будет которая, как мне кажется, вот будет которая, как мне кажется, вот будет стандартизироваться в ближайшие год-два. стандартизироваться в ближайшие год-два. стандартизироваться в ближайшие год-два. три. три. три. >> Хочу ещё небольшой комментарий добавить >> Хочу ещё небольшой комментарий добавить >> Хочу ещё небольшой комментарий добавить насчёт контекста. насчёт контекста. насчёт контекста. >> Угу. >> Угу. >> Угу. >> Недавно у меня была задача, нужно было >> Недавно у меня была задача, нужно было >> Недавно у меня была задача, нужно было переписать код. переписать код.

49:10переписать код. Код был написан на go, то есть я go Код был написан на go, то есть я go Код был написан на go, то есть я go вообще не понимаю, то есть даже читать вообще не понимаю, то есть даже читать вообще не понимаю, то есть даже читать не знаю, как там. не знаю, как там. не знаю, как там. >> Угу. >> Угу. >> Угу. >> А я пишу на Питоне, и мне нужно было вот >> А я пишу на Питоне, и мне нужно было вот >> А я пишу на Питоне, и мне нужно было вот из этого сервиса, который написан на из этого сервиса, который написан на из этого сервиса, который написан на Google, э Google, э Google, э найти нужный кусок и переписать его на найти нужный кусок и переписать его на

49:25найти нужный кусок и переписать его на Питоне. И вот, собственно, я скромил все Питоне. И вот, собственно, я скромил все Питоне. И вот, собственно, я скромил все эти нужные файлы, которые, на мой эти нужные файлы, которые, на мой эти нужные файлы, которые, на мой взгляд, по названиям подходили под то, взгляд, по названиям подходили под то, взгляд, по названиям подходили под то, где это может быть. И это скормил где это может быть. И это скормил где это может быть. И это скормил неронки и попросил написать код на неронки и попросил написать код на неронки и попросил написать код на Питоне, который решает задачу. Питоне, который решает задачу.

49:40Питоне, который решает задачу. >> В итоге неронка написала, код сказал, >> В итоге неронка написала, код сказал, >> В итоге неронка написала, код сказал, что вот тут ещё есть запрос базу данных, что вот тут ещё есть запрос базу данных, что вот тут ещё есть запрос базу данных, надо данное подгрузить. И всё в итоге надо данное подгрузить. И всё в итоге надо данное подгрузить. И всё в итоге работало. Весь запрос примерно 50.000 работало. Весь запрос примерно 50.000 работало. Весь запрос примерно 50.000 токенов токенов токенов был. был. был. >> Угу. >> Угу. >> Угу. >> Входной. >> Входной. >> Входной. Это, видимо, мы, как сказать, мы чуть Это, видимо, мы, как сказать, мы чуть

49:58Это, видимо, мы, как сказать, мы чуть детальнее обсудим после, когда мы детальнее обсудим после, когда мы детальнее обсудим после, когда мы скажем, да, как как это меняет вообще скажем, да, как как это меняет вообще скажем, да, как как это меняет вообще жизнь трансформирует, да. жизнь трансформирует, да. жизнь трансформирует, да. >> Да. >> Да. >> Да. >> Вот. Да. Я тоже >> Вот. Да. Я тоже >> Вот. Да. Я тоже >> про применение, >> про применение, >> про применение, >> да. Я как раз у меня тоже мысли есть. >> да. Я как раз у меня тоже мысли есть. >> да. Я как раз у меня тоже мысли есть. Контексты важны. Ну, для кодовой базы Контексты важны. Ну, для кодовой базы

50:09Контексты важны. Ну, для кодовой базы это классная история. Мы тоже у себя это классная история. Мы тоже у себя это классная история. Мы тоже у себя целимся. То есть, э, мы не секрет, мы целимся. То есть, э, мы не секрет, мы целимся. То есть, э, мы не секрет, мы пачим OpenStack, а OpenStack - это пачим OpenStack, а OpenStack - это пачим OpenStack, а OpenStack - это вообще не маленький, это это там даже вообще не маленький, это это там даже вообще не маленький, это это там даже количество мм репозитариев внутри не количество мм репозитариев внутри не количество мм репозитариев внутри не маленькое, не говоря, что маленькое, не говоря, что

50:24маленькое, не говоря, что >> вкратце расскажи, что такое OpenSack и >> вкратце расскажи, что такое OpenSack и >> вкратце расскажи, что такое OpenSack и для чего это вообще нужно. для чего это вообще нужно. для чего это вообще нужно. >> Ээ >> Ээ >> Ээ то, ну, фактически это управление то, ну, фактически это управление то, ну, фактически это управление клаудом. Кстати, клаудом. Кстати, клаудом. Кстати, мне кажется, что создатели OpenStack все мне кажется, что создатели OpenStack все мне кажется, что создатели OpenStack все между собой ещё не до конца не между собой ещё не до конца не между собой ещё не до конца не договорились, что же это всё-таки такое.

50:41договорились, что же это всё-таки такое. договорились, что же это всё-таки такое. Ну, что-то вроде Ну, что-то вроде Ну, что-то вроде Cloud Infrastructure Manager или там Cloud Infrastructure Manager или там Cloud Infrastructure Manager или там Cloud Infrastructure, то есть вот Cloud Infrastructure, то есть вот Cloud Infrastructure, то есть вот что-то. То есть это набор сервисов, что-то. То есть это набор сервисов, что-то. То есть это набор сервисов, который, соответственно, который, соответственно, который, соответственно, деплоит операционные системы на деплоит операционные системы на деплоит операционные системы на гипервизоры, гипервизоры,

50:56гипервизоры, виртуальные машины на них разворачивает, виртуальные машины на них разворачивает, виртуальные машины на них разворачивает, ну, менеджр виртуальной машины, менеджр ну, менеджр виртуальной машины, менеджр ну, менеджр виртуальной машины, менеджр сетей делает, ээ, блочных устройств. Вот сетей делает, ээ, блочных устройств. Вот сетей делает, ээ, блочных устройств. Вот когда ты создаёшь у нас виртуальную когда ты создаёшь у нас виртуальную когда ты создаёшь у нас виртуальную машину, вот это работает OpenStack. То машину, вот это работает OpenStack. То машину, вот это работает OpenStack. То есть это примерно аналог бернетос только есть это примерно аналог бернетос только

51:08есть это примерно аналог бернетос только для того, чтобы пользователь мог создать для того, чтобы пользователь мог создать для того, чтобы пользователь мог создать свою какую-то виртуалку где-то. И вот свою какую-то виртуалку где-то. И вот свою какую-то виртуалку где-то. И вот вся эта инфраструктура, которая стоит за вся эта инфраструктура, которая стоит за вся эта инфраструктура, которая стоит за >> Да, это это то, что появилось раньше и >> Да, это это то, что появилось раньше и >> Да, это это то, что появилось раньше и это то, как было раньше. То есть где-то это то, как было раньше. То есть где-то это то, как было раньше. То есть где-то с 2000, наверное, десятого года уже там

51:25с 2000, наверное, десятого года уже там с 2000, наверное, десятого года уже там стабильная история у них. Я знаешь, как стабильная история у них. Я знаешь, как стабильная история у них. Я знаешь, как думаю, не даже даже, наверное, плохой думаю, не даже даже, наверное, плохой думаю, не даже даже, наверное, плохой пример, что раньше. Это то же самое, пример, что раньше. Это то же самое, пример, что раньше. Это то же самое, только для голого железа. только для голого железа. только для голого железа. То есть, То есть, То есть, то есть ты управляешь не контейнерами в, то есть ты управляешь не контейнерами в, то есть ты управляешь не контейнерами в, соответственно, ну, на ноде, а ты

51:41соответственно, ну, на ноде, а ты соответственно, ну, на ноде, а ты управляешь вот прямо самим железом. То управляешь вот прямо самим железом. То управляешь вот прямо самим железом. То есть у тебя оно должно загрузиться. То есть у тебя оно должно загрузиться. То есть у тебя оно должно загрузиться. То есть там загрузка попк, операционные есть там загрузка попк, операционные есть там загрузка попк, операционные системы, нужный образ туда раскататься. системы, нужный образ туда раскататься. системы, нужный образ туда раскататься. Потом ту должны виртуалки позалетать. У Потом ту должны виртуалки позалетать. У Потом ту должны виртуалки позалетать. У этих виртуалок сеть должна появиться с

51:54этих виртуалок сеть должна появиться с этих виртуалок сеть должна появиться с блочными устройствами. То есть это, ну, блочными устройствами. То есть это, ну, блочными устройствами. То есть это, ну, такое прямо, как сказать, это с самый такое прямо, как сказать, это с самый такое прямо, как сказать, это с самый низкий уровень, то есть это полноценная низкий уровень, то есть это полноценная низкий уровень, то есть это полноценная виртуализация. То есть виртуализация на виртуализация. То есть виртуализация на виртуализация. То есть виртуализация на базе - виртуальных машин, не базе - виртуальных машин, не базе - виртуальных машин, не контейнеров. И, ну, то есть мы пачим

52:06контейнеров. И, ну, то есть мы пачим контейнеров. И, ну, то есть мы пачим OpenStack и OpenStack и OpenStack и ну даже не весь OpenStack, отдельное его ну даже не весь OpenStack, отдельное его ну даже не весь OpenStack, отдельное его части - это громко сказать, что ну и части - это громко сказать, что ну и части - это громко сказать, что ну и иногда вот хочется прямо всё туда иногда вот хочется прямо всё туда иногда вот хочется прямо всё туда загрузить в нейронку и сказать: загрузить в нейронку и сказать: загрузить в нейронку и сказать: "Помоги!" Потому что, ну, иногда там "Помоги!" Потому что, ну, иногда там "Помоги!" Потому что, ну, иногда там можно, ну, то есть очень большие проекты

52:21можно, ну, то есть очень большие проекты можно, ну, то есть очень большие проекты потеряться. потеряться. потеряться. >> А на чём написано? >> А на чём написано? >> А на чём написано? >> А, Python, да. Вот, кстати, в прошлом >> А, Python, да. Вот, кстати, в прошлом >> А, Python, да. Вот, кстати, в прошлом видео мы показывали жёсткие дискими и видео мы показывали жёсткие дискими и видео мы показывали жёсткие дискими и там диск был, вот я говорил про там диск был, вот я говорил про там диск был, вот я говорил про миллионе, который миллионы иопсов миллионе, который миллионы иопсов миллионе, который миллионы иопсов выдаёт. И в виртуальной среде как раз выдаёт. И в виртуальной среде как раз

52:36выдаёт. И в виртуальной среде как раз вот про накладные расходы не получается вот про накладные расходы не получается вот про накладные расходы не получается такое количество опцев на нём выжить. такое количество опцев на нём выжить. такое количество опцев на нём выжить. Для этого нужно немножко там пропачить Для этого нужно немножко там пропачить Для этого нужно немножко там пропачить некоторые вещи, которые уже вылазют за некоторые вещи, которые уже вылазют за некоторые вещи, которые уже вылазют за пределы даже онстека, то есть там и так пределы даже онстека, то есть там и так пределы даже онстека, то есть там и так далее, там крутишь и пачишь. И вот там

52:51далее, там крутишь и пачишь. И вот там далее, там крутишь и пачишь. И вот там 500.000 опсов в виртуальной среде у нас 500.000 опсов в виртуальной среде у нас 500.000 опсов в виртуальной среде у нас есть. Это просто как пример. И то есть, есть. Это просто как пример. И то есть, есть. Это просто как пример. И то есть, ну, это очень большие, то есть ну, это очень большие, то есть ну, это очень большие, то есть представляете, там, представляете, там, представляете, там, вот такие проекты, там Openstка и всё вот такие проекты, там Openstка и всё вот такие проекты, там Openstка и всё остальное, то есть это громадные штуки и остальное, то есть это громадные штуки и

53:02остальное, то есть это громадные штуки и иногда помогает. иногда помогает. иногда помогает. >> А вот эти доработки во сколько раз >> А вот эти доработки во сколько раз >> А вот эти доработки во сколько раз позволили производительность улучшить? позволили производительность улучшить? позволили производительность улучшить? >> Ну вот по дисковой системе многократно >> Ну вот по дисковой системе многократно >> Ну вот по дисковой системе многократно прямо, прямо, прямо, >> ну, это разы три, пять, раз 10. >> ну, это разы три, пять, раз 10. >> ну, это разы три, пять, раз 10. >> Ну, раз пять можно, да, раз пять можно. >> Ну, раз пять можно, да, раз пять можно.

53:19>> Ну, раз пять можно, да, раз пять можно. >> То есть серьёзно доработки стоит это >> То есть серьёзно доработки стоит это >> То есть серьёзно доработки стоит это делать? делать? делать? >> Так, раз пять можно ускорить. >> Так, раз пять можно ускорить. >> Так, раз пять можно ускорить. Есть другие доработки. Ну то есть OpenS Есть другие доработки. Ну то есть OpenS Есть другие доработки. Ну то есть OpenS вот он к нему нету, когда это, как вот он к нему нету, когда это, как вот он к нему нету, когда это, как сказать, ну единой инструкции такой, что сказать, ну единой инструкции такой, что сказать, ну единой инструкции такой, что делайте вот так и будет хорошо. То есть

53:33делайте вот так и будет хорошо. То есть делайте вот так и будет хорошо. То есть это документация, целая куча сообществ, это документация, целая куча сообществ, это документация, целая куча сообществ, целая куча рассылок, целая куча рассылок, целая куча рассылок, всякие истории, scaling stories, и ты всякие истории, scaling stories, и ты всякие истории, scaling stories, и ты всё это читаешь, и фактически это такой, всё это читаешь, и фактически это такой, всё это читаешь, и фактически это такой, ну, что-то типа конструктора, да, его за ну, что-то типа конструктора, да, его за ну, что-то типа конструктора, да, его за это не любят, кстати, вот потому что, это не любят, кстати, вот потому что,

53:47это не любят, кстати, вот потому что, ну, как сказать, разные точки зрения на ну, как сказать, разные точки зрения на ну, как сказать, разные точки зрения на содержании инфраструктуры, но тем не содержании инфраструктуры, но тем не содержании инфраструктуры, но тем не менее вот нейронки помогают. Я знаю, что менее вот нейронки помогают. Я знаю, что менее вот нейронки помогают. Я знаю, что ребята у нас в фре часто с дипсиком ребята у нас в фре часто с дипсиком ребята у нас в фре часто с дипсиком советуются, например. Вот, советуются, например. Вот, советуются, например. Вот, >> кстати, хороший пример хочу привести как >> кстати, хороший пример хочу привести как

54:00>> кстати, хороший пример хочу привести как раз про VLM. Угу. раз про VLM. Угу. раз про VLM. Угу. >> У них на сайте есть Assistant. >> У них на сайте есть Assistant. >> У них на сайте есть Assistant. >> Угу. >> Угу. >> Угу. >> Это как раз рак система, которая >> Это как раз рак система, которая >> Это как раз рак система, которая работает поверх документации, поверх и работает поверх документации, поверх и работает поверх документации, поверх и на Гитхабе. на Гитхабе. на Гитхабе. >> Угу. >> Угу. >> Угу. >> Поверх каких-то кусков кода, похоже. И >> Поверх каких-то кусков кода, похоже. И >> Поверх каких-то кусков кода, похоже. И там очень легко можно получать ответы по

54:19там очень легко можно получать ответы по там очень легко можно получать ответы по VLM. То есть просто пишешь, как мне VLM. То есть просто пишешь, как мне VLM. То есть просто пишешь, как мне запустить ээ нейросети на трёх запустить ээ нейросети на трёх запустить ээ нейросети на трёх видеокартах? видеокартах? видеокартах? >> Он пишет: "Для этого нужно использовать >> Он пишет: "Для этого нужно использовать >> Он пишет: "Для этого нужно использовать эксперт параллел". Вот я вижу, что это эксперт параллел". Вот я вижу, что это эксперт параллел". Вот я вижу, что это как раз mi of Experts, это как раз mi of Experts, это как раз mi of Experts, это поддерживается. И вот те коротенькая

54:32поддерживается. И вот те коротенькая поддерживается. И вот те коротенькая команда для запуска. команда для запуска. команда для запуска. >> Спасибо за такую интересную беседу. >> Спасибо за такую интересную беседу. >> Спасибо за такую интересную беседу. >> Да, давай ждём ещё в гости. >> Да, давай ждём ещё в гости. >> Да, давай ждём ещё в гости. >> Если у вас есть какие-то вопросы, можете >> Если у вас есть какие-то вопросы, можете >> Если у вас есть какие-то вопросы, можете здесь в комментариях под видео задавать. здесь в комментариях под видео задавать. здесь в комментариях под видео задавать. С вами был Виталий Кулиев и Владислав С вами был Виталий Кулиев и Владислав

54:46С вами был Виталий Кулиев и Владислав Голянин. Голянин. Голянин. >> Всем пока. >> Всем пока. >> Всем пока. >> Пока. Вот