Техническое интервью по Data Science: от классики до продакшена

00:03Предлагаю начать классики. Давай начнём Предлагаю начать классики. Давай начнём с метрик. Какие ты знаешь метрики для с метрик. Какие ты знаешь метрики для с метрик. Какие ты знаешь метрики для оценки регрессии? оценки регрессии? оценки регрессии? >> MSE ME RMSE. Есть разные там >> MSE ME RMSE. Есть разные там >> MSE ME RMSE. Есть разные там модификации, которые оценивают как как модификации, которые оценивают как как модификации, которые оценивают как как бы, что в минус более важно, чем в плюс бы, что в минус более важно, чем в плюс бы, что в минус более важно, чем в плюс MSE изменения. Вот. Ну это то же самое MSE изменения. Вот. Ну это то же самое

00:22MSE изменения. Вот. Ну это то же самое MSE просто модифицированно. MSE просто модифицированно. MSE просто модифицированно. >> Угу. О'кей. А, ну, например, какие есть >> Угу. О'кей. А, ну, например, какие есть >> Угу. О'кей. А, ну, например, какие есть минусы у минусы у минусы у >> Ну, у моей минус в том, что она не >> Ну, у моей минус в том, что она не >> Ну, у моей минус в том, что она не дифференцируемая. Вот. И она смотрит дифференцируемая. Вот. И она смотрит дифференцируемая. Вот. И она смотрит абсолютную разницу. Угу. А какая метрика абсолютную разницу. Угу. А какая метрика абсолютную разницу. Угу. А какая метрика решает эту проблему, которая похожа на

00:38решает эту проблему, которая похожа на решает эту проблему, которая похожа на мою? мою? мою? >> Не, какая-то другая. >> Не, какая-то другая. >> Не, какая-то другая. >> Ну да, >> Ну да, >> Ну да, >> не в курсе. >> не в курсе. >> не в курсе. >> Ну, мапе. >> Ну, мапе. >> Ну, мапе. >> Мм, понял. >> Мм, понял. >> Мм, понял. >> Угу. А как у неё там, если сравнивать с >> Угу. А как у неё там, если сравнивать с >> Угу. А как у неё там, если сравнивать с MSE, э, с по устойчивости Клейброса? Ну, MSE, э, с по устойчивости Клейброса? Ну, MSE, э, с по устойчивости Клейброса? Ну, смотри, MSE смотрит квадрат разницы. То смотри, MSE смотрит квадрат разницы. То

00:57смотри, MSE смотрит квадрат разницы. То есть, если там большой есть, если там большой есть, если там большой какое-то отклонение, то она как бы какое-то отклонение, то она как бы какое-то отклонение, то она как бы удвоит это отклонение большое. удвоит это отклонение большое. удвоит это отклонение большое. Вот. А, а мое нет. Вот. А, а мое нет. Вот. А, а мое нет. >> Вот. Но с другой стороны, как бы если у >> Вот. Но с другой стороны, как бы если у >> Вот. Но с другой стороны, как бы если у нас диапазон значений от нуля до единицы нас диапазон значений от нуля до единицы нас диапазон значений от нуля до единицы и отклонение небольшое, то MSE сделает и отклонение небольшое, то MSE сделает

01:18и отклонение небольшое, то MSE сделает его ещё меньше. его ещё меньше. его ещё меньше. >> Угу. О'кей. Какие метрики для >> Угу. О'кей. Какие метрики для >> Угу. О'кей. Какие метрики для классификации знаешь?

01:32Five и всякие. Угу. Окей. И как бы что Five и всякие. Угу. Окей. И как бы что для чего используется? для чего используется? для чего используется? >> Ну, смотри, precision recall мы >> Ну, смотри, precision recall мы >> Ну, смотри, precision recall мы используем используем используем когда мы хотим, ну, там понять точность когда мы хотим, ну, там понять точность когда мы хотим, ну, там понять точность нашей там условно классификации. нашей там условно классификации. нашей там условно классификации. Ну, короче, по пресижену или по реколу. Ну, короче, по пресижену или по реколу. Ну, короче, по пресижену или по реколу. Вот я, наверное, так скажу. Арокаук Вот я, наверное, так скажу. Арокаук

01:49Вот я, наверное, так скажу. Арокаук мы используем для того, чтобы понять мы используем для того, чтобы понять мы используем для того, чтобы понять обобщённую обобщённое качество нашей обобщённую обобщённое качество нашей обобщённую обобщённое качество нашей модели через как бы модели через как бы модели через как бы сагрегированное по всем порогам, которые сагрегированное по всем порогам, которые сагрегированное по всем порогам, которые есть. Э F-меру мы используем, когда мы есть. Э F-меру мы используем, когда мы есть. Э F-меру мы используем, когда мы хотим как бы какое-то взвешенное между хотим как бы какое-то взвешенное между

02:05хотим как бы какое-то взвешенное между пресиженным реколом получить. пресиженным реколом получить. пресиженным реколом получить. Акураси мы используем, ну, редко, когда, Акураси мы используем, ну, редко, когда, Акураси мы используем, ну, редко, когда, допустим, допустим, допустим, классы, во-первых, имеют одинаковое как классы, во-первых, имеют одинаковое как классы, во-первых, имеют одинаковое как бы одинаковый смысл, и, во-вторых, они бы одинаковый смысл, и, во-вторых, они бы одинаковый смысл, и, во-вторых, они имеют баланс, как бы классов у нас имеют баланс, как бы классов у нас имеют баланс, как бы классов у нас хороший. хороший. хороший. >> Угу. >> Угу. >> Угу. >> Как-то так.

02:24>> Как-то так. >> Как-то так. >> О'кей. А давай вот, например, про а >> О'кей. А давай вот, например, про а >> О'кей. А давай вот, например, про а руковок можешь рассказать, как он руковок можешь рассказать, как он руковок можешь рассказать, как он строится, как работает? А, смотри, как строится, как работает? А, смотри, как строится, как работает? А, смотри, как он работает. Получается, у нас есть он работает. Получается, у нас есть он работает. Получается, у нас есть ФПР и и ТПР ФПР и и ТПР ФПР и и ТПР две шкалы. Вот мы мы сортируем нашу две шкалы. Вот мы мы сортируем нашу две шкалы. Вот мы мы сортируем нашу выборку по возрастанию скоро, а вот, ну, выборку по возрастанию скоро, а вот, ну,

02:48выборку по возрастанию скоро, а вот, ну, по возрастанию вероятность. Вот. И по по возрастанию вероятность. Вот. И по по возрастанию вероятность. Вот. И по порядку порядку порядку делаем следующее. То есть, если мы там делаем следующее. То есть, если мы там делаем следующее. То есть, если мы там встретили класс единичка, то мы шагаем встретили класс единичка, то мы шагаем встретили класс единичка, то мы шагаем вверх. Если нолик, то шагаем вправо. вверх. Если нолик, то шагаем вправо. вверх. Если нолик, то шагаем вправо. Получается такая ломанная кривая. Получается такая ломанная кривая. Получается такая ломанная кривая. Вот. Ну и мы считаем по дней площадь.

03:08Вот. Ну и мы считаем по дней площадь. Вот. Ну и мы считаем по дней площадь. Если ты готовишься к прохождению Если ты готовишься к прохождению Если ты готовишься к прохождению сабесов, то помимо заучения технических сабесов, то помимо заучения технических сабесов, то помимо заучения технических вопросов я рекомендую тебе не забывать вопросов я рекомендую тебе не забывать вопросов я рекомендую тебе не забывать про то, что этих собесов должно быть про то, что этих собесов должно быть про то, что этих собесов должно быть много и что помимо твоих технических много и что помимо твоих технических много и что помимо твоих технических знаний также понадобятся софтскилы.

03:19знаний также понадобятся софтскилы. знаний также понадобятся софтскилы. Поэтому обязательно забирай мой Поэтому обязательно забирай мой Поэтому обязательно забирай мой переваный гайд по трудоустройству вти. переваный гайд по трудоустройству вти. переваный гайд по трудоустройству вти. Там я разбираю стратегию, которая Там я разбираю стратегию, которая Там я разбираю стратегию, которая помогла мне пройти до хренища сабесов и помогла мне пройти до хренища сабесов и помогла мне пройти до хренища сабесов и получить более 30ти оферов с зарплатой получить более 30ти оферов с зарплатой получить более 30ти оферов с зарплатой от 220.000 руб. И даже по от 220.000 руб. И даже по

03:30от 220.000 руб. И даже по специальностям, где я вообще ничего не специальностям, где я вообще ничего не специальностям, где я вообще ничего не знал. То есть с абсолютного нуля. знал. То есть с абсолютного нуля. знал. То есть с абсолютного нуля. Ссылочка будет в описании. Ссылочка будет в описании. Ссылочка будет в описании. >> Угу. А в каком случае шагаем по >> Угу. А в каком случае шагаем по >> Угу. А в каком случае шагаем по диагонали? диагонали? диагонали? Если нолик класс. А по диагонали ты? А, Если нолик класс. А по диагонали ты? А, Если нолик класс. А по диагонали ты? А, >> ну да, ты говоришь влево, вправо, а по >> ну да, ты говоришь влево, вправо, а по

03:45>> ну да, ты говоришь влево, вправо, а по диагонали в каком случае? диагонали в каком случае? диагонали в каком случае? >> Ээ, >> Ээ, >> Ээ, не уверен, но возможно, когда у нас типа не уверен, но возможно, когда у нас типа не уверен, но возможно, когда у нас типа одинаковая вероятность для классов одинаковая вероятность для классов одинаковая вероятность для классов отсортирова, ну, типа отсортированных. отсортирова, ну, типа отсортированных. отсортирова, ну, типа отсортированных. Мы шагаем по диагонали. Мы шагаем по диагонали. Мы шагаем по диагонали. >> А вот. >> А вот. >> А вот. >> О'кей. Так, а про F1 можешь рассказать? >> О'кей. Так, а про F1 можешь рассказать?

04:02>> О'кей. Так, а про F1 можешь рассказать? Почему там берётся, например, ну ээ Почему там берётся, например, ну ээ Почему там берётся, например, ну ээ почему там берётся среднегармоническая, почему там берётся среднегармоническая, почему там берётся среднегармоническая, а не просто средняя? а не просто средняя? а не просто средняя? >> Среднея гармоническая нужно, чтобы более >> Среднея гармоническая нужно, чтобы более >> Среднея гармоническая нужно, чтобы более пессимистично оценивать прогноз нашей пессимистично оценивать прогноз нашей пессимистично оценивать прогноз нашей модели. Вот. Потому что когда у нас, модели. Вот. Потому что когда у нас,

04:17модели. Вот. Потому что когда у нас, допустим, там precision оди, а recкол допустим, там precision оди, а recкол допустим, там precision оди, а recкол ноль, то у нас среднее просто будет 0,5, ноль, то у нас среднее просто будет 0,5, ноль, то у нас среднее просто будет 0,5, а мы хотим, чтобы оно было ноль, а мы хотим, чтобы оно было ноль, а мы хотим, чтобы оно было ноль, например. например. например. >> Угу. >> Угу. >> Угу. >> Короче, да, мы хотим, чтобы метрика была >> Короче, да, мы хотим, чтобы метрика была >> Короче, да, мы хотим, чтобы метрика была большая, когда эти оббиметрики большие. большая, когда эти оббиметрики большие.

04:31большая, когда эти оббиметрики большие. и была плохая, когда хотя бы одна из них и была плохая, когда хотя бы одна из них и была плохая, когда хотя бы одна из них типа плохая. типа плохая. типа плохая. >> О'кей. Так, а давай тогда к линейным >> О'кей. Так, а давай тогда к линейным >> О'кей. Так, а давай тогда к линейным моделям. Что можешь сказать про них? моделям. Что можешь сказать про них? моделям. Что можешь сказать про них? >> Ну, логистическая линейная регрессия. >> Ну, логистическая линейная регрессия. >> Ну, логистическая линейная регрессия. >> Линейная регрессия, логистическая >> Линейная регрессия, логистическая >> Линейная регрессия, логистическая регрессия. регрессия.

04:48регрессия. Линейная регрессия. Ну, модель, которая Линейная регрессия. Ну, модель, которая Линейная регрессия. Ну, модель, которая как бы строит линейную зависимость по как бы строит линейную зависимость по как бы строит линейную зависимость по нашим данным. Выводится в общем случае нашим данным. Выводится в общем случае нашим данным. Выводится в общем случае просто формулой, работает быстро. Вот. просто формулой, работает быстро. Вот. просто формулой, работает быстро. Вот. неустойчиво к выбросам. Вот поэтому мы неустойчиво к выбросам. Вот поэтому мы неустойчиво к выбросам. Вот поэтому мы делаем всякую регуляризацию для этого. А делаем всякую регуляризацию для этого. А

05:06делаем всякую регуляризацию для этого. А нормируем данные, как бы ещё у неё есть нормируем данные, как бы ещё у неё есть нормируем данные, как бы ещё у неё есть гипотеза, что, ну, точнее, ей должна, гипотеза, что, ну, точнее, ей должна, гипотеза, что, ну, точнее, ей должна, короче, таргет должен быть распределён короче, таргет должен быть распределён короче, таргет должен быть распределён нормально. нормально. нормально. >> Угу. А, например, как мы её можем, ну, >> Угу. А, например, как мы её можем, ну, >> Угу. А, например, как мы её можем, ну, применять? Какие есть ограничения? применять? Какие есть ограничения? применять? Какие есть ограничения? >> Ну, опять же, я сказал,

05:27>> Ну, опять же, я сказал, >> Ну, опять же, я сказал, >> ты сказал про таргет, >> ты сказал про таргет, >> ты сказал про таргет, >> да? А профечи, например, >> да? А профечи, например, >> да? А профечи, например, >> фичи тоже нормально, наверное, должны >> фичи тоже нормально, наверное, должны >> фичи тоже нормально, наверное, должны быть распределены. Вот это я уже точно быть распределены. Вот это я уже точно быть распределены. Вот это я уже точно не помню, что там с фичами. Фичи должны не помню, что там с фичами. Фичи должны не помню, что там с фичами. Фичи должны быть нормализованные. Ну, как у любой быть нормализованные. Ну, как у любой

05:42быть нормализованные. Ну, как у любой линейной модели в целом. Вот. Ну, чтобы линейной модели в целом. Вот. Ну, чтобы линейной модели в целом. Вот. Ну, чтобы веса имели смысл, типа важность. Вот. веса имели смысл, типа важность. Вот. веса имели смысл, типа важность. Вот. Что ещё можно сказать? Что хорошо Что ещё можно сказать? Что хорошо Что ещё можно сказать? Что хорошо работает при маленьком количестве работает при маленьком количестве работает при маленьком количестве данных. Вот. Потому что у неё большое данных. Вот. Потому что у неё большое данных. Вот. Потому что у неё большое смещение, маленький разброс. А вот не смещение, маленький разброс. А вот не

05:57смещение, маленький разброс. А вот не работает с вы плохо работает с работает с вы плохо работает с работает с вы плохо работает с выбросами. выбросами. выбросами. >> Угу. О'кей. Так, а >> Угу. О'кей. Так, а >> Угу. О'кей. Так, а а про регуляризацию можешь рассказать? а про регуляризацию можешь рассказать? а про регуляризацию можешь рассказать? >> Регуляризация - это функция от весов, >> Регуляризация - это функция от весов, >> Регуляризация - это функция от весов, которые мы добавляем к функции потерь. которые мы добавляем к функции потерь. которые мы добавляем к функции потерь. Вот, которая участвует в Вот, которая участвует в

06:14Вот, которая участвует в дифференцировании, нужна для того, чтобы дифференцировании, нужна для того, чтобы дифференцировании, нужна для того, чтобы как-то ещё влиять на веса дополнительно как-то ещё влиять на веса дополнительно как-то ещё влиять на веса дополнительно в момент обучения. в момент обучения. в момент обучения. Вот самое популярное - это L1, L2. L1 - Вот самое популярное - это L1, L2. L1 - Вот самое популярное - это L1, L2. L1 - это сумма модулей. ну вот этих вечей. А это сумма модулей. ну вот этих вечей. А это сумма модулей. ну вот этих вечей. А вот, а - это L2 норма. Ну, собственно, вот, а - это L2 норма. Ну, собственно,

06:33вот, а - это L2 норма. Ну, собственно, L1 как бы, ну, они обе созданы для того, L1 как бы, ну, они обе созданы для того, L1 как бы, ну, они обе созданы для того, чтобы помогать от переобучения. Вот ещё чтобы помогать от переобучения. Вот ещё чтобы помогать от переобучения. Вот ещё в нашем случае они могут немного помочь в нашем случае они могут немного помочь в нашем случае они могут немного помочь с выбросами. И ещё L1 отбирает, с выбросами. И ещё L1 отбирает, с выбросами. И ещё L1 отбирает, получается, фичи. L2 она просто не даёт получается, фичи. L2 она просто не даёт получается, фичи. L2 она просто не даёт весу слишком большим быть или слишком весу слишком большим быть или слишком

06:52весу слишком большим быть или слишком маленьким. маленьким. маленьким. >> Угу. А чем плохие большие веса? Ну, >> Угу. А чем плохие большие веса? Ну, >> Угу. А чем плохие большие веса? Ну, типа, условно мы обучились, у нас типа, условно мы обучились, у нас типа, условно мы обучились, у нас высокие показатели метрик на большие высокие показатели метрик на большие высокие показатели метрик на большие веса. К чему это ведёт? веса. К чему это ведёт? веса. К чему это ведёт? >> Большие веса ведут к тому, что, ну, они >> Большие веса ведут к тому, что, ну, они >> Большие веса ведут к тому, что, ну, они же участвуют в скореном произведении. же участвуют в скореном произведении.

07:09же участвуют в скореном произведении. Если у нас фича как-то там изменится Если у нас фича как-то там изменится Если у нас фича как-то там изменится немного, то результат сильно изменится. немного, то результат сильно изменится. немного, то результат сильно изменится. >> Угу. >> Угу. >> Угу. >> То есть вы выбросы ещё больше будут э >> То есть вы выбросы ещё больше будут э >> То есть вы выбросы ещё больше будут э влиять нашу модель. влиять нашу модель. влиять нашу модель. >> Угу. >> Угу. >> Угу. О'кей. О'кей. О'кей. Так. Аэ, КН знаешь? Так. Аэ, КН знаешь? Так. Аэ, КН знаешь? >> Да, тоже тоже мест. >> Да, тоже тоже мест. >> Да, тоже тоже мест. >> А в чём заключается его, а обучение?

07:34>> А в чём заключается его, а обучение? >> А в чём заключается его, а обучение? >> Заключается в том, что мы считаем >> Заключается в том, что мы считаем >> Заключается в том, что мы считаем цинтроиды у классов и берём, цинтроиды у классов и берём, цинтроиды у классов и берём, обозначаем объект к, ну, считаем обозначаем объект к, ну, считаем обозначаем объект к, ну, считаем метрическое расстояние, во-первых, там метрическое расстояние, во-первых, там метрическое расстояние, во-первых, там косинусное или какое, и обозначаем косинусное или какое, и обозначаем косинусное или какое, и обозначаем объект тем классом, ближе к какому ты объект тем классом, ближе к какому ты

07:48объект тем классом, ближе к какому ты путаешь с минус. путаешь с минус. путаешь с минус. >> А KN тоже жит там центре считаем. >> А KN тоже жит там центре считаем. >> А KN тоже жит там центре считаем. А нет, нет, мы когда А нет, нет, мы когда А нет, нет, мы когда А, А, А, ну нам нужно найти, когда мы делаем ну нам нужно найти, когда мы делаем ну нам нужно найти, когда мы делаем предсказания, мы просто считаем предсказания, мы просто считаем предсказания, мы просто считаем расстояние до всех точек. расстояние до всех точек. расстояние до всех точек. А при обучении мы что делаем? А при обучении мы что делаем? А при обучении мы что делаем? >> Дорогой мой друг или подруга, если ты

08:12>> Дорогой мой друг или подруга, если ты >> Дорогой мой друг или подруга, если ты собираешься залетать в Data Science и собираешься залетать в Data Science и собираешься залетать в Data Science и хочешь сделать это максимально быстро и хочешь сделать это максимально быстро и хочешь сделать это максимально быстро и эффективно и на наиболее хорошую эффективно и на наиболее хорошую эффективно и на наиболее хорошую зарплату, то для тебя у меня есть зарплату, то для тебя у меня есть зарплату, то для тебя у меня есть программа Офер под ключ. И нет, нет, программа Офер под ключ. И нет, нет, программа Офер под ключ. И нет, нет, нет, друзья, это не курсы, это нет, друзья, это не курсы, это

08:22нет, друзья, это не курсы, это полноценная программа, где мы и дадим полноценная программа, где мы и дадим полноценная программа, где мы и дадим тебе и хардскилы, и софтскилы, и поможем тебе и хардскилы, и софтскилы, и поможем тебе и хардскилы, и софтскилы, и поможем составлением резюме, и поможем пройти составлением резюме, и поможем пройти составлением резюме, и поможем пройти весь путь, и трудоустроиться на работу, весь путь, и трудоустроиться на работу, весь путь, и трудоустроиться на работу, и ещё поможем пройти испытательные и ещё поможем пройти испытательные и ещё поможем пройти испытательные сроки. И всё это под ключ. В основном сроки. И всё это под ключ. В основном

08:34сроки. И всё это под ключ. В основном хватает 3-4 месяца, чтобы устроиться на хватает 3-4 месяца, чтобы устроиться на хватает 3-4 месяца, чтобы устроиться на работу и получить офер от 220.000 руб., работу и получить офер от 220.000 руб., работу и получить офер от 220.000 руб., даже если у тебя не было коммерческого даже если у тебя не было коммерческого даже если у тебя не было коммерческого опыта до этого. Так что заходи на сайт опыта до этого. Так что заходи на сайт опыта до этого. Так что заходи на сайт школы, заполняй анкету, и с тобой школы, заполняй анкету, и с тобой школы, заполняй анкету, и с тобой свяжется менеджер, который расскажет свяжется менеджер, который расскажет

08:46свяжется менеджер, который расскажет тебе про нашу программу и расскажет про тебе про нашу программу и расскажет про тебе про нашу программу и расскажет про то, как именно в твоём случае лучше то, как именно в твоём случае лучше то, как именно в твоём случае лучше поступить, оценит твои знания и поступить, оценит твои знания и поступить, оценит твои знания и предложит тариф, который подходит именно предложит тариф, который подходит именно предложит тариф, который подходит именно тебе. А мы переходим к нашему следующему тебе. А мы переходим к нашему следующему тебе. А мы переходим к нашему следующему вопросу. вопросу. вопросу. Ну, считаем, ну, расстояние до всех

08:59Ну, считаем, ну, расстояние до всех Ну, считаем, ну, расстояние до всех точек и, наверное, относим к самой точек и, наверное, относим к самой точек и, наверное, относим к самой ближайшей точке. Не знаю, ближайшей точке. Не знаю, ближайшей точке. Не знаю, мне казалось, что это центроидов мне казалось, что это центроидов мне казалось, что это центроидов считается. Не, не, это ты про кластеризацию Не, не, это ты про кластеризацию говоришь. говоришь. говоришь. >> Ну так и кластеризация также. Ну, >> Ну так и кластеризация также. Ну, >> Ну так и кластеризация также. Ну, короче, я не знаю, как наверно работает короче, я не знаю, как наверно работает

09:18короче, я не знаю, как наверно работает в таком случае. в таком случае. в таком случае. >> О'кей. >> О'кей. >> О'кей. О'кей. Ну, он просто запоминает все О'кей. Ну, он просто запоминает все О'кей. Ну, он просто запоминает все данные, а ты потом уже передаёшь ему данные, а ты потом уже передаёшь ему данные, а ты потом уже передаёшь ему точку, и он тебе находит соседей. точку, и он тебе находит соседей. точку, и он тебе находит соседей. >> А, к ближайших соседей. >> А, к ближайших соседей. >> А, к ближайших соседей. >> Дадада. Там же пока соседям он смотрит. >> Дадада. Там же пока соседям он смотрит. >> Дадада. Там же пока соседям он смотрит. Они подстроены. Да. Они подстроены. Да.

09:37Они подстроены. Да. О'кей. Так, а

09:45смотри, есть задача, а, оценить смотри, есть задача, а, оценить вероятность того, что человек зайдёт в вероятность того, что человек зайдёт в вероятность того, что человек зайдёт в приложение. приложение. приложение. А это задача какая? Классификация, А это задача какая? Классификация, А это задача какая? Классификация, регрессия. регрессия. регрессия. >> Классификация. >> Классификация. >> Классификация. >> Угу. О'кей. А >> Угу. О'кей. А >> Угу. О'кей. А ну, расскажи, пожалуйста, как. ну, расскажи, пожалуйста, как. ну, расскажи, пожалуйста, как. >> Слушай, у тебя, извини, у тебя попугай >> Слушай, у тебя, извини, у тебя попугай

10:04>> Слушай, у тебя, извини, у тебя попугай просто на фоне очень сильно кричит. просто на фоне очень сильно кричит. просто на фоне очень сильно кричит. Я Я Я тебя плохо слышу. тебя плохо слышу. тебя плохо слышу. >> Я не могу его прогнать. >> Я не могу его прогнать. >> Я не могу его прогнать. >> Повтори тогда, пожалуйста, вопрос. >> Повтори тогда, пожалуйста, вопрос. >> Повтори тогда, пожалуйста, вопрос. >> Да, да, конечно. А расскажи, пожалуйста, >> Да, да, конечно. А расскажи, пожалуйста, >> Да, да, конечно. А расскажи, пожалуйста, про деревья базово. Вот как строится про деревья базово. Вот как строится про деревья базово. Вот как строится самое простое дерево. самое простое дерево.

10:21самое простое дерево. >> По как строится дерево? Мы идём по Ну >> По как строится дерево? Мы идём по Ну >> По как строится дерево? Мы идём по Ну что такое деревья? Это просто разбиение что такое деревья? Это просто разбиение что такое деревья? Это просто разбиение по фичам. Вот. И мы отправляем там либо по фичам. Вот. И мы отправляем там либо по фичам. Вот. И мы отправляем там либо вправо, либо влево какие-то объекты, вправо, либо влево какие-то объекты, вправо, либо влево какие-то объекты, разбивая по фиче. Нам нужно оптимальным разбивая по фиче. Нам нужно оптимальным разбивая по фиче. Нам нужно оптимальным образом найти разбиение. Вот самое образом найти разбиение. Вот самое

10:38образом найти разбиение. Вот самое лучшее. Поэтому мы идём по всем фичам, а лучшее. Поэтому мы идём по всем фичам, а лучшее. Поэтому мы идём по всем фичам, а идём по всем объектом идём по всем объектом идём по всем объектом нумотрим, как бы по какой фиче лучше нумотрим, как бы по какой фиче лучше нумотрим, как бы по какой фиче лучше разбить наши эти объекты. Ну чтобы, ээ, разбить наши эти объекты. Ну чтобы, ээ, разбить наши эти объекты. Ну чтобы, ээ, >> чтобы типа метрика улучшилась. >> чтобы типа метрика улучшилась. >> чтобы типа метрика улучшилась. >> А, например, для классификации какие >> А, например, для классификации какие >> А, например, для классификации какие метрики используем?

10:57метрики используем? метрики используем? >> Ну, CrossPю мы вроде считаем в этих Угу. >> Ну, CrossPю мы вроде считаем в этих Угу. >> Ну, CrossPю мы вроде считаем в этих Угу. >> в нодах. Угу. >> в нодах. Угу. >> в нодах. Угу. >> Там какие-то эти Ну это же по >> Там какие-то эти Ну это же по >> Там какие-то эти Ну это же по information типа G читается. Вот. information типа G читается. Вот. information типа G читается. Вот. >> Угу. >> Угу. >> Угу. >> А как точно? Я уже не помню. В регрессии >> А как точно? Я уже не помню. В регрессии >> А как точно? Я уже не помню. В регрессии вроде MSE. вроде MSE. вроде MSE. Да. О'кей. А как мы можем бороться с Да. О'кей. А как мы можем бороться с

11:19Да. О'кей. А как мы можем бороться с переобучением? переобучением? переобучением? >> Ну, перео дерево переобучается, когда >> Ну, перео дерево переобучается, когда >> Ну, перео дерево переобучается, когда оно слишком глубокое. То есть уменьши оно слишком глубокое. То есть уменьши оно слишком глубокое. То есть уменьши уменьшить его глубину, уменьшить уменьшить его глубину, уменьшить уменьшить его глубину, уменьшить количество листьев, уменьшить, ну, количество листьев, уменьшить, ну, количество листьев, уменьшить, ну, короче, сделать там ограничение на короче, сделать там ограничение на короче, сделать там ограничение на количество разбиений, которое он может

11:35количество разбиений, которое он может количество разбиений, которое он может сделать. Ну и так далее. сделать. Ну и так далее. сделать. Ну и так далее. >> Ну, короче, само дерево сделать меньше >> Ну, короче, само дерево сделать меньше >> Ну, короче, само дерево сделать меньше просто. просто. просто. >> О'кей. А промфос что можешь рассказать? >> О'кей. А промфос что можешь рассказать? >> О'кей. А промфос что можешь рассказать? Почему он так называется? Как работает? Почему он так называется? Как работает? Почему он так называется? Как работает? >> Алгоритм беггинга над деревьями. Мы >> Алгоритм беггинга над деревьями. Мы

11:48>> Алгоритм беггинга над деревьями. Мы обучаем деревья мм независимо друг от обучаем деревья мм независимо друг от обучаем деревья мм независимо друг от друга. Вот. И ответы и ответ усредняем. друга. Вот. И ответы и ответ усредняем. друга. Вот. И ответы и ответ усредняем. В качестве обучения мы используем В качестве обучения мы используем В качестве обучения мы используем подсмплы и подсмплы фичей. подсмплы и подсмплы фичей. подсмплы и подсмплы фичей. >> Угу. О'кей. >> Угу. О'кей. >> Угу. О'кей. >> А проб бустинг. >> А проб бустинг. >> А проб бустинг. >> Бустинг - это алгоритм, когда мы обучаем >> Бустинг - это алгоритм, когда мы обучаем

12:05>> Бустинг - это алгоритм, когда мы обучаем каждый следующий алгоритм на ошибке каждый следующий алгоритм на ошибке каждый следующий алгоритм на ошибке предыдущего. Извини, пожалуйста. Да, ну предыдущего. Извини, пожалуйста. Да, ну предыдущего. Извини, пожалуйста. Да, ну более точно сказать на на антиградиенте. более точно сказать на на антиградиенте. более точно сказать на на антиградиенте. >> Можно она повторить, >> Можно она повторить, >> Можно она повторить, >> да? э алгоритмы, когда мы обучаем, >> да? э алгоритмы, когда мы обучаем, >> да? э алгоритмы, когда мы обучаем, >> ну вот следующий алгоритм, чаще всего >> ну вот следующий алгоритм, чаще всего

12:18>> ну вот следующий алгоритм, чаще всего используются деревья над на используются деревья над на используются деревья над на антиградиенте предыдущего алгоритма. антиградиенте предыдущего алгоритма. антиградиенте предыдущего алгоритма. >> Угу. О'кей. А первое дерево на чём >> Угу. О'кей. А первое дерево на чём >> Угу. О'кей. А первое дерево на чём обучаем? обучаем? обучаем? >> На просто на таргетах на наших. Ну как >> На просто на таргетах на наших. Ну как >> На просто на таргетах на наших. Ну как обычное дерево обычное самое. обычное дерево обычное самое. обычное дерево обычное самое. >> Вот считаем с функцию, э потом её >> Вот считаем с функцию, э потом её

12:35>> Вот считаем с функцию, э потом её дифференцируем. дифференцируем. дифференцируем. >> Получается антиградиент с функция. И уже >> Получается антиградиент с функция. И уже >> Получается антиградиент с функция. И уже мы за Y, ну, правильный ответ следующему мы за Y, ну, правильный ответ следующему мы за Y, ну, правильный ответ следующему дереву подаём вот этот антигредиент на дереву подаём вот этот антигредиент на дереву подаём вот этот антигредиент на наших данных. наших данных. наших данных. >> Угу. А, а какие лучше деревья >> Угу. А, а какие лучше деревья >> Угу. А, а какие лучше деревья использовать в бустинге и в рандом использовать в бустинге и в рандом

12:51использовать в бустинге и в рандом Форесте? Форесте? Форесте? >> В рандомфоресте лучше использовать >> В рандомфоресте лучше использовать >> В рандомфоресте лучше использовать глубокие деревья. Вот у нас цель сделать глубокие деревья. Вот у нас цель сделать глубокие деревья. Вот у нас цель сделать как можно более различные каждое дерево как можно более различные каждое дерево как можно более различные каждое дерево друг с другом. А в бустинге, друг с другом. А в бустинге, друг с другом. А в бустинге, ну, по это просто обычно используют ну, по это просто обычно используют ну, по это просто обычно используют глубины один, там, два. такое, чтобы они глубины один, там, два. такое, чтобы они

13:10глубины один, там, два. такое, чтобы они не переобучались. не переобучались. не переобучались. >> Ну это у тебя уже пеньки получаются. >> Ну это у тебя уже пеньки получаются. >> Ну это у тебя уже пеньки получаются. >> Ну да. >> Ну да. >> Ну да. >> А ну скорее там 2тче. >> А ну скорее там 2тче. >> А ну скорее там 2тче. >> Ну но не больше семи точно. >> Ну но не больше семи точно. >> Ну но не больше семи точно. >> Ну да. Угу. >> Ну да. Угу. >> Ну да. Угу. >> О'кей. >> О'кей. >> О'кей. А, А, А, а если вот, например, а а если вот, например, а а если вот, например, а вот, допустим, у нас есть три алгоритма: вот, допустим, у нас есть три алгоритма:

13:37вот, допустим, у нас есть три алгоритма: регрессия регрессия регрессия линейная, лес какой-нибудь и бустинг. линейная, лес какой-нибудь и бустинг. линейная, лес какой-нибудь и бустинг. >> Угу. >> Угу. >> Угу. >> И есть задача >> И есть задача >> И есть задача регрессии, да? регрессии, да? регрессии, да? А могут ли эти алгоритмы выходить за А могут ли эти алгоритмы выходить за А могут ли эти алгоритмы выходить за границы таргета на обучающей выборке на границы таргета на обучающей выборке на границы таргета на обучающей выборке на инфлинси уже? инфлинси уже? инфлинси уже? >> Ну, из них не может только случайный >> Ну, из них не может только случайный

13:59>> Ну, из них не может только случайный лес, ну, и дерево одно. лес, ну, и дерево одно. лес, ну, и дерево одно. >> Остальные могут. >> Остальные могут. >> Остальные могут. >> Угу. Почему? >> Угу. Почему? >> Угу. Почему? >> Ну, линейная регрессия, понятно, потому >> Ну, линейная регрессия, понятно, потому >> Ну, линейная регрессия, понятно, потому что у неё линейная зависимость. Вот там что у неё линейная зависимость. Вот там что у неё линейная зависимость. Вот там мо там просто даёшь X другой поменьше. А мо там просто даёшь X другой поменьше. А мо там просто даёшь X другой поменьше. А деревья не могут, потому что они деревья не могут, потому что они

14:18деревья не могут, потому что они обучаются на том, что видят. То есть, обучаются на том, что видят. То есть, обучаются на том, что видят. То есть, если они не видели какой-то там, ну, если они не видели какой-то там, ну, если они не видели какой-то там, ну, какой-то какой-то какой-то какие-то данные, то они эти данные не какие-то данные, то они эти данные не какие-то данные, то они эти данные не могут предсказать. Просто так работает. могут предсказать. Просто так работает. могут предсказать. Просто так работает. >> Угу. >> Угу. >> Угу. >> Потому что мы усредняем там в листьях >> Потому что мы усредняем там в листьях

14:34>> Потому что мы усредняем там в листьях ответы. Вот, э, ну, случайный рес - это ответы. Вот, э, ну, случайный рес - это ответы. Вот, э, ну, случайный рес - это просто куча деревьев, соответственно, то просто куча деревьев, соответственно, то просто куча деревьев, соответственно, то же самое. А-а, бустинги могут, потому же самое. А-а, бустинги могут, потому же самое. А-а, бустинги могут, потому что, ну, антиградиент он, грубо говоря, что, ну, антиградиент он, грубо говоря, что, ну, антиградиент он, грубо говоря, может быть любого знака. Вот может быть может быть любого знака. Вот может быть может быть любого знака. Вот может быть минусом. минусом. минусом. >> Вот поэтому может,

14:51>> Вот поэтому может, >> Вот поэтому может, ну, да, потому что мы суммируем вот эти ну, да, потому что мы суммируем вот эти ну, да, потому что мы суммируем вот эти наши ответы наших деревьев, мы суммируем наши ответы наших деревьев, мы суммируем наши ответы наших деревьев, мы суммируем с какими-то весами в гритентном с какими-то весами в гритентном с какими-то весами в гритентном бустинге. бустинге. бустинге. Вот. А какой-то ответ может оказаться Вот. А какой-то ответ может оказаться Вот. А какой-то ответ может оказаться отрицательным даже сильным. отрицательным даже сильным. отрицательным даже сильным. >> Угу. Ну, тут, наверное, да, вот важно >> Угу. Ну, тут, наверное, да, вот важно

15:10>> Угу. Ну, тут, наверное, да, вот важно то, что не отрицательным либо то, что не отрицательным либо то, что не отрицательным либо положительным, а в какой-то момент положительным, а в какой-то момент положительным, а в какой-то момент ошибка может быть такой большой, что она ошибка может быть такой большой, что она ошибка может быть такой большой, что она выбросит за границу таргета. Да. О'кей. выбросит за границу таргета. Да. О'кей. выбросит за границу таргета. Да. О'кей. А, А, А, а вот, например, для randмфреста, а вот, например, для randмфреста, а вот, например, для randмфреста, а как влияет увеличение или уменьшение а как влияет увеличение или уменьшение

15:31а как влияет увеличение или уменьшение глубины и увеличение и уменьшение глубины и увеличение и уменьшение глубины и увеличение и уменьшение количества деревьев на дисперсию? количества деревьев на дисперсию? количества деревьев на дисперсию? на дисперсию. >> Ну, >> Ну, дисперсия дисперсия дисперсия она должна у нас, получается, она должна у нас, получается, она должна у нас, получается, уменьшаться при добавлении уменьшаться при добавлении уменьшаться при добавлении деревьев новых. деревьев новых. деревьев новых. Вот. Вот. Вот. >> Угу. >> Угу. >> Угу. >> И при увеличении глубины, >> И при увеличении глубины, >> И при увеличении глубины, ну, как бы дисперсия самого дерева, она

15:59ну, как бы дисперсия самого дерева, она ну, как бы дисперсия самого дерева, она должна увеличиваться при добавлении должна увеличиваться при добавлении должна увеличиваться при добавлении глубины. глубины. глубины. Вот. Значит, получается, и дисперсия Вот. Значит, получается, и дисперсия Вот. Значит, получается, и дисперсия ответов тоже должна типа увеличиваться, ответов тоже должна типа увеличиваться, ответов тоже должна типа увеличиваться, получается, при увеличении глубины, но получается, при увеличении глубины, но получается, при увеличении глубины, но при добавлении деревьев она должна при добавлении деревьев она должна при добавлении деревьев она должна уменьшаться. уменьшаться.

16:15уменьшаться. >> Ну да, собственно говоря, мы там и >> Ну да, собственно говоря, мы там и >> Ну да, собственно говоря, мы там и балансируем. балансируем. балансируем. А а на смещение как влияет? А А а на смещение как влияет? А А а на смещение как влияет? А >> смещение, оно должно уменьшаться. >> смещение, оно должно уменьшаться. >> смещение, оно должно уменьшаться. Сейчас, погоди. Так, если у нас при Сейчас, погоди. Так, если у нас при Сейчас, погоди. Так, если у нас при увеличении количества деревьев дисперсия увеличении количества деревьев дисперсия увеличении количества деревьев дисперсия уменьшается, уменьшается, уменьшается, то смещение, то смещение,

16:36то смещение, мне кажется, оно типа, ну, как бы не мне кажется, оно типа, ну, как бы не мне кажется, оно типа, ну, как бы не увеличивается должно быть не увеличивается должно быть не увеличивается должно быть не увеличиваться. увеличиваться. увеличиваться. Вот, возможно, немного уменьшаться. Вот, возможно, немного уменьшаться. Вот, возможно, немного уменьшаться. >> Так, мм, кроссвалидацию, знаешь, как по >> Так, мм, кроссвалидацию, знаешь, как по >> Так, мм, кроссвалидацию, знаешь, как по времени сделать? времени сделать? времени сделать? Да. Ну как берём таймлайн Да. Ну как берём таймлайн Да. Ну как берём таймлайн непрерывный, непрерывный,

16:59непрерывный, >> обучаем на как бы кусочки, предсказываем >> обучаем на как бы кусочки, предсказываем >> обучаем на как бы кусочки, предсказываем следующий кусок, потом обучаем на этих следующий кусок, потом обучаем на этих следующий кусок, потом обучаем на этих двух, предсказываем следующий, потом на двух, предсказываем следующий, потом на двух, предсказываем следующий, потом на этих трёх и предсказываем следующий. этих трёх и предсказываем следующий. этих трёх и предсказываем следующий. Так. Так. Так. >> Угу. >> Угу. >> Угу. >> Ну то есть, да, чтобы у нас получается >> Ну то есть, да, чтобы у нас получается >> Ну то есть, да, чтобы у нас получается не в перемешку были данные, а

17:18не в перемешку были данные, а не в перемешку были данные, а последовательно нашли последовательно нашли последовательно нашли каждой разбиение. Угу. каждой разбиение. Угу. каждой разбиение. Угу. >> О'кей. Так, а давай я сейчас скину >> О'кей. Так, а давай я сейчас скину >> О'кей. Так, а давай я сейчас скину ссылочку. ссылочку. ссылочку. >> Есть мешок с двумя монетами. Обычная с >> Есть мешок с двумя монетами. Обычная с >> Есть мешок с двумя монетами. Обычная с вероятностью выпадения орла 50% и вероятностью выпадения орла 50% и вероятностью выпадения орла 50% и счастливая с вероятностью орла 100%. Из счастливая с вероятностью орла 100%. Из

17:35счастливая с вероятностью орла 100%. Из мешка с монетами случайно вытащили мешка с монетами случайно вытащили мешка с монетами случайно вытащили моменту и показали орла. Какая моменту и показали орла. Какая моменту и показали орла. Какая вероятность, что это обычно? Тут надо вероятность, что это обычно? Тут надо вероятность, что это обычно? Тут надо условную посчитать. А, то есть условную посчитать. А, то есть условную посчитать. А, то есть вероятность выпадения орла. Нет, при вероятность выпадения орла. Нет, при вероятность выпадения орла. Нет, при вероятность того, что она обычная при вероятность того, что она обычная при

17:48вероятность того, что она обычная при условии, что нам выпал орёл. Это условии, что нам выпал орёл. Это условии, что нам выпал орёл. Это получается, что это вероятность получается, что это вероятность получается, что это вероятность совместная совместная совместная обычная орла. Это у нас 0,5 обычная орла. Это у нас 0,5 обычная орла. Это у нас 0,5 разделить на вероятность, получается разделить на вероятность, получается разделить на вероятность, получается орла у обычной плюс орла у необычной. орла у обычной плюс орла у необычной. орла у обычной плюс орла у необычной. Если я, конечно, не перепутал Если я, конечно, не перепутал

18:08Если я, конечно, не перепутал как выглядит формула полной вероятности, как выглядит формула полной вероятности, как выглядит формула полной вероятности, то получается 0,5 / 1,5. А вот, то есть то получается 0,5 / 1,5. А вот, то есть то получается 0,5 / 1,5. А вот, то есть это 1/3. это 1/3. это 1/3. >> О'кей. Это, ну, правильный ответ или >> О'кей. Это, ну, правильный ответ или >> О'кей. Это, ну, правильный ответ или нет? нет? нет? >> Да. Угу. >> Да. Угу. >> Да. Угу. >> Хорошо. >> Хорошо. >> Хорошо. >> Хорошо. Так, а и подскажи, ты, а, >> Хорошо. Так, а и подскажи, ты, а, >> Хорошо. Так, а и подскажи, ты, а, получается, сивишкой занимался, получается, сивишкой занимался,

18:33получается, сивишкой занимался, >> что я >> что я >> что я >> а хивишкой занимался. >> а хивишкой занимался. >> а хивишкой занимался. >> М, ну, так немного. >> М, ну, так немного. >> М, ну, так немного. >> А нет, у тебя последнее место работы, >> А нет, у тебя последнее место работы, >> А нет, у тебя последнее место работы, это было в кэшл, да? это было в кэшл, да? это было в кэшл, да? >> Да. То есть я классификацией практически >> Да. То есть я классификацией практически >> Да. То есть я классификацией практически всё время занимался. всё время занимался. всё время занимался. >> А в чём заключалось? Ну какие задачи >> А в чём заключалось? Ну какие задачи

18:49>> А в чём заключалось? Ну какие задачи решал? решал? решал? >> Вот в кэшю решал задачи, >> Вот в кэшю решал задачи, >> Вот в кэшю решал задачи, ну кредитного скоринга, то есть выдавать ну кредитного скоринга, то есть выдавать ну кредитного скоринга, то есть выдавать клиенту кредит или нет. Вот клиенту кредит или нет. Вот клиенту кредит или нет. Вот ну вот так вообще много классификаций ну вот так вообще много классификаций ну вот так вообще много классификаций решал. То есть там с текстами, с NLP решал. То есть там с текстами, с NLP решал. То есть там с текстами, с NLP решали задачу классификации токсичных решали задачу классификации токсичных решали задачу классификации токсичных текстов.

19:07текстов. текстов. >> Ну а вот по про кредитный скоринг можешь >> Ну а вот по про кредитный скоринг можешь >> Ну а вот по про кредитный скоринг можешь рассказать подробнее, ну какие методы рассказать подробнее, ну какие методы рассказать подробнее, ну какие методы там использовал, да? Какие там условно там использовал, да? Какие там условно там использовал, да? Какие там условно качество, какое качество получил? качество, какое качество получил? качество, какое качество получил? >> Ну, смотри, тамнил >> Ну, смотри, тамнил >> Ну, смотри, тамнил >> ээ про то, как типа было у нас. Ну, я >> ээ про то, как типа было у нас. Ну, я

19:25>> ээ про то, как типа было у нас. Ну, я могу рассказать типа как это бы я делал могу рассказать типа как это бы я делал могу рассказать типа как это бы я делал и то, как я это делал у нас, потому что и то, как я это делал у нас, потому что и то, как я это делал у нас, потому что у нас в целом ничего кроме линейной у нас в целом ничего кроме линейной у нас в целом ничего кроме линейной регрессии технически нельзя было регрессии технически нельзя было регрессии технически нельзя было внедрить. Вот. И то есть мы делали всё внедрить. Вот. И то есть мы делали всё внедрить. Вот. И то есть мы делали всё через линейную регрессию. Вот. Ну, через линейную регрессию. Вот. Ну,

19:40через линейную регрессию. Вот. Ну, процесс в целом он как бы стандартный. процесс в целом он как бы стандартный. процесс в целом он как бы стандартный. Мы закупали половину фичей у сторонних Мы закупали половину фичей у сторонних Мы закупали половину фичей у сторонних компаний и там для повторных клиентов компаний и там для повторных клиентов компаний и там для повторных клиентов ещё свои фичи, да, добавляли. Вот. А ещё свои фичи, да, добавляли. Вот. А ещё свои фичи, да, добавляли. Вот. А фичи мы отбирали, какие-то свои фичи мы отбирали, какие-то свои фичи мы отбирали, какие-то свои генерировали. генерировали. генерировали. Вот. Ну и потом, в принципе, просто

19:58Вот. Ну и потом, в принципе, просто Вот. Ну и потом, в принципе, просто обучали модель, подбирали порог. обучали модель, подбирали порог. обучали модель, подбирали порог. >> Угу. А вот смотри, ты говоришь для >> Угу. А вот смотри, ты говоришь для >> Угу. А вот смотри, ты говоришь для клиентов, которые повторные, брали свои клиентов, которые повторные, брали свои клиентов, которые повторные, брали свои фичи, а для тех, которые первый раз, у фичи, а для тех, которые первый раз, у фичи, а для тех, которые первый раз, у вас были разные модели или это была одна вас были разные модели или это была одна вас были разные модели или это была одна модель? Вы как-то заполняли там?

20:16модель? Вы как-то заполняли там? модель? Вы как-то заполняли там? >> Это две разных модели >> Это две разных модели >> Это две разных модели >> две разных модели. >> две разных модели. >> две разных модели. >> Угу. >> Угу. >> Угу. >> Угу. >> Угу. >> Угу. >> Ну, а в чём заключалась в основном >> Ну, а в чём заключалась в основном >> Ну, а в чём заключалась в основном разница? Как было по качеству? разница? Как было по качеству? разница? Как было по качеству? >> Ну, повторных клиентов было лучше. Ну, >> Ну, повторных клиентов было лучше. Ну, >> Ну, повторных клиентов было лучше. Ну, просто у них и дефолтность меньше, и как просто у них и дефолтность меньше, и как

20:31просто у них и дефолтность меньше, и как бы и информация о них больше. После бы и информация о них больше. После бы и информация о них больше. После >> О'кей. А как мерили качество? >> О'кей. А как мерили качество? >> О'кей. А как мерили качество? >> У нас две основных метрики- это MPL и >> У нас две основных метрики- это MPL и >> У нас две основных метрики- это MPL и бизнес-метрика. Вот Recovery. Там бизнес-метрика. Вот Recovery. Там бизнес-метрика. Вот Recovery. Там Recovery, причём спустя там энное Recovery, причём спустя там энное Recovery, причём спустя там энное количество месяцев, то есть там даже количество месяцев, то есть там даже

20:44количество месяцев, то есть там даже через 5 месяцев она могла выйти в плюс. через 5 месяцев она могла выйти в плюс. через 5 месяцев она могла выйти в плюс. Вот. Но таргет у нас был NPL, это Вот. Но таргет у нас был NPL, это Вот. Но таргет у нас был NPL, это просрочка через 30 дней. просрочка через 30 дней. просрочка через 30 дней. >> У. Угу. А вы предсказывали вероятность >> У. Угу. А вы предсказывали вероятность >> У. Угу. А вы предсказывали вероятность дефолта или дефолта или дефолта или >> Да, до дефолта, да. >> Да, до дефолта, да. >> Да, до дефолта, да. >> А у вас дефолт считался 30 дней >> А у вас дефолт считался 30 дней >> А у вас дефолт считался 30 дней просорочки? просорочки?

21:02просорочки? >> Да. >> Да. >> Да. >> О'кей. А, ну это, наверное, связано с >> О'кей. А, ну это, наверное, связано с >> О'кей. А, ну это, наверное, связано с кэшю. Это это банк или это кэшю. Это это банк или это кэшю. Это это банк или это >> это микрофинансы? >> это микрофинансы? >> это микрофинансы? >> Микрофинансы. Угу, понял. Ну да, тогда >> Микрофинансы. Угу, понял. Ну да, тогда >> Микрофинансы. Угу, понял. Ну да, тогда 30 дней, в принципе, логично. О'кей. 30 дней, в принципе, логично. О'кей. 30 дней, в принципе, логично. О'кей. А-а, ну, были какие-то там модели для А-а, ну, были какие-то там модели для А-а, ну, были какие-то там модели для предсказания PD, например?

21:26предсказания PD, например? предсказания PD, например? >> Угу. А скор вы выдавали как? Как >> Угу. А скор вы выдавали как? Как >> Угу. А скор вы выдавали как? Как вероятность или это был просто скор? вероятность или это был просто скор? вероятность или это был просто скор? Как? Смотри, ну, ну они же как бы друг в Как? Смотри, ну, ну они же как бы друг в Как? Смотри, ну, ну они же как бы друг в друга переводятся друга переводятся друга переводятся как однозначно. Вот как однозначно. Вот как однозначно. Вот >> мы внедряли, когда это был просто скор, >> мы внедряли, когда это был просто скор, >> мы внедряли, когда это был просто скор, вот, потому что там ещё надо было это

21:46вот, потому что там ещё надо было это вот, потому что там ещё надо было это потом бинаризовать вот и разбить. Ну, потом бинаризовать вот и разбить. Ну, потом бинаризовать вот и разбить. Ну, короче, короче, короче, написать, при каком скоре мы выдаём там написать, при каком скоре мы выдаём там написать, при каком скоре мы выдаём там сумму 10.000, при каком 20, при каком сумму 10.000, при каком 20, при каком сумму 10.000, при каком 20, при каком 30. Вот. 30. Вот. 30. Вот. >> Угу. >> Угу. >> Угу. >> Ну, собственно, да, то есть ответ мы >> Ну, собственно, да, то есть ответ мы >> Ну, собственно, да, то есть ответ мы использовали просто скор. Вот. Но, ну, использовали просто скор. Вот. Но, ну,

22:03использовали просто скор. Вот. Но, ну, конечно, как мы когда-то сатисты там конечно, как мы когда-то сатисты там конечно, как мы когда-то сатисты там качество всё мерили на там вероятностях качество всё мерили на там вероятностях качество всё мерили на там вероятностях и прочее. и прочее. и прочее. >> Угу. Можешь рассказать подробнее, как >> Угу. Можешь рассказать подробнее, как >> Угу. Можешь рассказать подробнее, как смотри, у нас получается 20% смотри, у нас получается 20% смотри, у нас получается 20% заявок у нас одобряется. заявок у нас одобряется. заявок у нас одобряется. Ну, это вот так постоянно Ну, это вот так постоянно Ну, это вот так постоянно мы делаем. мы делаем.

22:23мы делаем. >> Соответственно, мы смотрели ранжирующую >> Соответственно, мы смотрели ранжирующую >> Соответственно, мы смотрели ранжирующую способность алгоритма на топ-20 способность алгоритма на топ-20 способность алгоритма на топ-20 предсказаниях. предсказаниях. предсказаниях. >> Вот. То есть, ну, рок он тоже как бы >> Вот. То есть, ну, рок он тоже как бы >> Вот. То есть, ну, рок он тоже как бы можно первично можно первично можно первично откинуть ненужную нам модель, но, вообще откинуть ненужную нам модель, но, вообще откинуть ненужную нам модель, но, вообще говоря, говоря, говоря, надо смотреть там просто там, ну, надо смотреть там просто там, ну,

22:42надо смотреть там просто там, ну, precision recall на топ двадцати. precision recall на топ двадцати. precision recall на топ двадцати. >> Угу. А почему не рокаук на топ-дцати? >> Угу. А почему не рокаук на топ-дцати? >> Угу. А почему не рокаук на топ-дцати? >> Ну, можно рокаук на топ 20ти. Ну, просто >> Ну, можно рокаук на топ 20ти. Ну, просто >> Ну, можно рокаук на топ 20ти. Ну, просто смысла, наверное, смысла, наверное, смысла, наверное, особо нет, потому что всем топ-дцати мы особо нет, потому что всем топ-дцати мы особо нет, потому что всем топ-дцати мы мы выдадим кредиты, то есть они уже мы выдадим кредиты, то есть они уже

23:01мы выдадим кредиты, то есть они уже будут проставляться как единички. То будут проставляться как единички. То будут проставляться как единички. То есть мы уже мы уже знаем, как бы, что мы есть мы уже мы уже знаем, как бы, что мы есть мы уже мы уже знаем, как бы, что мы им дадим класс вне зависимости от того, им дадим класс вне зависимости от того, им дадим класс вне зависимости от того, какая у них вероятность. Даже если какая у них вероятность. Даже если какая у них вероятность. Даже если топ-20 будет там 0,2, ну там 90% топ-20 будет там 0,2, ну там 90% топ-20 будет там 0,2, ну там 90% просрочки, даже если будет в это топ- просрочки, даже если будет в это топ-

23:14просрочки, даже если будет в это топ- двадцати, то мы всё равно ему выдадим. двадцати, то мы всё равно ему выдадим. двадцати, то мы всё равно ему выдадим. То есть нам ну короче вот так. То есть нам ну короче вот так. То есть нам ну короче вот так. >> А сейчас, секунду, я немного не понял. >> А сейчас, секунду, я немного не понял. >> А сейчас, секунду, я немного не понял. То есть, ээ, ну у вас условно KPI был То есть, ээ, ну у вас условно KPI был То есть, ээ, ну у вас условно KPI был завязан на то, чтобы выдавать 20%, а не завязан на то, чтобы выдавать 20%, а не завязан на то, чтобы выдавать 20%, а не на риск, который нужно поддерживать. на риск, который нужно поддерживать.

23:31на риск, который нужно поддерживать. >> Ну вот в той Да. да-да. Ну это какая-то >> Ну вот в той Да. да-да. Ну это какая-то >> Ну вот в той Да. да-да. Ну это какая-то там би бизнес у них задача была. Вот мы там би бизнес у них задача была. Вот мы там би бизнес у них задача была. Вот мы так сделали. А так, ну, конечно, мы и так сделали. А так, ну, конечно, мы и так сделали. А так, ну, конечно, мы и Джини там мерим. Вот, например, для Джини там мерим. Вот, например, для Джини там мерим. Вот, например, для модели там первичников мы модели там первичников мы модели там первичников мы там немного другая была постановка, мы там немного другая была постановка, мы

23:47там немного другая была постановка, мы немного по-другому оценивали. Ну вот тот немного по-другому оценивали. Ну вот тот немного по-другому оценивали. Ну вот тот же Джини, да, как ты говоришь, можно же Джини, да, как ты говоришь, можно же Джини, да, как ты говоришь, можно считать. считать. считать. >> Угу. >> Угу. >> Угу. >> Вот. >> Вот. >> Вот. >> О'кей. А вот внешние скоры откуда >> О'кей. А вот внешние скоры откуда >> О'кей. А вот внешние скоры откуда заказывали? заказывали? заказывали? А, А, А, >> и как налаживали контакты с >> и как налаживали контакты с >> и как налаживали контакты с поставщиками? поставщиками? поставщиками? >> Два основных источника - это эквифакции,

24:05>> Два основных источника - это эквифакции, >> Два основных источника - это эквифакции, бюро кредитных историй. Вот, в основном, бюро кредитных историй. Вот, в основном, бюро кредитных историй. Вот, в основном, в основном это Eквифакс, бюро кредитных в основном это Eквифакс, бюро кредитных в основном это Eквифакс, бюро кредитных историй, мы обращались только, когда там историй, мы обращались только, когда там историй, мы обращались только, когда там не в Эквифаксе ничего не находится. не в Эквифаксе ничего не находится. не в Эквифаксе ничего не находится. Собственно, взаимодействовали, ну, Собственно, взаимодействовали, ну,

24:16Собственно, взаимодействовали, ну, просто там, когда я уже пришёл, они уже просто там, когда я уже пришёл, они уже просто там, когда я уже пришёл, они уже с ними работали, они до сих пор с ними с ними работали, они до сих пор с ними с ними работали, они до сих пор с ними работают. Вот пытались найти новых ээ работают. Вот пытались найти новых ээ работают. Вот пытались найти новых ээ поставщиков, то есть я там созванивался поставщиков, то есть я там созванивался поставщиков, то есть я там созванивался с разными там с СМТ, с Белайном и так с разными там с СМТ, с Белайном и так с разными там с СМТ, с Белайном и так далее. Вот проводили ретротесты. далее. Вот проводили ретротесты.

24:32далее. Вот проводили ретротесты. >> Вот они даже, ну, как бы очень хорошие >> Вот они даже, ну, как бы очень хорошие >> Вот они даже, ну, как бы очень хорошие были. А просто сказали, что мы типа не были. А просто сказали, что мы типа не были. А просто сказали, что мы типа не будем их внедрять. Ну ладно. будем их внедрять. Ну ладно. будем их внедрять. Ну ладно. >> Угу. Ну у них ретротесты всегда на самом >> Угу. Ну у них ретротесты всегда на самом >> Угу. Ну у них ретротесты всегда на самом деле хорошие. По факту потом качество деле хорошие. По факту потом качество деле хорошие. По факту потом качество падает сильно, падает сильно, падает сильно, >> да, потому что они многие обучаются на

24:50>> да, потому что они многие обучаются на >> да, потому что они многие обучаются на выборке, которые ты им даёшь, выборке, которые ты им даёшь, выборке, которые ты им даёшь, >> как бы, а по-хорошему у них у них должны >> как бы, а по-хорошему у них у них должны >> как бы, а по-хорошему у них у них должны быть свои фичи, ну, точнее свой таргет, быть свои фичи, ну, точнее свой таргет, быть свои фичи, ну, точнее свой таргет, типа, на котором они модель обучат и типа, на котором они модель обучат и типа, на котором они модель обучат и потом мы применим нас, типа нас на потом мы применим нас, типа нас на потом мы применим нас, типа нас на своих, и у нас не будет как бы повторное

25:05своих, и у нас не будет как бы повторное своих, и у нас не будет как бы повторное обучение на выборке на нашей. обучение на выборке на нашей. обучение на выборке на нашей. Тем тем более мы их скоро используем как Тем тем более мы их скоро используем как Тем тем более мы их скоро используем как как свои фичи, поэтому в этом вообще как свои фичи, поэтому в этом вообще как свои фичи, поэтому в этом вообще типа нет смысла в том, что они обучают типа нет смысла в том, что они обучают типа нет смысла в том, что они обучают что-то там. что-то там. что-то там. >> Так, >> Так, >> Так, >> о'кей. Так, а вот можешь рассказать >> о'кей. Так, а вот можешь рассказать

25:18>> о'кей. Так, а вот можешь рассказать подробнее про автоматическую систему подробнее про автоматическую систему подробнее про автоматическую систему кредитного скоринга? Это что ты кредитного скоринга? Это что ты кредитного скоринга? Это что ты подразумеваешь? подразумеваешь? подразумеваешь? Был был момент, когда надо было Был был момент, когда надо было Был был момент, когда надо было написать на Питоне как бы, ну, написать на Питоне как бы, ну, написать на Питоне как бы, ну, архитектуру небольшую по, ну, вот именно архитектуру небольшую по, ну, вот именно архитектуру небольшую по, ну, вот именно по по выкатке моделей в прот, потому что по по выкатке моделей в прот, потому что

25:35по по выкатке моделей в прот, потому что у нас изначально серэмка была внешняя у нас изначально серэмка была внешняя у нас изначально серэмка была внешняя там от внешних подрядчиков, мы модели там от внешних подрядчиков, мы модели там от внешних подрядчиков, мы модели там внедряли через неё. То есть там внедряли через неё. То есть там внедряли через неё. То есть >> процесс заключался в том, что ты >> процесс заключался в том, что ты >> процесс заключался в том, что ты передаёшь какому-то человеку передаёшь какому-то человеку передаёшь какому-то человеку веса и там значения, он там что-то веса и там значения, он там что-то

25:49веса и там значения, он там что-то вносит. Вот, короче, это очень долго и вносит. Вот, короче, это очень долго и вносит. Вот, короче, это очень долго и муторно было. мы решили переехать. Вот. муторно было. мы решили переехать. Вот. муторно было. мы решили переехать. Вот. И как бы, ну, я просто по сути копировал И как бы, ну, я просто по сути копировал И как бы, ну, я просто по сути копировал эту систему, сидел, эту систему, сидел, эту систему, сидел, э, вот э, вот э, вот >> ну там ещё была как бы модуль >> ну там ещё была как бы модуль >> ну там ещё была как бы модуль а-тестирования. а-тестирования. а-тестирования. Собственно, можно было руками какой-то Собственно, можно было руками какой-то

26:09Собственно, можно было руками какой-то поток данных направить на, ну, на поток данных направить на, ну, на поток данных направить на, ну, на какую-то ветку. какую-то ветку. какую-то ветку. >> То есть условно у вас есть одна модель в >> То есть условно у вас есть одна модель в >> То есть условно у вас есть одна модель в проде, но вы, а, ну, выкатываете новую и проде, но вы, а, ну, выкатываете новую и проде, но вы, а, ну, выкатываете новую и направляете часть заявок туда, да? направляете часть заявок туда, да? направляете часть заявок туда, да? >> Ну да, да. У нас так бытесты проходят. >> Ну да, да. У нас так бытесты проходят.

26:23>> Ну да, да. У нас так бытесты проходят. >> Угу. А как вы отбирали заявки, >> Угу. А как вы отбирали заявки, >> Угу. А как вы отбирали заявки, >> которые направить? >> которые направить? >> которые направить? >> Случайно. >> Случайно. >> Случайно. >> Угу. По по всему ходному потоку, >> Угу. По по всему ходному потоку, >> Угу. По по всему ходному потоку, >> да? >> да? >> да? >> Так. А >> Так. А >> Так. А вот эта система, она была на Питоне вот эта система, она была на Питоне вот эта система, она была на Питоне полностью, да? полностью, да? полностью, да? >> Угу. >> Угу. >> Угу. >> А что в качестве сервера использовал? >> А что в качестве сервера использовал?

26:45>> А что в качестве сервера использовал? >> Я тестировал у себя на компе. Вот. Но >> Я тестировал у себя на компе. Вот. Но >> Я тестировал у себя на компе. Вот. Но вообще там как бы раскатываются вообще там как бы раскатываются вообще там как бы раскатываются догерконтейнеры. догерконтейнеры. догерконтейнеры. Там Docker Compos. Вот ты новая модель Там Docker Compos. Вот ты новая модель Там Docker Compos. Вот ты новая модель внедряется как новый контейнер. внедряется как новый контейнер. внедряется как новый контейнер. Там ID контейнера - это по сути как бы Там ID контейнера - это по сути как бы Там ID контейнера - это по сути как бы ID модели. Ну вот так было. ID модели. Ну вот так было.

27:02ID модели. Ну вот так было. >> О'кей. А какой примерно поток заявок >> О'кей. А какой примерно поток заявок >> О'кей. А какой примерно поток заявок был? был? был? >> Ну около, я уже не помню, на самом деле. >> Ну около, я уже не помню, на самом деле. >> Ну около, я уже не помню, на самом деле. Ну там несколько десятков тысяч заявок в Ну там несколько десятков тысяч заявок в Ну там несколько десятков тысяч заявок в день. Именно заявок. день. Именно заявок. день. Именно заявок. >> Угу. >> Угу. >> Угу. >> А одобрений? Ну считай, 20% от них. >> А одобрений? Ну считай, 20% от них. >> А одобрений? Ну считай, 20% от них. Ну, одобрение. Ладно, я имел в виду, Ну, одобрение. Ладно, я имел в виду,

27:20Ну, одобрение. Ладно, я имел в виду, что, ну, условно какие там нагрузки были что, ну, условно какие там нагрузки были что, ну, условно какие там нагрузки были на сервер. И, ну, в принципе, твои, на сервер. И, ну, в принципе, твои, на сервер. И, ну, в принципе, твои, а, ну, твой код, он справлялся. Ну, хотя а, ну, твой код, он справлялся. Ну, хотя а, ну, твой код, он справлялся. Ну, хотя 10.000 - это немного, да? 10.000 - это немного, да? 10.000 - это немного, да? >> Ну, конечно, он справлялся даже, причём >> Ну, конечно, он справлялся даже, причём >> Ну, конечно, он справлялся даже, причём в один поток. Вот. в один поток. Вот. в один поток. Вот. >> Угу. >> Угу. >> Угу. >> Там в целом,

27:37>> Там в целом, >> Там в целом, >> да. О'кей. И то есть ты полностью >> да. О'кей. И то есть ты полностью >> да. О'кей. И то есть ты полностью написал архитектуру, где там можно было написал архитектуру, где там можно было написал архитектуру, где там можно было по IP ходить по IP ходить по IP ходить в внешниескоринговые сервисы? в внешниескоринговые сервисы? в внешниескоринговые сервисы? Ну это за это модуль как бы Ну это за это модуль как бы Ну это за это модуль как бы предобработке отвечал там отдельный предобработке отвечал там отдельный предобработке отвечал там отдельный докер, который парсил вот этот вот докер, который парсил вот этот вот

27:54докер, который парсил вот этот вот формат данных, которые ему посылались. формат данных, которые ему посылались. формат данных, которые ему посылались. Вот там ещё логировал в базу данных. Вот Вот там ещё логировал в базу данных. Вот Вот там ещё логировал в базу данных. Вот я, честно скажу, не уверен, если они я, честно скажу, не уверен, если они я, честно скажу, не уверен, если они используют вообще то, что я написал. используют вообще то, что я написал. используют вообще то, что я написал. Вот. Но как бы я это писал, она Вот. Но как бы я это писал, она Вот. Но как бы я это писал, она работала. Вот я сдал эту задачу. Они работала. Вот я сдал эту задачу. Они

28:10работала. Вот я сдал эту задачу. Они вроде всё равно потом отказались, типа вроде всё равно потом отказались, типа вроде всё равно потом отказались, типа то, что переезжать, потому что у них там то, что переезжать, потому что у них там то, что переезжать, потому что у них там какие-то другие проблемы возникли. какие-то другие проблемы возникли. какие-то другие проблемы возникли. Вот и они решили остаться на этой Вот и они решили остаться на этой Вот и они решили остаться на этой системе. Но вот сейчас вот я, когда системе. Но вот сейчас вот я, когда системе. Но вот сейчас вот я, когда ушёл, они переехали. Я думаю, они ушёл, они переехали. Я думаю, они

28:25ушёл, они переехали. Я думаю, они всё-таки использовали всё-таки использовали всё-таки использовали то, что я писал. то, что я писал. то, что я писал. >> Угу. О'кей. >> Угу. О'кей. >> Угу. О'кей. А так, ну, хорошо. Я думаю, тогда можно А так, ну, хорошо. Я думаю, тогда можно А так, ну, хорошо. Я думаю, тогда можно закончить. закончить. закончить. >> Угу. >> Угу. >> Угу. >> Спасибо тебе за интервью. А у тебя есть >> Спасибо тебе за интервью. А у тебя есть >> Спасибо тебе за интервью. А у тебя есть какие-нибудь вопросы? Ну, вообще я их какие-нибудь вопросы? Ну, вообще я их какие-нибудь вопросы? Ну, вообще я их задал ещё на предыдущем собеседовании, задал ещё на предыдущем собеседовании,

28:42задал ещё на предыдущем собеседовании, так что я думаю к себе вообще нет. так что я думаю к себе вообще нет. так что я думаю к себе вообще нет. >> Окей, хорошо. Ну тогда всё, хорошего >> Окей, хорошо. Ну тогда всё, хорошего >> Окей, хорошо. Ну тогда всё, хорошего дня.