TRPO и PPO: как ограничение доверительной области улучшает policy gradient методы

00:08Всем привет. Так, ну давайте по традиции Всем привет. Так, ну давайте по традиции подождём ещё 3 минуты, вдруг кто-нибудь подождём ещё 3 минуты, вдруг кто-нибудь подождём ещё 3 минуты, вдруг кто-нибудь дойдёт, кто задерживается. Вот. И будем дойдёт, кто задерживается. Вот. И будем дойдёт, кто задерживается. Вот. И будем потихоньку начинать сегодняшние наше потихоньку начинать сегодняшние наше потихоньку начинать сегодняшние наше занятие. Пока подскажите, пожалуйста, занятие. Пока подскажите, пожалуйста, занятие. Пока подскажите, пожалуйста, меня видно, слышно хорошо? Не меня видно, слышно хорошо? Не меня видно, слышно хорошо? Не прерываюсь, всё нормально.

03:01Так, ну что, давайте начинать. Я Так, ну что, давайте начинать. Я предлагаю всем ещё раз добрый день, кто предлагаю всем ещё раз добрый день, кто предлагаю всем ещё раз добрый день, кто попозже подключился. Соответственно, попозже подключился. Соответственно, попозже подключился. Соответственно, давайте начинать. давайте начинать. давайте начинать. Если будут какие-то вдруг технические Если будут какие-то вдруг технические Если будут какие-то вдруг технические проблемы, пишите в чате, пожалуйста, проблемы, пишите в чате, пожалуйста, проблемы, пишите в чате, пожалуйста, если там буду зависать или что-то если там буду зависать или что-то

03:12если там буду зависать или что-то подобное. Да, спасибо большое всем, кто подобное. Да, спасибо большое всем, кто подобное. Да, спасибо большое всем, кто сегодня подключился. Давайте начинать сегодня подключился. Давайте начинать сегодня подключился. Давайте начинать наше, соответственно, сегодняшнее наше, соответственно, сегодняшнее наше, соответственно, сегодняшнее занятие. Сегодня мы с вами поговорим, э, занятие. Сегодня мы с вами поговорим, э, занятие. Сегодня мы с вами поговорим, э, примерно про то же самое, что мы примерно про то же самое, что мы примерно про то же самое, что мы говорили, вернее, вы с Сергеем говорили говорили, вернее, вы с Сергеем говорили

03:24говорили, вернее, вы с Сергеем говорили неделю назад. только попробуем эти неделю назад. только попробуем эти неделю назад. только попробуем эти методы ещё улучшить, да? Соответственно, методы ещё улучшить, да? Соответственно, методы ещё улучшить, да? Соответственно, сегодня мы к концу лекции, на самом сегодня мы к концу лекции, на самом сегодня мы к концу лекции, на самом деле, увидим один ээ алгоритм, который деле, увидим один ээ алгоритм, который деле, увидим один ээ алгоритм, который до сих пор является сотой. Он вышел в до сих пор является сотой. Он вышел в до сих пор является сотой. Он вышел в семнадцатом году и, ну, как минимум семнадцатом году и, ну, как минимум

03:39семнадцатом году и, ну, как минимум очень-очень серьёзный и крутой бейзлайн очень-очень серьёзный и крутой бейзлайн очень-очень серьёзный и крутой бейзлайн для большинства задач он из себя для большинства задач он из себя для большинства задач он из себя представляет. Ну, то есть как бы сегодня представляет. Ну, то есть как бы сегодня представляет. Ну, то есть как бы сегодня мы наконец-таки добрались до алгоритмов, мы наконец-таки добрались до алгоритмов, мы наконец-таки добрались до алгоритмов, которые как бы вот реально используются которые как бы вот реально используются которые как бы вот реально используются и для LLM. Понятно, что сейчас и для LLM. Понятно, что сейчас

03:51и для LLM. Понятно, что сейчас используются более продвинутые методы, используются более продвинутые методы, используются более продвинутые методы, которые мы тоже обсудим в рамках курса, которые мы тоже обсудим в рамках курса, которые мы тоже обсудим в рамках курса, но сегодня будет достаточно достаточно но сегодня будет достаточно достаточно но сегодня будет достаточно достаточно алгоритм, который уже на многих задачах алгоритм, который уже на многих задачах алгоритм, который уже на многих задачах реально навёл очень много шороха, потому реально навёл очень много шороха, потому реально навёл очень много шороха, потому что ээ побил очень многие бейзлайны. Мы

04:05что ээ побил очень многие бейзлайны. Мы что ээ побил очень многие бейзлайны. Мы с вами попробуем разобраться, за счёт с вами попробуем разобраться, за счёт с вами попробуем разобраться, за счёт чего это произошло. Вот. и поговорим чего это произошло. Вот. и поговорим чего это произошло. Вот. и поговорим про, соответственно, про, соответственно, про, соответственно, такой не немного теоретические такой не немного теоретические такой не немного теоретические вещи в начале лекции, но потом поймём, вещи в начале лекции, но потом поймём, вещи в начале лекции, но потом поймём, что тот алгоритм, на который мы будем что тот алгоритм, на который мы будем

04:19что тот алгоритм, на который мы будем смотреть, он во многом состоит из разных смотреть, он во многом состоит из разных смотреть, он во многом состоит из разных инженерных хаков. И ээ многие инженерных хаков. И ээ многие инженерных хаков. И ээ многие теоретические гарантии мы уже теоретические гарантии мы уже теоретические гарантии мы уже окончательно потеряем. Вот давайте окончательно потеряем. Вот давайте окончательно потеряем. Вот давайте потихоньку начинать. Давайте начнём с потихоньку начинать. Давайте начнём с потихоньку начинать. Давайте начнём с того, что немножко вспомним, что мы того, что немножко вспомним, что мы

04:32того, что немножко вспомним, что мы делали в прошлый раз, чтобы можно было делали в прошлый раз, чтобы можно было делали в прошлый раз, чтобы можно было более хорошо проследить, соответственно, более хорошо проследить, соответственно, более хорошо проследить, соответственно, разницу алгоритмов сегодняшних двух. разницу алгоритмов сегодняшних двух. разницу алгоритмов сегодняшних двух. который мы будем разбирать. Значит, мы в который мы будем разбирать. Значит, мы в который мы будем разбирать. Значит, мы в прошлый раз поняли такую классную штуку, прошлый раз поняли такую классную штуку, прошлый раз поняли такую классную штуку, что вместо того, чтобы придумывать

04:45что вместо того, чтобы придумывать что вместо того, чтобы придумывать что-то супер сложное, мы можем взять и что-то супер сложное, мы можем взять и что-то супер сложное, мы можем взять и понять, что наша таргетная функция, понять, что наша таргетная функция, понять, что наша таргетная функция, которую мы пытаемся врели которую мы пытаемся врели которую мы пытаемся врели оптимизировать, да, соответственно, оптимизировать, да, соответственно, оптимизировать, да, соответственно, максимизировать по нашей политике, мы максимизировать по нашей политике, мы максимизировать по нашей политике, мы пытаемся сумму наград, которую мы пытаемся сумму наград, которую мы

04:59пытаемся сумму наград, которую мы получим, ну, с учётом дисконтирования. И получим, ну, с учётом дисконтирования. И получим, ну, с учётом дисконтирования. И мы поняли за счёт log derivative trick, мы поняли за счёт log derivative trick, мы поняли за счёт log derivative trick, что мы можем её взять и перезаписать что мы можем её взять и перезаписать что мы можем её взять и перезаписать таким образом, что можем взять градиент таким образом, что можем взять градиент таким образом, что можем взять градиент и обучать это, ну, и обучать это, ну, и обучать это, ну, немножко более похожим способом на то, немножко более похожим способом на то,

05:14немножко более похожим способом на то, что мы, соответственно, делали делали в что мы, соответственно, делали делали в что мы, соответственно, делали делали в супервай лернинге, да, соответственно, супервай лернинге, да, соответственно, супервай лернинге, да, соответственно, получили тот факт, то, что у нас ээ по получили тот факт, то, что у нас ээ по получили тот факт, то, что у нас ээ по по сути, что у нас делает градиент, да, по сути, что у нас делает градиент, да, по сути, что у нас делает градиент, да, как бы логика за за policy gradient как бы логика за за policy gradient как бы логика за за policy gradient методом, то, что мы берём и методом, то, что мы берём и

05:28методом, то, что мы берём и максимизируем вероятность действий максимизируем вероятность действий максимизируем вероятность действий которых, которые считаем хорошими. А которых, которые считаем хорошими. А которых, которые считаем хорошими. А хорошими мы считаем исходя из какого-то хорошими мы считаем исходя из какого-то хорошими мы считаем исходя из какого-то таргета. Вот здесь на этом слайде таргет таргета. Вот здесь на этом слайде таргет таргета. Вот здесь на этом слайде таргет обозначен как псай. Соответственно, псай обозначен как псай. Соответственно, псай обозначен как псай. Соответственно, псай - это, как вы помните, сначала мы - это, как вы помните, сначала мы

05:40- это, как вы помните, сначала мы начали, что это вообще вся как бы начали, что это вообще вся как бы начали, что это вообще вся как бы награда за всю траекторию, да, это было награда за всю траекторию, да, это было награда за всю траекторию, да, это было наше наше самое простое предположение. наше наше самое простое предположение. наше наше самое простое предположение. Дальше мы спустились, соответственно, Дальше мы спустились, соответственно, Дальше мы спустились, соответственно, вот сюда и поняли, что если мы сейчас вот сюда и поняли, что если мы сейчас вот сюда и поняли, что если мы сейчас выбираем экшн в момент времени Т, да, и выбираем экшн в момент времени Т, да, и

05:57выбираем экшн в момент времени Т, да, и оптимизацию дела момент времени Т, то оптимизацию дела момент времени Т, то оптимизацию дела момент времени Т, то всё, что было дот не зависит от этого, всё, что было дот не зависит от этого, всё, что было дот не зависит от этого, да? То есть причинная ээ принцип да? То есть причинная ээ принцип да? То есть причинная ээ принцип причинности причинности причинности из-за вот такой оптимизации, если мы из-за вот такой оптимизации, если мы из-за вот такой оптимизации, если мы будем брать всё от момента времени ноль, будем брать всё от момента времени ноль, будем брать всё от момента времени ноль, принцип причинности нарушается, потому

06:11принцип причинности нарушается, потому принцип причинности нарушается, потому что мы не можем уже повлиять на прошлые что мы не можем уже повлиять на прошлые что мы не можем уже повлиять на прошлые действия нашей текущей политикой. действия нашей текущей политикой. действия нашей текущей политикой. Соответственно, мы перешли к вот такой Соответственно, мы перешли к вот такой Соответственно, мы перешли к вот такой вот истории. Дальше мы поняли, что вот истории. Дальше мы поняли, что вот истории. Дальше мы поняли, что вообще можно ээ взять и использовать вообще можно ээ взять и использовать вообще можно ээ взять и использовать нашу оценку Qфункции. Из оценки Qфункции

06:25нашу оценку Qфункции. Из оценки Qфункции нашу оценку Qфункции. Из оценки Qфункции мы пришли к логике того, что если мы мы пришли к логике того, что если мы мы пришли к логике того, что если мы вычитатим бейeline, то у нас, вычитатим бейeline, то у нас, вычитатим бейeline, то у нас, соответственно, по такой оптимизации соответственно, по такой оптимизации соответственно, по такой оптимизации varнce varнce varнce будет ниже, да, потому что мы вышли будет ниже, да, потому что мы вышли будет ниже, да, потому что мы вышли что-то, что не зависит от экшена, но при что-то, что не зависит от экшена, но при что-то, что не зависит от экшена, но при этом зависит от стейта. Если у нас есть

06:38этом зависит от стейта. Если у нас есть этом зависит от стейта. Если у нас есть какой-то такой хороший бейлайн, который какой-то такой хороший бейлайн, который какой-то такой хороший бейлайн, который зависит только от стейта и не зависит от зависит только от стейта и не зависит от зависит только от стейта и не зависит от экшена, то мы можем снизить верианс экшена, то мы можем снизить верианс экшена, то мы можем снизить верианс наших градиентов, соответственно, наших градиентов, соответственно, наших градиентов, соответственно, сходиться более более хорошо. Вот. Ну и сходиться более более хорошо. Вот. Ну и сходиться более более хорошо. Вот. Ну и дальше, как бы, мы поняли, что можно

06:48дальше, как бы, мы поняли, что можно дальше, как бы, мы поняли, что можно взять и использовать, соответственно, взять и использовать, соответственно, взять и использовать, соответственно, Advantage Advantage Advantage как историю, которая как раз-таки как историю, которая как раз-таки как историю, которая как раз-таки совмещает в себе вот эту идею бейзлайна, совмещает в себе вот эту идею бейзлайна, совмещает в себе вот эту идею бейзлайна, да, соответственно, это, э, штука, да, соответственно, это, э, штука, да, соответственно, это, э, штука, которая мы используем в качестве которая мы используем в качестве которая мы используем в качестве бейзлайна нашу value функцию. Вот.

07:03бейзлайна нашу value функцию. Вот. бейзлайна нашу value функцию. Вот. Соответственно, за счёт Соответственно, за счёт Соответственно, за счёт такой вот логики мы получили то, что такой вот логики мы получили то, что такой вот логики мы получили то, что если мы будем использовать в качестве если мы будем использовать в качестве если мы будем использовать в качестве таргета нашу advantage функцию, то мы таргета нашу advantage функцию, то мы таргета нашу advantage функцию, то мы получим довольно хорошие алгоритмы, да, получим довольно хорошие алгоритмы, да, получим довольно хорошие алгоритмы, да, и получим довольно мощную мощные штуки, и получим довольно мощную мощные штуки,

07:16и получим довольно мощную мощные штуки, которые с очень многими задачами может которые с очень многими задачами может которые с очень многими задачами может хорошо хорошо справляться. Вот. И, хорошо хорошо справляться. Вот. И, хорошо хорошо справляться. Вот. И, соответственно, мы это закончили с тем, соответственно, мы это закончили с тем, соответственно, мы это закончили с тем, что когда мы обычно идём и считаем что когда мы обычно идём и считаем что когда мы обычно идём и считаем advantage, просто так посчитать advantage, просто так посчитать advantage, просто так посчитать advantage - это штука не супер простая, advantage - это штука не супер простая,

07:31advantage - это штука не супер простая, но что мы можем сделать, если у нас есть но что мы можем сделать, если у нас есть но что мы можем сделать, если у нас есть какое-то приближение, приближение value какое-то приближение, приближение value какое-то приближение, приближение value функции, то мы можем сказать, что функции, то мы можем сказать, что функции, то мы можем сказать, что давайте вот тут напишу advantage, да, давайте вот тут напишу advantage, да, давайте вот тут напишу advantage, да, который, соответственно, равен Так, который, соответственно, равен Так, который, соответственно, равен Так, смотрю, видно, да, что я пишу видно а смотрю, видно, да, что я пишу видно а

07:45смотрю, видно, да, что я пишу видно а advantage, который у нас равен, advantage, который у нас равен, advantage, который у нас равен, соответственно, Q функции соответственно, Q функции соответственно, Q функции минус V функции минус V функции минус V функции Мы можем его приблизить Мы можем его приблизить Мы можем его приблизить как revord плюс гамма от нашей оценки как revord плюс гамма от нашей оценки как revord плюс гамма от нашей оценки Vнкции, соответственно, в момент времени Vнкции, соответственно, в момент времени Vнкции, соответственно, в момент времени Sш в каком-то следующем стейте минус Sш в каком-то следующем стейте минус

08:02Sш в каком-то следующем стейте минус наша оценка V-функции в данный момент наша оценка V-функции в данный момент наша оценка V-функции в данный момент времени. Ну и потом мы поняли, что времени. Ну и потом мы поняли, что времени. Ну и потом мы поняли, что вместо этого можно ээ сделать по сути то вместо этого можно ээ сделать по сути то вместо этого можно ээ сделать по сути то же самое, только развернуть вместо же самое, только развернуть вместо же самое, только развернуть вместо одного шага вперёд наше приближение на одного шага вперёд наше приближение на одного шага вперёд наше приближение на несколько каких-то шагов вперёд. Потому несколько каких-то шагов вперёд. Потому

08:14несколько каких-то шагов вперёд. Потому что чем дальше мы идём ээ в будущее, тем что чем дальше мы идём ээ в будущее, тем что чем дальше мы идём ээ в будущее, тем больше мы больше мы больше мы в разворачивании такой траектории, тем в разворачивании такой траектории, тем в разворачивании такой траектории, тем больше мы учитываем реальных наград, больше мы учитываем реальных наград, больше мы учитываем реальных наград, которые мы получили вместо нашего которые мы получили вместо нашего которые мы получили вместо нашего приближения. Ну, соответственно, приближения. Ну, соответственно, приближения. Ну, соответственно, естественно, если мы идём сильно-сильно

08:26естественно, если мы идём сильно-сильно естественно, если мы идём сильно-сильно далеко в будущее, то у нас растёт далеко в будущее, то у нас растёт далеко в будущее, то у нас растёт варианс, да, потому что как бы мы хоть и варианс, да, потому что как бы мы хоть и варианс, да, потому что как бы мы хоть и учитываем реальные награды, но мы пошли учитываем реальные награды, но мы пошли учитываем реальные награды, но мы пошли по какой-то конкретной траектории, а в по какой-то конкретной траектории, а в по какой-то конкретной траектории, а в будущем траектория может быть другой. будущем траектория может быть другой. будущем траектория может быть другой. Вот это как как бы, чтобы мы вспомнили,

08:38Вот это как как бы, чтобы мы вспомнили, Вот это как как бы, чтобы мы вспомнили, что мы делали в прошлый раз, просто что мы делали в прошлый раз, просто что мы делали в прошлый раз, просто потому что нам это очень сильно потому что нам это очень сильно потому что нам это очень сильно пригодится сегодня, и мы эти все идеи пригодится сегодня, и мы эти все идеи пригодится сегодня, и мы эти все идеи будем немножко сегодня челленджить. будем немножко сегодня челленджить. будем немножко сегодня челленджить. Соответственно, давайте пойдём дальше. Соответственно, давайте пойдём дальше. Соответственно, давайте пойдём дальше. Дальше мы, соответственно, сможем с вами

08:50Дальше мы, соответственно, сможем с вами Дальше мы, соответственно, сможем с вами посмотреть на историю с посмотреть на историю с посмотреть на историю с нашим ACC алгоритмом. А что мы там нашим ACC алгоритмом. А что мы там нашим ACC алгоритмом. А что мы там делали? Соответственно, тут важный делали? Соответственно, тут важный делали? Соответственно, тут важный момент, что мы использовали нашу текущую момент, что мы использовали нашу текущую момент, что мы использовали нашу текущую политику и просто запускали несколько политику и просто запускали несколько политику и просто запускали несколько параллельных агентов для того, чтобы параллельных агентов для того, чтобы

09:06параллельных агентов для того, чтобы собрать траектории и потом сделать собрать траектории и потом сделать собрать траектории и потом сделать апдейт с помощью вот, соответственно, апдейт с помощью вот, соответственно, апдейт с помощью вот, соответственно, нашей advantage функции. И я не просто нашей advantage функции. И я не просто нашей advantage функции. И я не просто так выделил про текущую политику, потому так выделил про текущую политику, потому так выделил про текущую политику, потому что, как вы помните, это были что, как вы помните, это были что, как вы помните, это были онлайнгоритмы, полностью он полисе онлайнгоритмы, полностью он полисе

09:19онлайнгоритмы, полностью он полисе алгоритмы. То есть мы постоянно алгоритмы. То есть мы постоянно алгоритмы. То есть мы постоянно использовали текущую политику, ей использовали текущую политику, ей использовали текущую политику, ей собирали траекторию, обновляли и собирали траекторию, обновляли и собирали траекторию, обновляли и использовали снова её. То есть мы как бы использовали снова её. То есть мы как бы использовали снова её. То есть мы как бы каждый раз все наши всё, что мы собрали каждый раз все наши всё, что мы собрали каждый раз все наши всё, что мы собрали до этого, выкидывали и забывали, никак до этого, выкидывали и забывали, никак

09:32до этого, выкидывали и забывали, никак это не переиспользовали. Вот. И как вы это не переиспользовали. Вот. И как вы это не переиспользовали. Вот. И как вы помните, до этого мы обсуждали о Oпоy. помните, до этого мы обсуждали о Oпоy. помните, до этого мы обсуждали о Oпоy. Officy - это достаточно крутая штука, Officy - это достаточно крутая штука, Officy - это достаточно крутая штука, да, идейная. Как вы помните, алгоритмы да, идейная. Как вы помните, алгоритмы да, идейная. Как вы помните, алгоритмы опоси, которые мы обсуждали на второй опоси, которые мы обсуждали на второй опоси, которые мы обсуждали на второй лекции, то, что мы можем просто взять и лекции, то, что мы можем просто взять и

09:45лекции, то, что мы можем просто взять и использовать какое-то прошлое, да, на использовать какое-то прошлое, да, на использовать какое-то прошлое, да, на третьей лекции тоже этого касались. третьей лекции тоже этого касались. третьей лекции тоже этого касались. Использовать прошлое, собранное даже не Использовать прошлое, собранное даже не Использовать прошлое, собранное даже не факт, что текущей политикой, даже не факт, что текущей политикой, даже не факт, что текущей политикой, даже не факт, что нами, а каким-то другим факт, что нами, а каким-то другим факт, что нами, а каким-то другим агентам использовать для наших апдейтов. агентам использовать для наших апдейтов.

09:56агентам использовать для наших апдейтов. И вот немножко сегодня хочется И вот немножко сегодня хочется И вот немножко сегодня хочется приблизиться в эту сторону. приблизиться в эту сторону. приблизиться в эту сторону. Соответственно, давайте начнём это Соответственно, давайте начнём это Соответственно, давайте начнём это делать. делать. делать. Первое, что хочется обсудить - это Первое, что хочется обсудить - это Первое, что хочется обсудить - это давайте вспомним, почему мы использовали давайте вспомним, почему мы использовали давайте вспомним, почему мы использовали advantage функцию. На самом деле идея, advantage функцию. На самом деле идея,

10:12advantage функцию. На самом деле идея, то, что мы используем advantage функцию, то, что мы используем advantage функцию, то, что мы используем advantage функцию, есть теоретический вывод, который вы есть теоретический вывод, который вы есть теоретический вывод, который вы можете посмотреть в, насколько я помню, можете посмотреть в, насколько я помню, можете посмотреть в, насколько я помню, он есть в учебнике L на русском, но если он есть в учебнике L на русском, но если он есть в учебнике L на русском, но если его не будет, пожалуйста, напишите в его не будет, пожалуйста, напишите в его не будет, пожалуйста, напишите в чат, ээ, я вам скину референс на этот

10:28чат, ээ, я вам скину референс на этот чат, ээ, я вам скину референс на этот пруф. Вот. Идея там такая, что если мы пруф. Вот. Идея там такая, что если мы пруф. Вот. Идея там такая, что если мы будем использовать в качестве бейзлайна будем использовать в качестве бейзлайна будем использовать в качестве бейзлайна BS BS BS использовать какую-то функцию линейную использовать какую-то функцию линейную использовать какую-то функцию линейную от value функции, то у нас будет от value функции, то у нас будет от value функции, то у нас будет минимальный абсолютный варианс. Но если минимальный абсолютный варианс. Но если минимальный абсолютный варианс. Но если мы будем считать эту константу, сейчас

10:46мы будем считать эту константу, сейчас мы будем считать эту константу, сейчас неважно, что это такое, она как-то неважно, что это такое, она как-то неважно, что это такое, она как-то зависит и от траектории, э от того, в зависит и от траектории, э от того, в зависит и от траектории, э от того, в чём мы находимся, констанцию посчитать чём мы находимся, констанцию посчитать чём мы находимся, констанцию посчитать сложно. Поэтому мы решили, а давайте сложно. Поэтому мы решили, а давайте сложно. Поэтому мы решили, а давайте использовать просто value функцию в использовать просто value функцию в использовать просто value функцию в бейзлайне, да? не константу на бейзлайне, да? не константу на

10:57бейзлайне, да? не константу на валюфункцию, а просто валюфункцию. И валюфункцию, а просто валюфункцию. И валюфункцию, а просто валюфункцию. И тогда мы будем уже в этом случае почти тогда мы будем уже в этом случае почти тогда мы будем уже в этом случае почти минимальный варианс, который который минимальный варианс, который который минимальный варианс, который который может быть. Вот. Ну и, соответственно, у может быть. Вот. Ну и, соответственно, у может быть. Вот. Ну и, соответственно, у нас есть проблема то, чем мы пытались нас есть проблема то, чем мы пытались нас есть проблема то, чем мы пытались заниматься, это то, что у нас, заниматься, это то, что у нас,

11:12заниматься, это то, что у нас, соответственно, adвантеж как таковой, соответственно, adвантеж как таковой, соответственно, adвантеж как таковой, посчитать сложно. Нам нужно какое-то посчитать сложно. Нам нужно какое-то посчитать сложно. Нам нужно какое-то приближение этой функции. Для этого мы приближение этой функции. Для этого мы приближение этой функции. Для этого мы учили критик. учили критик. учили критик. Давайте немножко подумаем про эту Давайте немножко подумаем про эту Давайте немножко подумаем про эту историю, немножко её по челленджу. историю, немножко её по челленджу. историю, немножко её по челленджу. Соответственно, э-э, как вы понимаете, Соответственно, э-э, как вы понимаете,

11:26Соответственно, э-э, как вы понимаете, мы мы мы пытаемся приблизить нашу value функцию пытаемся приблизить нашу value функцию пытаемся приблизить нашу value функцию для того, чтобы посчитать advantage. для того, чтобы посчитать advantage. для того, чтобы посчитать advantage. Когда мы пытаемся её приблизить нашим Когда мы пытаемся её приблизить нашим Когда мы пытаемся её приблизить нашим критикам, у нас возникает проблема в критикам, у нас возникает проблема в критикам, у нас возникает проблема в том, что если мы разворачиваем всю том, что если мы разворачиваем всю том, что если мы разворачиваем всю историю на один только шаг, а как вы историю на один только шаг, а как вы

11:40историю на один только шаг, а как вы помните, это вот та же идея, которую мы помните, это вот та же идея, которую мы помните, это вот та же идея, которую мы уже много раз обсуждали, которую я уже много раз обсуждали, которую я уже много раз обсуждали, которую я упомянул в начале, всего на один шаг, то упомянул в начале, всего на один шаг, то упомянул в начале, всего на один шаг, то у нас достаточно большой баяс, потому у нас достаточно большой баяс, потому у нас достаточно большой баяс, потому что мы используем вот тут вот, как вы что мы используем вот тут вот, как вы что мы используем вот тут вот, как вы помните, V - это уже наша апропсимация. помните, V - это уже наша апропсимация.

11:52помните, V - это уже наша апропсимация. То есть, допустим, какая-то нейронка, То есть, допустим, какая-то нейронка, То есть, допустим, какая-то нейронка, да, наш критик. Если мы используем вот да, наш критик. Если мы используем вот да, наш критик. Если мы используем вот здесь вот аппроксимацию, то мы всего на здесь вот аппроксимацию, то мы всего на здесь вот аппроксимацию, то мы всего на один шаг получили реальность, а дальше один шаг получили реальность, а дальше один шаг получили реальность, а дальше используем аппроксимацию. Эта оценка используем аппроксимацию. Эта оценка используем аппроксимацию. Эта оценка может быть реально плохой. Вот. Э может быть реально плохой. Вот. Э

12:06может быть реально плохой. Вот. Э давайте обозначим вот эту вот разницу на давайте обозначим вот эту вот разницу на давайте обозначим вот эту вот разницу на один шаг и обозначим её как дельтат Т. один шаг и обозначим её как дельтат Т. один шаг и обозначим её как дельтат Т. Да. Ну вот просто обозначение, чтобы Да. Ну вот просто обозначение, чтобы Да. Ну вот просто обозначение, чтобы потом можно было более интересно это всё потом можно было более интересно это всё потом можно было более интересно это всё расписать. Соответственно, на один шаг, расписать. Соответственно, на один шаг, расписать. Соответственно, на один шаг, как вы видите, ну вот это вот то же как вы видите, ну вот это вот то же

12:19как вы видите, ну вот это вот то же самое, что мы уже посмотрели вверху. самое, что мы уже посмотрели вверху. самое, что мы уже посмотрели вверху. Давайте посмотрим, что будет, если мы Давайте посмотрим, что будет, если мы Давайте посмотрим, что будет, если мы развернём это на два шага. На два шага развернём это на два шага. На два шага развернём это на два шага. На два шага мы получим награду, которую получаем за мы получим награду, которую получаем за мы получим награду, которую получаем за текущее действие. Дальше говорим: текущее действие. Дальше говорим: текущее действие. Дальше говорим: "Развернём ещё на один дополнительный "Развернём ещё на один дополнительный

12:30"Развернём ещё на один дополнительный шаг". То есть получим ещё одну награду, шаг". То есть получим ещё одну награду, шаг". То есть получим ещё одну награду, а потом уже только поставим нашу а потом уже только поставим нашу а потом уже только поставим нашу аппроксимацию. Соответственно, это всё аппроксимацию. Соответственно, это всё аппроксимацию. Соответственно, это всё можно перезаписать таким вот образом. Мы можно перезаписать таким вот образом. Мы можно перезаписать таким вот образом. Мы это можем перезаписать, что, ну, это можем перезаписать, что, ну, это можем перезаписать, что, ну, соответственно, давайте добавим и соответственно, давайте добавим и

12:45соответственно, давайте добавим и отнимем вот это вот, то, что голубым отнимем вот это вот, то, что голубым отнимем вот это вот, то, что голубым написано, да, вот этот тёрм просто написано, да, вот этот тёрм просто написано, да, вот этот тёрм просто добавили и отняли, больше ничего не добавили и отняли, больше ничего не добавили и отняли, больше ничего не поменялось. И мы можем заметить то, что поменялось. И мы можем заметить то, что поменялось. И мы можем заметить то, что вот это будет наша дельтат Т по вот это будет наша дельтат Т по вот это будет наша дельтат Т по определению, да, которое мы видели определению, да, которое мы видели

12:58определению, да, которое мы видели вверху. То есть тоже самое. А вот здесь вверху. То есть тоже самое. А вот здесь вверху. То есть тоже самое. А вот здесь вот, если мы возьмём вот эту вот штуку, вот, если мы возьмём вот эту вот штуку, вот, если мы возьмём вот эту вот штуку, то мы получим, вынесем гамму за скобку, то мы получим, вынесем гамму за скобку, то мы получим, вынесем гамму за скобку, и мы получим дельтат + 1, да? Потому что и мы получим дельтат + 1, да? Потому что и мы получим дельтат + 1, да? Потому что у нас как бы здесь будет всё то же у нас как бы здесь будет всё то же у нас как бы здесь будет всё то же самое, что было до этого. Ну, самое, что было до этого. Ну,

13:13самое, что было до этого. Ну, соответственно, у нас будет гамма соответственно, у нас будет гамма соответственно, у нас будет гамма умножить на reвот + 1 плюс γмма на умножить на reвот + 1 плюс γмма на умножить на reвот + 1 плюс γмма на функцию st + 2 минус, соответственно, функцию st + 2 минус, соответственно, функцию st + 2 минус, соответственно, value st + 1. То есть то же самое, что value st + 1. То есть то же самое, что value st + 1. То есть то же самое, что дельтат, только в следующий момент дельтат, только в следующий момент дельтат, только в следующий момент времени. Соответственно, мы получили вот времени. Соответственно, мы получили вот

13:27времени. Соответственно, мы получили вот такое выражение. И мы можем заметить, и такое выражение. И мы можем заметить, и такое выражение. И мы можем заметить, и сейчас мы покажем это на как бы логику сейчас мы покажем это на как бы логику сейчас мы покажем это на как бы логику на следующем слайде, что если мы так на следующем слайде, что если мы так на следующем слайде, что если мы так будем разворачивать на n шагов вперёд, будем разворачивать на n шагов вперёд, будем разворачивать на n шагов вперёд, ну вот это вот будет такая э сумма ну вот это вот будет такая э сумма ну вот это вот будет такая э сумма дисконтированная из этих вот разностей. дисконтированная из этих вот разностей.

13:42дисконтированная из этих вот разностей. То есть будет много разностей, которые То есть будет много разностей, которые То есть будет много разностей, которые мы просуммировали. То есть ещё раз, для мы просуммировали. То есть ещё раз, для мы просуммировали. То есть ещё раз, для чего мы это делаем? Если посмотрим вот чего мы это делаем? Если посмотрим вот чего мы это делаем? Если посмотрим вот сюда, мы вспомним то, что в начале, сюда, мы вспомним то, что в начале, сюда, мы вспомним то, что в начале, когда мы делаем немного шагов в будущее, когда мы делаем немного шагов в будущее, когда мы делаем немного шагов в будущее, у нас вариант достаточно низкий, потому

13:55у нас вариант достаточно низкий, потому у нас вариант достаточно низкий, потому что мы сделали маленький шажок, а дальше что мы сделали маленький шажок, а дальше что мы сделали маленький шажок, а дальше подставили апропсимацию, но при этом подставили апропсимацию, но при этом подставили апропсимацию, но при этом большой байт, потому что аппроксимация у большой байт, потому что аппроксимация у большой байт, потому что аппроксимация у нас, естественно, может быть не очень нас, естественно, может быть не очень нас, естественно, может быть не очень хорошей. А в другом случае, если мы хорошей. А в другом случае, если мы хорошей. А в другом случае, если мы пройдём прямо полностью до конца, это мы

14:07пройдём прямо полностью до конца, это мы пройдём прямо полностью до конца, это мы обсуждали с вами в самом начале, помните Монтекарл оценки, когда мы помните Монтекарл оценки, когда мы обсуждали, если мы бердём полностью до обсуждали, если мы бердём полностью до обсуждали, если мы бердём полностью до конца, то мы завяжемся на какую-то конца, то мы завяжемся на какую-то конца, то мы завяжемся на какую-то конкретную траекторию и, соответственно, конкретную траекторию и, соответственно, конкретную траекторию и, соответственно, у такого будет большой варианс, но при у такого будет большой варианс, но при у такого будет большой варианс, но при этом достаточно низкий бас, да, потому

14:21этом достаточно низкий бас, да, потому этом достаточно низкий бас, да, потому что мы не подставляем аппроксимацию, что мы не подставляем аппроксимацию, что мы не подставляем аппроксимацию, вернее, её подставляем где-то в будущем. вернее, её подставляем где-то в будущем. вернее, её подставляем где-то в будущем. Ну и вы можете заметить то, что если мы Ну и вы можете заметить то, что если мы Ну и вы можете заметить то, что если мы её подставляем в будущем, то вот эта её подставляем в будущем, то вот эта её подставляем в будущем, то вот эта гамма N, ну, соответственно, наша гамма N, ну, соответственно, наша гамма N, ну, соответственно, наша аппроксимация, она входит туда с гаммой

14:30аппроксимация, она входит туда с гаммой аппроксимация, она входит туда с гаммой N. Если мы прошли много n шагов вперёд, N. Если мы прошли много n шагов вперёд, N. Если мы прошли много n шагов вперёд, то гамма N - это какое-то уже маленькое то гамма N - это какое-то уже маленькое то гамма N - это какое-то уже маленькое число, гамма в степени n, да, потому что число, гамма в степени n, да, потому что число, гамма в степени n, да, потому что гамма у нас меньше единицы, как правило. гамма у нас меньше единицы, как правило. гамма у нас меньше единицы, как правило. Вот. Ну и, соответственно, точно так же Вот. Ну и, соответственно, точно так же

14:40Вот. Ну и, соответственно, точно так же мы можем, если у нас ээ вдруг мы можем, если у нас ээ вдруг мы можем, если у нас ээ вдруг бесконечные траектории, можем бесконечные траектории, можем бесконечные траектории, можем бесконечном будущее пройти. Вот. бесконечном будущее пройти. Вот. бесконечном будущее пройти. Вот. Соответственно, логика такая. Давайте Соответственно, логика такая. Давайте Соответственно, логика такая. Давайте посмотрим дальше на, э, соответственно посмотрим дальше на, э, соответственно посмотрим дальше на, э, соответственно историю, которая историю, которая историю, которая чуть чуть чуть пытается это всё объединить. Да. У нас пытается это всё объединить. Да. У нас

14:59пытается это всё объединить. Да. У нас есть такая история, которая называется есть такая история, которая называется есть такая история, которая называется GE Generalized Advanced Simator. Мы GE Generalized Advanced Simator. Мы GE Generalized Advanced Simator. Мы пытаемся, ээ, вместо того, чтобы пытаемся, ээ, вместо того, чтобы пытаемся, ээ, вместо того, чтобы подбирать напрямую n шагов, которые мы подбирать напрямую n шагов, которые мы подбирать напрямую n шагов, которые мы хотим пройти вперёд, мы хотим заменить хотим пройти вперёд, мы хотим заменить хотим пройти вперёд, мы хотим заменить на то, чтобы у нас был какой-то на то, чтобы у нас был какой-то

15:14на то, чтобы у нас был какой-то гиперпараметр лямбда, гиперпараметр лямбда, гиперпараметр лямбда, да, и гиперпараметр лямбда, который у да, и гиперпараметр лямбда, который у да, и гиперпараметр лямбда, который у нас от нуля до единицы. нас от нуля до единицы. нас от нуля до единицы. И этот гиперпараметр лямбда, э, нам И этот гиперпараметр лямбда, э, нам И этот гиперпараметр лямбда, э, нам поможет сделать ансамбл.

15:30То есть вместо того, чтобы мы То есть вместо того, чтобы мы использовали какое-то конкретное N, мы использовали какое-то конкретное N, мы использовали какое-то конкретное N, мы как бы хотим взять все N, которые нам как бы хотим взять все N, которые нам как бы хотим взять все N, которые нам доступны, и их проансамблировать, да? доступны, и их проансамблировать, да? доступны, и их проансамблировать, да? Вот это вот как бы общая логика. Вот это вот как бы общая логика. Вот это вот как бы общая логика. Соответственно, то, что здесь написано- Соответственно, то, что здесь написано- Соответственно, то, что здесь написано- это: "А давайте мы advantage будем это: "А давайте мы advantage будем

15:43это: "А давайте мы advantage будем оценивать как экспоненциально взвешенное оценивать как экспоненциально взвешенное оценивать как экспоненциально взвешенное среднее". Теперь давайте выведем среднее". Теперь давайте выведем среднее". Теперь давайте выведем кое-какую красивую из этого истории. кое-какую красивую из этого истории. кое-какую красивую из этого истории. Давайте выведем её здесь, наверное, Давайте выведем её здесь, наверное, Давайте выведем её здесь, наверное, лучше. Вот тут, соответственно, ничего лучше. Вот тут, соответственно, ничего лучше. Вот тут, соответственно, ничего сложного. Давайте просто распишем. У нас сложного. Давайте просто распишем. У нас

15:55сложного. Давайте просто распишем. У нас 1 мину лямбда. 1 мину лямбда. 1 мину лямбда. Теперь давайте вспомним, что у нас, Теперь давайте вспомним, что у нас, Теперь давайте вспомним, что у нас, соответственно, такое эти наши соответственно, такое эти наши соответственно, такое эти наши адвантажи. Наши адванджи, адвантажи. Наши адванджи, адвантажи. Наши адванджи, первый advantage, как вы помните, первый advantage, как вы помните, первый advantage, как вы помните, который мы здесь смотрели, это просто который мы здесь смотрели, это просто который мы здесь смотрели, это просто дельтат, да? Вот ещё раз, это вот то, дельтат, да? Вот ещё раз, это вот то,

16:08дельтат, да? Вот ещё раз, это вот то, что вот тут у нас находится. Дальше что вот тут у нас находится. Дальше что вот тут у нас находится. Дальше второй advantage - это на один дельтат второй advantage - это на один дельтат второй advantage - это на один дельтат вперёд. вперёд. вперёд. То есть у нас будет плюс лямбда То есть у нас будет плюс лямбда То есть у нас будет плюс лямбда помноженная на дельтат плюс,

16:28соответственно, гамма на дельтат + 1. То соответственно, гамма на дельтат + 1. То есть лямбда от того, что мы делаем есть лямбда от того, что мы делаем есть лямбда от того, что мы делаем экспоненциальное взвешивание, а гамма от экспоненциальное взвешивание, а гамма от экспоненциальное взвешивание, а гамма от того, что мы делаем на шаг вперёд, того, что мы делаем на шаг вперёд, того, что мы делаем на шаг вперёд, должны продисконтировать. Ну и точно должны продисконтировать. Ну и точно должны продисконтировать. Ну и точно также давайте распишем третий ээ третий, также давайте распишем третий ээ третий, также давайте распишем третий ээ третий, соответственно, наш advantage. Это будет

16:41соответственно, наш advantage. Это будет соответственно, наш advantage. Это будет вот такая штука, да, на один шаг вперёд. вот такая штука, да, на один шаг вперёд. вот такая штука, да, на один шаг вперёд. И ещё на один шаг вперёд деδльта Т. Вот, И ещё на один шаг вперёд деδльта Т. Вот, И ещё на один шаг вперёд деδльта Т. Вот, э-э, ну, я думаю, тут, ээ, понятно, э-э, ну, я думаю, тут, ээ, понятно, э-э, ну, я думаю, тут, ээ, понятно, откуда это берётся, да, и то есть просто откуда это берётся, да, и то есть просто откуда это берётся, да, и то есть просто на один шаг вперёд мы это развернули. на один шаг вперёд мы это развернули.

16:58на один шаг вперёд мы это развернули. Ну, и так дальше мы будем складывать до Ну, и так дальше мы будем складывать до Ну, и так дальше мы будем складывать до всех как бы траекторий, которые у нас всех как бы траекторий, которые у нас всех как бы траекторий, которые у нас есть, вернее, до всех шагов вперёд, есть, вернее, до всех шагов вперёд, есть, вернее, до всех шагов вперёд, которые у нас доступны на нашем батче. которые у нас доступны на нашем батче. которые у нас доступны на нашем батче. Теперь давайте увидим кое-какую штуку, Теперь давайте увидим кое-какую штуку, Теперь давайте увидим кое-какую штуку, что это можно немножко по-другому что это можно немножко по-другому

17:09что это можно немножко по-другому перезаписать, да? Можно, соответственно, перезаписать, да? Можно, соответственно, перезаписать, да? Можно, соответственно, вот это вот дельтат найти. Здесь вот вот это вот дельтат найти. Здесь вот вот это вот дельтат найти. Здесь вот дельтат найти, и дельтат у нас будет как дельтат найти, и дельтат у нас будет как дельтат найти, и дельтат у нас будет как бы везде бы везде бы везде в вот сюда вот входить, да? То есть как в вот сюда вот входить, да? То есть как в вот сюда вот входить, да? То есть как бы везде первый тёрм он будет дельтат. бы везде первый тёрм он будет дельтат. бы везде первый тёрм он будет дельтат. Ну и, соответственно, точно так же мы

17:23Ну и, соответственно, точно так же мы Ну и, соответственно, точно так же мы можем найти вот эту вот штуку, которая у можем найти вот эту вот штуку, которая у можем найти вот эту вот штуку, которая у нас будет, начиная со второго ээ везде нас будет, начиная со второго ээ везде нас будет, начиная со второго ээ везде входить. Соответственно, мы можем входить. Соответственно, мы можем входить. Соответственно, мы можем сказать, что у нас 1 - лямбда сказать, что у нас 1 - лямбда сказать, что у нас 1 - лямбда умножается. И теперь давайте вот это, умножается. И теперь давайте вот это, умножается. И теперь давайте вот это, то, что я подчеркнул, соберём вместе. то, что я подчеркнул, соберём вместе.

17:36то, что я подчеркнул, соберём вместе. Соответственно, по формуле Соответственно, по формуле Соответственно, по формуле геометрической прогрессии, да, что у нас геометрической прогрессии, да, что у нас геометрической прогрессии, да, что у нас там за прогрессия будет? У нас там за прогрессия будет? У нас там за прогрессия будет? У нас бесконечная в этом случае, да, ну, как бесконечная в этом случае, да, ну, как бесконечная в этом случае, да, ну, как бы, когда мы считаем, что у нас бы, когда мы считаем, что у нас бы, когда мы считаем, что у нас бесконечные траектории, ээ, устремляемся бесконечные траектории, ээ, устремляемся

17:48бесконечные траектории, ээ, устремляемся будущее, у нас, соответственно, будущее, у нас, соответственно, будущее, у нас, соответственно, бесконечное количество членов. Ну, и бесконечное количество членов. Ну, и бесконечное количество членов. Ну, и каждый раз домножается на лямбду. каждый раз домножается на лямбду. каждый раз домножается на лямбду. Соответственно, вот эта штука, она будет Соответственно, вот эта штука, она будет Соответственно, вот эта штука, она будет ровно 1 мину лямбда для нашего первого ровно 1 мину лямбда для нашего первого ровно 1 мину лямбда для нашего первого члена, который мы вот тут вот нашли. члена, который мы вот тут вот нашли.

18:00члена, который мы вот тут вот нашли. Следующий будет, соответственно, лямбда. Следующий будет, соответственно, лямбда. Следующий будет, соответственно, лямбда. которая у нас вот здесь вот, потому что которая у нас вот здесь вот, потому что которая у нас вот здесь вот, потому что мы стартуем с этого члена. Дальше гамма мы стартуем с этого члена. Дальше гамма мы стартуем с этого члена. Дальше гамма дельтат + 1. Это, соответственно, дельтат + 1. Это, соответственно, дельтат + 1. Это, соответственно, приходит вот отсюда. приходит вот отсюда. приходит вот отсюда. Ну и также на 1 п лямбда, на 1 мину Ну и также на 1 п лямбда, на 1 мину

18:15Ну и также на 1 п лямбда, на 1 мину лямбда, извините. Вот. Ну и, лямбда, извините. Вот. Ну и, лямбда, извините. Вот. Ну и, соответственно, давайте просто запишу соответственно, давайте просто запишу соответственно, давайте просто запишу для третьего члена.

18:34Вот. Как вы можете здесь увидеть, вот Вот. Как вы можете здесь увидеть, вот эта вся история, она переходит вот в эта вся история, она переходит вот в эта вся история, она переходит вот в такую формулу, да? То есть ещё раз, мы у такую формулу, да? То есть ещё раз, мы у такую формулу, да? То есть ещё раз, мы у нас нас нас вот это всё сокращается, вот это всё сокращается, вот это всё сокращается, у нас остаётся, по сути, только сумма. Давайте здесь запишу. У нас остаётся, по Давайте здесь запишу. У нас остаётся, по сути, только сумма от нашего какого-то сути, только сумма от нашего какого-то сути, только сумма от нашего какого-то шага ээ в будущее K до бесконечности

18:57шага ээ в будущее K до бесконечности шага ээ в будущее K до бесконечности от, от, от, соответственно, гамма лямбда в степени соответственно, гамма лямбда в степени соответственно, гамма лямбда в степени K. И дальше наша вот это errorр на K. И дальше наша вот это errorр на K. И дальше наша вот это errorр на каждый шаг. Я тут, извините, написал не каждый шаг. Я тут, извините, написал не каждый шаг. Я тут, извините, написал не очень хорошо, но у нас на вот этом очень хорошо, но у нас на вот этом очень хорошо, но у нас на вот этом слайде есть всё более хорошо написано. слайде есть всё более хорошо написано. слайде есть всё более хорошо написано. Вот эта формула. Давайте поймём, зачем

19:15Вот эта формула. Давайте поймём, зачем Вот эта формула. Давайте поймём, зачем вообще я потратил столько времени. Ну, вообще я потратил столько времени. Ну, вообще я потратил столько времени. Ну, во-первых, я потратил столько времени на во-первых, я потратил столько времени на во-первых, я потратил столько времени на это. потому что вам это реализовывать в это. потому что вам это реализовывать в это. потому что вам это реализовывать в домашке. Но, естественно, смысл не в домашке. Но, естественно, смысл не в домашке. Но, естественно, смысл не в этом. Смысл в том, что, а, за счёт такой этом. Смысл в том, что, а, за счёт такой

19:24этом. Смысл в том, что, а, за счёт такой ансамблированной оценки мы можем, ээ, ансамблированной оценки мы можем, ээ, ансамблированной оценки мы можем, ээ, снизить вариант за счёт того, что мы как снизить вариант за счёт того, что мы как снизить вариант за счёт того, что мы как бы используем всё, что нам доступно. То бы используем всё, что нам доступно. То бы используем всё, что нам доступно. То есть этот вот GA advantage, он будет наш есть этот вот GA advantage, он будет наш есть этот вот GA advantage, он будет наш вот на на том, что мы делаем будем вот на на том, что мы делаем будем вот на на том, что мы делаем будем делать в будущем, похоже на вот эту вот

19:41делать в будущем, похоже на вот эту вот делать в будущем, похоже на вот эту вот историю с псаем. Это будет наш таргет. И историю с псаем. Это будет наш таргет. И историю с псаем. Это будет наш таргет. И почему мы хотим использовать такой почему мы хотим использовать такой почему мы хотим использовать такой таргет? Потому что мы хотим по максимуму таргет? Потому что мы хотим по максимуму таргет? Потому что мы хотим по максимуму всё, что мы делаем внутри нашей, всё, что мы делаем внутри нашей, всё, что мы делаем внутри нашей, соответственно, всей оптимизации, мы соответственно, всей оптимизации, мы соответственно, всей оптимизации, мы можем по максимуму использовать, хотим

19:54можем по максимуму использовать, хотим можем по максимуму использовать, хотим по максимуму использовать данные. Как вы по максимуму использовать данные. Как вы по максимуму использовать данные. Как вы понимаете, ансамбль, как обычно, он понимаете, ансамбль, как обычно, он понимаете, ансамбль, как обычно, он просто снизит нам варианс. Вот это как просто снизит нам варианс. Вот это как просто снизит нам варианс. Вот это как бы базовая история. Нам это поможет ээ бы базовая история. Нам это поможет ээ бы базовая история. Нам это поможет ээ по сути заменить наш таргет на что-то по сути заменить наш таргет на что-то по сути заменить наш таргет на что-то такое, что поменьше зависит от нашей

20:06такое, что поменьше зависит от нашей такое, что поменьше зависит от нашей апксимации и побольше зависит, апксимации и побольше зависит, апксимации и побольше зависит, соответственно, от того, что мы реально соответственно, от того, что мы реально соответственно, от того, что мы реально пронаблюдали. Но в этом как бы вот эта пронаблюдали. Но в этом как бы вот эта пронаблюдали. Но в этом как бы вот эта история будет будет взвешенная, да, история будет будет взвешенная, да, история будет будет взвешенная, да, соответственно, э снизит веринс. Вот. Мм соответственно, э снизит веринс. Вот. Мм соответственно, э снизит веринс. Вот. Мм почему нам это нужно? Ну, как вы почему нам это нужно? Ну, как вы

20:19почему нам это нужно? Ну, как вы помните, проблема в том, что у нас помните, проблема в том, что у нас помните, проблема в том, что у нас критик на самом деле не супер хороший, критик на самом деле не супер хороший, критик на самом деле не супер хороший, да, особенно на начальных этапах. Да, да, особенно на начальных этапах. Да, да, особенно на начальных этапах. Да, критик не супер хороший, мы можем ээ критик не супер хороший, мы можем ээ критик не супер хороший, мы можем ээ получить большой верианс и мы можем получить большой верианс и мы можем получить большой верианс и мы можем начать идти не в ту сторону и довольно начать идти не в ту сторону и довольно

20:30начать идти не в ту сторону и довольно долго сходиться. И поэтому, конечно, долго сходиться. И поэтому, конечно, долго сходиться. И поэтому, конечно, хочется использовать что-то более хочется использовать что-то более хочется использовать что-то более сложное. Вот. Ээ давайте, наверное, сложное. Вот. Ээ давайте, наверное, сложное. Вот. Ээ давайте, наверное, здесь остановлюсь. Есть ли какие-нибудь здесь остановлюсь. Есть ли какие-нибудь здесь остановлюсь. Есть ли какие-нибудь вопросы?

20:44Да, наверное. Ну у нас же тогда Да, наверное. Ну у нас же тогда игрыдиенты игрыдиенты игрыдиенты будут для последующих шагов, будут для последующих шагов, будут для последующих шагов, соответственно, экспоненциально соответственно, экспоненциально соответственно, экспоненциально снижаться. снижаться. снижаться. Мы там до этого обсуждали на прошлой, не Мы там до этого обсуждали на прошлой, не Мы там до этого обсуждали на прошлой, не знаю, лекции, ну вот про то, что у нас знаю, лекции, ну вот про то, что у нас знаю, лекции, ну вот про то, что у нас снижаются градиенты к концу, да? Ну и снижаются градиенты к концу, да? Ну и

20:59снижаются градиенты к концу, да? Ну и здесь мы то же самое будем получать для здесь мы то же самое будем получать для здесь мы то же самое будем получать для для дельтат плюс там 1.000 у нас будет для дельтат плюс там 1.000 у нас будет для дельтат плюс там 1.000 у нас будет маленький градиент. маленький градиент. маленький градиент. >> Да, смотрите, это хороший комментарий. >> Да, смотрите, это хороший комментарий. >> Да, смотрите, это хороший комментарий. Ээ, и важный момент, то, что я поэтому и Ээ, и важный момент, то, что я поэтому и Ээ, и важный момент, то, что я поэтому и сказал, что мы не будем делать ровно то сказал, что мы не будем делать ровно то

21:13сказал, что мы не будем делать ровно то же самое, что здесь. Нам не понадобится же самое, что здесь. Нам не понадобится же самое, что здесь. Нам не понадобится градиент от этой оценки. То есть эта градиент от этой оценки. То есть эта градиент от этой оценки. То есть эта оценка, она не будет зависеть, мы не оценка, она не будет зависеть, мы не оценка, она не будет зависеть, мы не будем пытаться её оптимизировать. Это будем пытаться её оптимизировать. Это будем пытаться её оптимизировать. Это как вот вы помните, что мы делали в как вот вы помните, что мы делали в как вот вы помните, что мы делали в Полисе Gradient, да, в самом эта Полисе Gradient, да, в самом эта

21:25Полисе Gradient, да, в самом эта повысить вероятность действия и его повысить вероятность действия и его повысить вероятность действия и его взвешивали на, соответственно, какую-то взвешивали на, соответственно, какую-то взвешивали на, соответственно, какую-то нашу оценку реворда от этого действия. нашу оценку реворда от этого действия. нашу оценку реворда от этого действия. Вот тут мы будем использовать оценку Вот тут мы будем использовать оценку Вот тут мы будем использовать оценку реворда и немножко потратим с вами реворда и немножко потратим с вами реворда и немножко потратим с вами времени сегодня, чтобы понять, что нам времени сегодня, чтобы понять, что нам

21:37времени сегодня, чтобы понять, что нам не нужно будет брать градиент от нашего не нужно будет брать градиент от нашего не нужно будет брать градиент от нашего адвантеджа. У нас граент будет зависеть адвантеджа. У нас граент будет зависеть адвантеджа. У нас граент будет зависеть от как бы вероятности, только вот от от как бы вероятности, только вот от от как бы вероятности, только вот от политики самой. И поэтому тут не будет политики самой. И поэтому тут не будет политики самой. И поэтому тут не будет проблем с затуханием градиентов, потому проблем с затуханием градиентов, потому проблем с затуханием градиентов, потому что мы не будем использовать критика что мы не будем использовать критика

21:49что мы не будем использовать критика вообще. Вот в наших текущих алгоритмав вообще. Вот в наших текущих алгоритмав вообще. Вот в наших текущих алгоритмав мы забудем про критика, а мы будем мы забудем про критика, а мы будем мы забудем про критика, а мы будем использовать, ну, соответственно, вот использовать, ну, соответственно, вот использовать, ну, соответственно, вот этот вот advantage будем. Поэтому и этот вот advantage будем. Поэтому и этот вот advantage будем. Поэтому и говорим про Гае, что мы будем делать по говорим про Гае, что мы будем делать по говорим про Гае, что мы будем делать по сути только актора, а кри про критика мы сути только актора, а кри про критика мы

22:02сути только актора, а кри про критика мы забудем. Вот, вернее, потом мы к нему забудем. Вот, вернее, потом мы к нему забудем. Вот, вернее, потом мы к нему снова вернёмся, и он у нас будет, но он снова вернёмся, и он у нас будет, но он снова вернёмся, и он у нас будет, но он будет немножко другой. Я это всё покажу будет немножко другой. Я это всё покажу будет немножко другой. Я это всё покажу сейчас. Понимаю, что это звучит немножко сейчас. Понимаю, что это звучит немножко сейчас. Понимаю, что это звучит немножко немножко в сторону, но идея в том, что немножко в сторону, но идея в том, что немножко в сторону, но идея в том, что критик не будет зависеть от нашей как бы

22:16критик не будет зависеть от нашей как бы критик не будет зависеть от нашей как бы конкретной траектории. Он будет зависеть конкретной траектории. Он будет зависеть конкретной траектории. Он будет зависеть от траектории немножко другой, которая от траектории немножко другой, которая от траектории немножко другой, которая не будет зависеть от клиента. Вот я не будет зависеть от клиента. Вот я не будет зависеть от клиента. Вот я надеюсь, примерно понятно, но я понимаю, надеюсь, примерно понятно, но я понимаю, надеюсь, примерно понятно, но я понимаю, что не ответил до конца на вопрос. Это что не ответил до конца на вопрос. Это

22:25что не ответил до конца на вопрос. Это будет понятно к концу лекции? Если нет, будет понятно к концу лекции? Если нет, будет понятно к концу лекции? Если нет, то обязательно спросите потом, то обязательно спросите потом, то обязательно спросите потом, пожалуйста.

22:35Так, давайте тогда двинусь дальше. Вот, Так, давайте тогда двинусь дальше. Вот, э, я понимаю, что сейчас немножко э, я понимаю, что сейчас немножко э, я понимаю, что сейчас немножко помахал руками, не совсем было понятно, помахал руками, не совсем было понятно, помахал руками, не совсем было понятно, но, поверьте, будет понятно концу. Вот. но, поверьте, будет понятно концу. Вот. но, поверьте, будет понятно концу. Вот. Ээ давайте двинемся дальше, если Ээ давайте двинемся дальше, если Ээ давайте двинемся дальше, если вопросов нет. вопросов нет. вопросов нет. Двинемся дальше к обсуждению вообще, о Двинемся дальше к обсуждению вообще, о

22:48Двинемся дальше к обсуждению вообще, о чём мы хотим улучшить? Почему нас не чём мы хотим улучшить? Почему нас не чём мы хотим улучшить? Почему нас не устраивает сам по себе A2C алгоритм? Э, устраивает сам по себе A2C алгоритм? Э, устраивает сам по себе A2C алгоритм? Э, не то, чтобы он нас не устраивает, но у не то, чтобы он нас не устраивает, но у не то, чтобы он нас не устраивает, но у него есть проблема, которую мы уже него есть проблема, которую мы уже него есть проблема, которую мы уже обсудили, то, что он как бы полностью обсудили, то, что он как бы полностью обсудили, то, что он как бы полностью онлайновый, полностью он полиси. То онлайновый, полностью он полиси. То

23:02онлайновый, полностью он полиси. То есть, что мы там делаем? Как вы помните, есть, что мы там делаем? Как вы помните, есть, что мы там делаем? Как вы помните, у нас есть какой-то мастерпроцесс, и у нас есть какой-то мастерпроцесс, и у нас есть какой-то мастерпроцесс, и этот мастер-процесс запускает несколько этот мастер-процесс запускает несколько этот мастер-процесс запускает несколько агентов. Агенты собирают, агентов. Агенты собирают, агентов. Агенты собирают, соответственно, какие-то сэмплы из соответственно, какие-то сэмплы из соответственно, какие-то сэмплы из энйронмента, и дальше мы либо агрегируем энйронмента, и дальше мы либо агрегируем

23:15энйронмента, и дальше мы либо агрегируем градиенты, либо агрегируем политику. Это градиенты, либо агрегируем политику. Это градиенты, либо агрегируем политику. Это вы обсуждали на прошлой лекции, но как вы обсуждали на прошлой лекции, но как вы обсуждали на прошлой лекции, но как бы идея такая, что у нас по сути один бы идея такая, что у нас по сути один бы идея такая, что у нас по сути один шаг улучшения, и дальше мы снова должны шаг улучшения, и дальше мы снова должны шаг улучшения, и дальше мы снова должны собрать какой-то бач. Дальше один шаг собрать какой-то бач. Дальше один шаг собрать какой-то бач. Дальше один шаг улучшения и снова собираем банч. Ну и,

23:28улучшения и снова собираем банч. Ну и, улучшения и снова собираем банч. Ну и, соответственно, идейно мы как-то эту соответственно, идейно мы как-то эту соответственно, идейно мы как-то эту историю не сильно хорошо используем наши историю не сильно хорошо используем наши историю не сильно хорошо используем наши бачи. То есть мы как бы только сделали бачи. То есть мы как бы только сделали бачи. То есть мы как бы только сделали апдейт, сразу выкинули всё прошлое. Ну, апдейт, сразу выкинули всё прошлое. Ну, апдейт, сразу выкинули всё прошлое. Ну, естественно, мы это делаем не от хорошей естественно, мы это делаем не от хорошей

23:38естественно, мы это делаем не от хорошей жизни, а просто потому, что по-другому жизни, а просто потому, что по-другому жизни, а просто потому, что по-другому нельзя, да, потому что мы хотим взвесить нельзя, да, потому что мы хотим взвесить нельзя, да, потому что мы хотим взвесить вероятность наших действий. И для этого вероятность наших действий. И для этого вероятность наших действий. И для этого надо, соответственно, вот эту надо, соответственно, вот эту надо, соответственно, вот эту вероятность, когда мы пытаемся увеличить вероятность, когда мы пытаемся увеличить вероятность, когда мы пытаемся увеличить вероятность нутриполиcy какого-то вероятность нутриполиcy какого-то

23:48вероятность нутриполиcy какого-то действия, мы взвешиваем на реворды, действия, мы взвешиваем на реворды, действия, мы взвешиваем на реворды, которые мы собрали, естественно, такой которые мы собрали, естественно, такой которые мы собрали, естественно, такой политикой. Потому что если мы будем, ээ, политикой. Потому что если мы будем, ээ, политикой. Потому что если мы будем, ээ, взвешивать по чему-то другому, то у нас, взвешивать по чему-то другому, то у нас, взвешивать по чему-то другому, то у нас, э, в общем случае ничего хорошего не э, в общем случае ничего хорошего не э, в общем случае ничего хорошего не получится. И вот мы сегодня попытаемся получится. И вот мы сегодня попытаемся

24:02получится. И вот мы сегодня попытаемся применить несколько трюков, чтобы вот применить несколько трюков, чтобы вот применить несколько трюков, чтобы вот эту всю историю обойти. Естественно, мы эту всю историю обойти. Естественно, мы эту всю историю обойти. Естественно, мы не перейдём полностью в offлисе режим, не перейдём полностью в offлисе режим, не перейдём полностью в offлисе режим, то есть у нас сегодня не будет offлисе, то есть у нас сегодня не будет offлисе, то есть у нас сегодня не будет offлисе, вы немножко этого коснётесь на следующей вы немножко этого коснётесь на следующей вы немножко этого коснётесь на следующей лекции. Но при этом мы сегодня сможем

24:14лекции. Но при этом мы сегодня сможем лекции. Но при этом мы сегодня сможем более по-умному использовать, более по-умному использовать, более по-умному использовать, соответственно, наши наши соответственно, наши наши соответственно, наши наши собранные бочи. собранные бочи. собранные бочи. Вот. Соответственно, что что у нас тут Вот. Соответственно, что что у нас тут Вот. Соответственно, что что у нас тут происходит? Ээ какая могла бы быть идея? происходит? Ээ какая могла бы быть идея? происходит? Ээ какая могла бы быть идея? Ну, только что я сказал проблема, что мы Ну, только что я сказал проблема, что мы Ну, только что я сказал проблема, что мы делаем всего один делаем всего один

24:30делаем всего один степ ээ грейдин десента. Ну, может быть, степ ээ грейдин десента. Ну, может быть, степ ээ грейдин десента. Ну, может быть, мы возьмём на одном баче сделаем мы возьмём на одном баче сделаем мы возьмём на одном баче сделаем несколько степов, да? Вот тут важно несколько степов, да? Вот тут важно несколько степов, да? Вот тут важно понимать, что это имеется в виду sameч,

24:48но, к сожалению, это так себе идея. но, к сожалению, это так себе идея. Почему? Ну, это вы все знаете прекрасно Почему? Ну, это вы все знаете прекрасно Почему? Ну, это вы все знаете прекрасно из нашего стандартного плернинга. Почему из нашего стандартного плернинга. Почему из нашего стандартного плернинга. Почему мы не делаем на одном и том же баче, э, мы не делаем на одном и том же баче, э, мы не делаем на одном и том же баче, э, в каждый момент времени не делаем э в каждый момент времени не делаем э в каждый момент времени не делаем э кучу-кучу апдейтов, да, а пытаемся, кучу-кучу апдейтов, да, а пытаемся, кучу-кучу апдейтов, да, а пытаемся, соответственно, внутри эпох как-то их

25:04соответственно, внутри эпох как-то их соответственно, внутри эпох как-то их смплировать или что-то подобное. Ну, смплировать или что-то подобное. Ну, смплировать или что-то подобное. Ну, просто потому, что каждый отдельный батч просто потому, что каждый отдельный батч просто потому, что каждый отдельный батч у нас не суперрепрезентативен, и мы у нас не суперрепрезентативен, и мы у нас не суперрепрезентативен, и мы просто на него заоверфитимся. Ну вот просто на него заоверфитимся. Ну вот просто на него заоверфитимся. Ну вот представьте, да, в диплёрдинге мы представьте, да, в диплёрдинге мы представьте, да, в диплёрдинге мы засмплили там 100 каких-то картинок и

25:15засмплили там 100 каких-то картинок и засмплили там 100 каких-то картинок и будем делать кучу шагов на них. Ну, будем делать кучу шагов на них. Ну, будем делать кучу шагов на них. Ну, естественно, мы на эту всю историю естественно, мы на эту всю историю естественно, мы на эту всю историю зауверфитимся. И поэтому мы как бы зауверфитимся. И поэтому мы как бы зауверфитимся. И поэтому мы как бы попытавшись сделать здесь то же самое, попытавшись сделать здесь то же самое, попытавшись сделать здесь то же самое, получим ещё более плохую проблему. получим ещё более плохую проблему. получим ещё более плохую проблему. Потому что, как вы помните, в РЛЕ мы не Потому что, как вы помните, в РЛЕ мы не

25:28Потому что, как вы помните, в РЛЕ мы не просто переобучимся и будем делать просто переобучимся и будем делать просто переобучимся и будем делать какие-то плохие действия, а мы ещё какие-то плохие действия, а мы ещё какие-то плохие действия, а мы ещё данные будем не совсем правильно данные будем не совсем правильно данные будем не совсем правильно собирать. То есть мы, э-э, если собирать. То есть мы, э-э, если собирать. То есть мы, э-э, если проводить аналогию с картинками, проводить аналогию с картинками, проводить аналогию с картинками, помните, врели мы как бы сами выбираем, помните, врели мы как бы сами выбираем,

25:38помните, врели мы как бы сами выбираем, условно, какие на какие сэмплы смотреть, условно, какие на какие сэмплы смотреть, условно, какие на какие сэмплы смотреть, то есть, ну, условно, какие картинки то есть, ну, условно, какие картинки то есть, ну, условно, какие картинки сэмплировать. И если мы будем сами сэмплировать. И если мы будем сами сэмплировать. И если мы будем сами выбирать, какие картинки самплировать за выбирать, какие картинки самплировать за выбирать, какие картинки самплировать за зауверхившись на какие-то конкретные, то зауверхившись на какие-то конкретные, то зауверхившись на какие-то конкретные, то ниже вероятность, что мы узнаем, что ниже вероятность, что мы узнаем, что

25:49ниже вероятность, что мы узнаем, что есть какие-то другие, которые нам чем-то есть какие-то другие, которые нам чем-то есть какие-то другие, которые нам чем-то помогут. Вот. И тут сильно даже помогут. Вот. И тут сильно даже помогут. Вот. И тут сильно даже эпреation не спасёт, потому что немножко эпреation не спасёт, потому что немножко эпреation не спасёт, потому что немножко он будет дёргать в сторону, в другую он будет дёргать в сторону, в другую он будет дёргать в сторону, в другую сторону нашу политику. Но при этом, как сторону нашу политику. Но при этом, как сторону нашу политику. Но при этом, как бы, к сожалению, всё всё ещё у нас будет бы, к сожалению, всё всё ещё у нас будет

26:01бы, к сожалению, всё всё ещё у нас будет основная часть политики за оверфичено. основная часть политики за оверфичено. основная часть политики за оверфичено. Давайте сделаем немножко шаг в сторону. Давайте сделаем немножко шаг в сторону. Давайте сделаем немножко шаг в сторону. Э, мы сейчас поймём с вами, каким Э, мы сейчас поймём с вами, каким Э, мы сейчас поймём с вами, каким образом можно сделать всю эту историю образом можно сделать всю эту историю образом можно сделать всю эту историю более более, соответственно, более более, соответственно, более более, соответственно, хорошо работающей с тем, чтобы мы хорошо работающей с тем, чтобы мы

26:18хорошо работающей с тем, чтобы мы использовали какие-то собранные сэмплые использовали какие-то собранные сэмплые использовали какие-то собранные сэмплые по-умному. Но при этом давайте сначала по-умному. Но при этом давайте сначала по-умному. Но при этом давайте сначала разберёмся с такими двумя вещами, на разберёмся с такими двумя вещами, на разберёмся с такими двумя вещами, на которых у нас вся эта идея основывается. которых у нас вся эта идея основывается. которых у нас вся эта идея основывается. Первая идея - это идея довольно простая, Первая идея - это идея довольно простая, Первая идея - это идея довольно простая, которая не относится к policy gradient,

26:33которая не относится к policy gradient, которая не относится к policy gradient, а вообще верна для любого MDP. Э, есть а вообще верна для любого MDP. Э, есть а вообще верна для любого MDP. Э, есть такая штука, называется rewardше такая штука, называется rewardше такая штука, называется rewardше shaping. Это, по сути, трюк, который нам shaping. Это, по сути, трюк, который нам shaping. Это, по сути, трюк, который нам позволяет, допустим, обычно он нам позволяет, допустим, обычно он нам позволяет, допустим, обычно он нам нужен, когда мы пытаемся побороться со нужен, когда мы пытаемся побороться со нужен, когда мы пытаемся побороться со спарс-ревордами. Ээ в чём трюк состоит?

26:50спарс-ревордами. Ээ в чём трюк состоит? спарс-ревордами. Ээ в чём трюк состоит? Мы можем заменить нашу reво функцию на Мы можем заменить нашу reво функцию на Мы можем заменить нашу reво функцию на вот такую, что мы берём та, которая была вот такую, что мы берём та, которая была вот такую, что мы берём та, которая была у нас функция, прибавляем, у нас функция, прибавляем, у нас функция, прибавляем, соответственно, наш нашу специальную соответственно, наш нашу специальную соответственно, наш нашу специальную функцию потенциал. Она может быть любой. функцию потенциал. Она может быть любой. функцию потенциал. Она может быть любой. Её мы придумываем как RLресarchрчера.

27:04Её мы придумываем как RLресarchрчера. Её мы придумываем как RLресarchрчера. Она должна единственная, соответственно, Она должна единственная, соответственно, Она должна единственная, соответственно, ну, понятно, что это функция, которая ну, понятно, что это функция, которая ну, понятно, что это функция, которая принимает на вход и отдаёт какое-то принимает на вход и отдаёт какое-то принимает на вход и отдаёт какое-то число, да, соответственно, она от число, да, соответственно, она от число, да, соответственно, она от экшенна никак не зависит. экшенна никак не зависит. экшенна никак не зависит. Что-то, наверное, немножко напоминает Что-то, наверное, немножко напоминает

27:15Что-то, наверное, немножко напоминает бейзлайн, но это не совсем про это, да? бейзлайн, но это не совсем про это, да? бейзлайн, но это не совсем про это, да? Это скорее потенциал нам показывает, как Это скорее потенциал нам показывает, как Это скорее потенциал нам показывает, как бы пытае мы этим потенциалом пытаемся из бы пытае мы этим потенциалом пытаемся из бы пытае мы этим потенциалом пытаемся из будущего пробросить в прошлое будущего пробросить в прошлое будущего пробросить в прошлое информацию, куда нас политика привела. информацию, куда нас политика привела. информацию, куда нас политика привела. Это я рассказываю немножко больше для Это я рассказываю немножко больше для

27:29Это я рассказываю немножко больше для как бы общего понимания. Именно вот эта как бы общего понимания. Именно вот эта как бы общего понимания. Именно вот эта логика нам сегодня не понадобится. Нам логика нам сегодня не понадобится. Нам логика нам сегодня не понадобится. Нам понадобится кое-что другое. Но идея понадобится кое-что другое. Но идея понадобится кое-что другое. Но идея такая, что как бы мы на каждом шаге такая, что как бы мы на каждом шаге такая, что как бы мы на каждом шаге можем прибавить гамма от вот этой вот можем прибавить гамма от вот этой вот можем прибавить гамма от вот этой вот функции в следующем стейте и вычесть эту функции в следующем стейте и вычесть эту

27:42функции в следующем стейте и вычесть эту функцию из текущего стейта. И за счёт функцию из текущего стейта. И за счёт функцию из текущего стейта. И за счёт телескопической суммы, когда мы вот тут телескопической суммы, когда мы вот тут телескопической суммы, когда мы вот тут вот в соответственно нашем э пруфе вот в соответственно нашем э пруфе вот в соответственно нашем э пруфе можете посмотреть, что изначальный можете посмотреть, что изначальный можете посмотреть, что изначальный таргет у нас, естественно, сумма таргет у нас, естественно, сумма таргет у нас, естественно, сумма дисконтированных ревордов, как обычно, а дисконтированных ревордов, как обычно, а

27:56дисконтированных ревордов, как обычно, а здесь сумма дисконтированных ревордов здесь сумма дисконтированных ревордов здесь сумма дисконтированных ревордов плюс куча вот таких вот сумм, где мы плюс куча вот таких вот сумм, где мы плюс куча вот таких вот сумм, где мы добавили, вычислили, добавили, вычисли. добавили, вычислили, добавили, вычисли. добавили, вычислили, добавили, вычисли. И за счёт телескопических сумм мы И за счёт телескопических сумм мы И за счёт телескопических сумм мы получим то, что у нас остался только получим то, что у нас остался только получим то, что у нас остался только первый член и последний. При этом эта первый член и последний. При этом эта

28:09первый член и последний. При этом эта функция, мы требуем от функции функция, мы требуем от функции функция, мы требуем от функции потенциала двух ещё вещей, чтобы она потенциала двух ещё вещей, чтобы она потенциала двух ещё вещей, чтобы она была, соответственно, какая-то была, соответственно, какая-то была, соответственно, какая-то ограниченная. Ну, наверное, это не ограниченная. Ну, наверное, это не ограниченная. Ну, наверное, это не сложно, да? Как бы мы её задаём, да, сложно, да? Как бы мы её задаём, да, сложно, да? Как бы мы её задаём, да, чтобы как бы она у нас не росла в чтобы как бы она у нас не росла в чтобы как бы она у нас не росла в бесконечности или минус бесконечность. И

28:23бесконечности или минус бесконечность. И бесконечности или минус бесконечность. И чтобы в терминальном стейте она была чтобы в терминальном стейте она была чтобы в терминальном стейте она была равна ноль. Ну, тоже, наверное, довольно равна ноль. Ну, тоже, наверное, довольно равна ноль. Ну, тоже, наверное, довольно логично. И такую функцию задизайнить логично. И такую функцию задизайнить логично. И такую функцию задизайнить несложно. Опять-таки, обычно её дизайнт, несложно. Опять-таки, обычно её дизайнт, несложно. Опять-таки, обычно её дизайнт, прокидывая информацию как-то из будущего прокидывая информацию как-то из будущего

28:33прокидывая информацию как-то из будущего информацию о будущих ревор в прошлом. Э, информацию о будущих ревор в прошлом. Э, информацию о будущих ревор в прошлом. Э, соответственно, как вы можете увидеть, соответственно, как вы можете увидеть, соответственно, как вы можете увидеть, если мы сделаем и применим если мы сделаем и применим если мы сделаем и применим телескопическопические суммы здесь телескопическопические суммы здесь телескопическопические суммы здесь внизу, то у нас получится, что первая внизу, то у нас получится, что первая внизу, то у нас получится, что первая штука, какая была, такая осталась. штука, какая была, такая осталась.

28:46штука, какая была, такая осталась. Дальше, когда мы пытаемся делать Дальше, когда мы пытаемся делать Дальше, когда мы пытаемся делать максимизацию по политике, помните, JP - максимизацию по политике, помните, JP - максимизацию по политике, помните, JP - это наш наш таргет, то вот эта вот это наш наш таргет, то вот эта вот это наш наш таргет, то вот эта вот первая штуковинка, она у нас не зависит первая штуковинка, она у нас не зависит первая штуковинка, она у нас не зависит от наших экшенов, от нашей политики от наших экшенов, от нашей политики от наших экшенов, от нашей политики никак. Это начальное состояние. Функция никак. Это начальное состояние. Функция

28:59никак. Это начальное состояние. Функция в начальном состоянии, она вообще в начальном состоянии, она вообще в начальном состоянии, она вообще независит от того, куда мы дальше независит от того, куда мы дальше независит от того, куда мы дальше перейдём. И дальше у нас остался перейдём. И дальше у нас остался перейдём. И дальше у нас остался последний тёрм. Вот этот. Ну, с ним всё последний тёрм. Вот этот. Ну, с ним всё последний тёрм. Вот этот. Ну, с ним всё просто. Мы как бы по сути и попросили по просто. Мы как бы по сути и попросили по просто. Мы как бы по сути и попросили по определению для того, чтобы у нас, определению для того, чтобы у нас,

29:10определению для того, чтобы у нас, соответственно, этот тёрм вот так вот соответственно, этот тёрм вот так вот соответственно, этот тёрм вот так вот работал. Э, что мы попросили по работал. Э, что мы попросили по работал. Э, что мы попросили по определению? Либо чтобы он был определению? Либо чтобы он был определению? Либо чтобы он был ограничен. Тогда у нас в если ограничен. Тогда у нас в если ограничен. Тогда у нас в если бесконечный эпизод, то у нас в пределе бесконечный эпизод, то у нас в пределе бесконечный эпизод, то у нас в пределе это сойдётся к нулю. Ну и, это сойдётся к нулю. Ну и, это сойдётся к нулю. Ну и, соответственно, никак не сдвинется наша

29:23соответственно, никак не сдвинется наша соответственно, никак не сдвинется наша наш ээ JP, наш таргет, да, который мы наш ээ JP, наш таргет, да, который мы наш ээ JP, наш таргет, да, который мы оптимизируем. Ну либо, соответственно, оптимизируем. Ну либо, соответственно, оптимизируем. Ну либо, соответственно, если у нас есть какой-то терминальный если у нас есть какой-то терминальный если у нас есть какой-то терминальный стейт, то мы потребовали, чтобы, давайте стейт, то мы потребовали, чтобы, давайте стейт, то мы потребовали, чтобы, давайте вот так подчеркну, чтобы было видно, в вот так подчеркну, чтобы было видно, в

29:33вот так подчеркну, чтобы было видно, в терминальном стейте это было равно нулю. терминальном стейте это было равно нулю. терминальном стейте это было равно нулю. Вот. Извините, что на это потратил много Вот. Извините, что на это потратил много Вот. Извините, что на это потратил много времени, но я считаю, что это может быть времени, но я считаю, что это может быть времени, но я считаю, что это может быть не настолько важно для сегодняшней не настолько важно для сегодняшней не настолько важно для сегодняшней лекции, но довольно идея важная, которая лекции, но довольно идея важная, которая лекции, но довольно идея важная, которая вам во многом пригодится и часто

29:45вам во многом пригодится и часто вам во многом пригодится и часто пригодится на практике, особенно в пригодится на практике, особенно в пригодится на практике, особенно в сложных энваронментах. сложных энваронментах. сложных энваронментах. Теперь мы можем увидеть другую штуку, Теперь мы можем увидеть другую штуку, Теперь мы можем увидеть другую штуку, которая на этом основывается. которая на этом основывается. которая на этом основывается. Другая штука, которая на этом Другая штука, которая на этом Другая штука, которая на этом основывается - это RPI relative основывается - это RPI relative основывается - это RPI relative performance improvement. И это, на самом

29:59performance improvement. И это, на самом performance improvement. И это, на самом деле, очень крутая история, которая деле, очень крутая история, которая деле, очень крутая история, которая сегодня нам будет важна. И вообще мы, сегодня нам будет важна. И вообще мы, сегодня нам будет важна. И вообще мы, ээ, мне кажется, она довольно сильно ээ, мне кажется, она довольно сильно ээ, мне кажется, она довольно сильно меняет, по крайней мере, для меня меняет, по крайней мере, для меня меняет, по крайней мере, для меня поменяла в своё время представление о поменяла в своё время представление о поменяла в своё время представление о том, вообще, как работает. Идея такая,

30:11том, вообще, как работает. Идея такая, том, вообще, как работает. Идея такая, что если у нас есть две какие-то что если у нас есть две какие-то что если у нас есть две какие-то политики, то мы можем сделать такой политики, то мы можем сделать такой политики, то мы можем сделать такой трюк, чтобы сравнить эти политики. трюк, чтобы сравнить эти политики. трюк, чтобы сравнить эти политики. Мы можем сделать трюк через то, что Мы можем сделать трюк через то, что Мы можем сделать трюк через то, что траектории мы собираем одной политикой, траектории мы собираем одной политикой, траектории мы собираем одной политикой, а advantage считаем по другой политики, а advantage считаем по другой политики,

30:26а advantage считаем по другой политики, да? Ну, то есть вы помните, что да? Ну, то есть вы помните, что да? Ну, то есть вы помните, что advantage - это Qункция минус value advantage - это Qункция минус value advantage - это Qункция минус value функция, которая для какой-то политики. функция, которая для какой-то политики. функция, которая для какой-то политики. И, соответственно, пока вот давайте мы И, соответственно, пока вот давайте мы И, соответственно, пока вот давайте мы забудем про аппроксимации, мы сейчас к забудем про аппроксимации, мы сейчас к забудем про аппроксимации, мы сейчас к ним ещё вернёмся, но как будто бы мы их ним ещё вернёмся, но как будто бы мы их

30:38ним ещё вернёмся, но как будто бы мы их знали, а, и мы тогда могли бы применить, знали, а, и мы тогда могли бы применить, знали, а, и мы тогда могли бы применить, то это верно вот для абсолютно любых то это верно вот для абсолютно любых то это верно вот для абсолютно любых двух двух двух валидных политик. валидные. Вы помните, валидных политик. валидные. Вы помните, валидных политик. валидные. Вы помните, в самом начале это просто технические в самом начале это просто технические в самом начале это просто технические наши условия на то, какие могут быть наши условия на то, какие могут быть наши условия на то, какие могут быть политики. У нас будет верно, что разница

30:52политики. У нас будет верно, что разница политики. У нас будет верно, что разница value функции, то вот это есть relative value функции, то вот это есть relative value функции, то вот это есть relative performance, да? То есть как бы performance, да? То есть как бы performance, да? То есть как бы насколько одна политика лучше, чем насколько одна политика лучше, чем насколько одна политика лучше, чем другая. Э разница может быть другая. Э разница может быть другая. Э разница может быть представлена в таком виде. Мы берём представлена в таком виде. Мы берём представлена в таком виде. Мы берём траектории, которые мы собрали нашей траектории, которые мы собрали нашей

31:06траектории, которые мы собрали нашей второй политикой, второй политикой, второй политикой, а advantage берём от нашей первой а advantage берём от нашей первой а advantage берём от нашей первой политики. Соответственно, мы как бы политики. Соответственно, мы как бы политики. Соответственно, мы как бы смогли оценить нашу политику номер два смогли оценить нашу политику номер два смогли оценить нашу политику номер два через политику номер один. То есть мы через политику номер один. То есть мы через политику номер один. То есть мы можем пойти поиграть в среду политикой можем пойти поиграть в среду политикой можем пойти поиграть в среду политикой номер два и при этом, умея считать Q

31:26номер два и при этом, умея считать Q номер два и при этом, умея считать Q функции, функции для политики номер функции, функции для политики номер функции, функции для политики номер один, мы можем получить вот эту разницу. один, мы можем получить вот эту разницу. один, мы можем получить вот эту разницу. То есть, естественно, мы таким образом То есть, естественно, мы таким образом То есть, естественно, мы таким образом не получим реальную value функцию, но мы не получим реальную value функцию, но мы не получим реальную value функцию, но мы получим разницу. Мы получим, насколько получим разницу. Мы получим, насколько

31:35получим разницу. Мы получим, насколько одна политика лучше, чем другая, с точки одна политика лучше, чем другая, с точки одна политика лучше, чем другая, с точки зрения value функции. что как вы зрения value функции. что как вы зрения value функции. что как вы помните, разница в value функции нам помните, разница в value функции нам помните, разница в value функции нам достаточно для того, чтобы делать достаточно для того, чтобы делать достаточно для того, чтобы делать какой-то полис improvement. Это вот какой-то полис improvement. Это вот какой-то полис improvement. Это вот первая лекция. То есть много-много идей, первая лекция. То есть много-много идей,

31:46первая лекция. То есть много-много идей, которые для которых достаточно только которые для которых достаточно только которые для которых достаточно только разница value функции. Там не нужно разница value функции. Там не нужно разница value функции. Там не нужно знать её саму. И это довольно интересная знать её саму. И это довольно интересная знать её саму. И это довольно интересная история, да, потому что мы здесь сделали история, да, потому что мы здесь сделали история, да, потому что мы здесь сделали такой трюк и просто применили advantage. такой трюк и просто применили advantage. такой трюк и просто применили advantage. Э здесь, соответственно, я оставил пруф

31:59Э здесь, соответственно, я оставил пруф Э здесь, соответственно, я оставил пруф на этом слайде. Ээ он тут ничего вообще на этом слайде. Ээ он тут ничего вообще на этом слайде. Ээ он тут ничего вообще сложного, просто немножко в разные сложного, просто немножко в разные сложного, просто немножко в разные стороны всё перезаписать. Но просто идея стороны всё перезаписать. Но просто идея стороны всё перезаписать. Но просто идея такая, давайте в двух словах скажу, что такая, давайте в двух словах скажу, что такая, давайте в двух словах скажу, что мы расписываем нашу value функцию по мы расписываем нашу value функцию по мы расписываем нашу value функцию по определению определению

32:15определению и нашей политики номер два. Дальше и нашей политики номер два. Дальше и нашей политики номер два. Дальше функцию политики номер один вносим функцию политики номер один вносим функцию политики номер один вносим внутрь, да, потому что мы можем это внутрь, да, потому что мы можем это внутрь, да, потому что мы можем это сделать, да, ну, соответственно, это сделать, да, ну, соответственно, это сделать, да, ну, соответственно, это просто сумма, где мы стартуем в S0 - это просто сумма, где мы стартуем в S0 - это просто сумма, где мы стартуем в S0 - это какая-то константа. Внесли её внутрь, какая-то константа. Внесли её внутрь,

32:26какая-то константа. Внесли её внутрь, дальше снова применили наши дальше снова применили наши дальше снова применили наши телескопические суммы, на которые мы телескопические суммы, на которые мы телескопические суммы, на которые мы смотрели. Именно поэтому мы обсуждали смотрели. Именно поэтому мы обсуждали смотрели. Именно поэтому мы обсуждали первую историю. Да, мы можем так сделать первую историю. Да, мы можем так сделать первую историю. Да, мы можем так сделать и никак не поменяется у нас от этого то, и никак не поменяется у нас от этого то, и никак не поменяется у нас от этого то, что мы делаем. Это вот как раз по тому, что мы делаем. Это вот как раз по тому,

32:39что мы делаем. Это вот как раз по тому, что мы смотрели с вами только что, да, что мы смотрели с вами только что, да, что мы смотрели с вами только что, да, по ревортшейпингу, по по теореме по ревортшейпингу, по по теореме по ревортшейпингу, по по теореме реворшейпинга. реворшейпинга. реворшейпинга. Взяли телескопические суммы, дальше Взяли телескопические суммы, дальше Взяли телескопические суммы, дальше немножко перезаписали наши тёрмы, то немножко перезаписали наши тёрмы, то немножко перезаписали наши тёрмы, то есть тут ничего не поменило, не есть тут ничего не поменило, не есть тут ничего не поменило, не поменялось, просто вот эту сумму с этой поменялось, просто вот эту сумму с этой

32:51поменялось, просто вот эту сумму с этой соединили, гамму в степени Т вынесли. У соединили, гамму в степени Т вынесли. У соединили, гамму в степени Т вынесли. У нас получилось вот такое выражение, нас получилось вот такое выражение, нас получилось вот такое выражение, которое вы, наверное, уже узнали. Если которое вы, наверное, уже узнали. Если которое вы, наверное, уже узнали. Если мы сюда внесём внутрь мотоблюдание, ну, мы сюда внесём внутрь мотоблюдание, ну, мы сюда внесём внутрь мотоблюдание, ну, естественно, потому что, э-э, с точки естественно, потому что, э-э, с точки естественно, потому что, э-э, с точки зрения траектории политики номер два у зрения траектории политики номер два у

33:05зрения траектории политики номер два у нас нас нас функция политики номер один - это функция политики номер один - это функция политики номер один - это константа. Мы берём, узнаём здесь константа. Мы берём, узнаём здесь константа. Мы берём, узнаём здесь advantage функцию. Вот здесь вот мы advantage функцию. Вот здесь вот мы advantage функцию. Вот здесь вот мы узнали кофункцию вот этой части, здесь узнали кофункцию вот этой части, здесь узнали кофункцию вот этой части, здесь узнаём advantage и получаем нашу узнаём advantage и получаем нашу узнаём advantage и получаем нашу формулу. Будут вопросы, пожалуйста, формулу. Будут вопросы, пожалуйста,

33:17формулу. Будут вопросы, пожалуйста, спрашивайте в чате. Ээ это вывод, спрашивайте в чате. Ээ это вывод, спрашивайте в чате. Ээ это вывод, наверное, не настолько важен для того, наверное, не настолько важен для того, наверное, не настолько важен для того, что мы будем обсуждать сегодня, но мне что мы будем обсуждать сегодня, но мне что мы будем обсуждать сегодня, но мне кажется, его классно и полезно понимать. кажется, его классно и полезно понимать. кажется, его классно и полезно понимать. Ну, то, что нам важно понимать - это то, Ну, то, что нам важно понимать - это то, Ну, то, что нам важно понимать - это то, что мы можем запомнить с помощью такого что мы можем запомнить с помощью такого

33:29что мы можем запомнить с помощью такого трюка сделать оценку по, соответственно, трюка сделать оценку по, соответственно, трюка сделать оценку по, соответственно, нашей другой политике. нашей другой политике. нашей другой политике. >> Давайте поймём, для чего. >> Давайте поймём, для чего. >> Давайте поймём, для чего. >> Да, да, конечно. Давайте, давайте, >> Да, да, конечно. Давайте, давайте, >> Да, да, конечно. Давайте, давайте, >> да. Про полис про полис improvement. А у >> да. Про полис про полис improvement. А у >> да. Про полис про полис improvement. А у нас же тогда будет зависеть

33:49а ну от длины числа шагов, по которым мы а ну от длины числа шагов, по которым мы сравниваем э две политилитики.

33:57Мы оцениваем этот иммент, да, Мы оцениваем этот иммент, да, относительно, и, соответственно, мы относительно, и, соответственно, мы относительно, и, соответственно, мы можем наоборот можем наоборот можем наоборот неправильно оценить. неправильно оценить. неправильно оценить. И И И >> пока не совсем понял мысль. А поче >> пока не совсем понял мысль. А поче >> пока не совсем понял мысль. А поче почему от длины зависит, что мы можем почему от длины зависит, что мы можем почему от длины зависит, что мы можем неправильно оценить? Почему вы так неправильно оценить? Почему вы так неправильно оценить? Почему вы так думаете?

34:20>> Ну вот э там сумма по т по т больше 0. >> Ну вот э там сумма по т по т больше 0. этот, ну, как бы до конца эпизода этот, ну, как бы до конца эпизода этот, ну, как бы до конца эпизода сравнивается или докуда, сравнивается или докуда, сравнивается или докуда, >> да? Это до конца, ну, до конца >> да? Это до конца, ну, до конца >> да? Это до конца, ну, до конца траектории, которая у нас есть, да, траектории, которая у нас есть, да, траектории, которая у нас есть, да, допустим, мы проиграли эпизод до конца, допустим, мы проиграли эпизод до конца, допустим, мы проиграли эпизод до конца, да? да? да? Просто если у нас, э, э нету Просто если у нас, э, э нету

34:37Просто если у нас, э, э нету финального какого-то эпизода, если мы финального какого-то эпизода, если мы финального какого-то эпизода, если мы там машинку вводим, да, например, или там машинку вводим, да, например, или там машинку вводим, да, например, или ещё что-то, или там палку удерживаем и у ещё что-то, или там палку удерживаем и у ещё что-то, или там палку удерживаем и у нас нет конечного какого-то или он очень нас нет конечного какого-то или он очень нас нет конечного какого-то или он очень далеко и нам нужно кусками сравнивать далеко и нам нужно кусками сравнивать далеко и нам нужно кусками сравнивать политики, то мы наоборот можем так хуже политики, то мы наоборот можем так хуже

34:53политики, то мы наоборот можем так хуже сделать. сделать. сделать. Так, смотрите, вот если э если у нас Так, смотрите, вот если э если у нас Так, смотрите, вот если э если у нас бесконечный эпизод, то он бесконечный бесконечный эпизод, то он бесконечный бесконечный эпизод, то он бесконечный хоть для первой политики, хоть для хоть для первой политики, хоть для хоть для первой политики, хоть для второй, потому что мы будем бесконечно второй, потому что мы будем бесконечно второй, потому что мы будем бесконечно ходить и до какого-то одного и того же ходить и до какого-то одного и того же ходить и до какого-то одного и того же момента, допустим, как вы помните, в

35:08момента, допустим, как вы помните, в момента, допустим, как вы помните, в имплементации Джима у нас есть какой-то имплементации Джима у нас есть какой-то имплементации Джима у нас есть какой-то максимум steps в эпизоде. максимум steps в эпизоде. максимум steps в эпизоде. Соответственно, что первой политикой мы Соответственно, что первой политикой мы Соответственно, что первой политикой мы будем играть, мы дойдём до 10.000 будем играть, мы дойдём до 10.000 будем играть, мы дойдём до 10.000 эпизодов, да, что второй, потому что у эпизодов, да, что второй, потому что у эпизодов, да, что второй, потому что у нас нет какого-то более раннего выхода. нас нет какого-то более раннего выхода.

35:19нас нет какого-то более раннего выхода. Вот поэтому разницы нет. А за счёт вот Вот поэтому разницы нет. А за счёт вот Вот поэтому разницы нет. А за счёт вот этой вот истории с ревордшейпингом, за этой вот истории с ревордшейпингом, за этой вот истории с ревордшейпингом, за счёт того, что мы понимаем, что у нас по счёт того, что мы понимаем, что у нас по счёт того, что мы понимаем, что у нас по определению value функция, она определению value функция, она определению value функция, она удовлетворяет ревордшейпингу в том удовлетворяет ревордшейпингу в том удовлетворяет ревордшейпингу в том плане, то, что если у нас терминальный плане, то, что если у нас терминальный

35:31плане, то, что если у нас терминальный стейт в нём нолик, то нам, стейт в нём нолик, то нам, стейт в нём нолик, то нам, соответственно, неважно, да, мы соответственно, неважно, да, мы соответственно, неважно, да, мы закончили раньше или позже, мы всё равно закончили раньше или позже, мы всё равно закончили раньше или позже, мы всё равно там получили нолик. А если мы получили там получили нолик. А если мы получили там получили нолик. А если мы получили какую-то дополнительную награду, то мы какую-то дополнительную награду, то мы какую-то дополнительную награду, то мы теоретически и первой политикой можем теоретически и первой политикой можем

35:42теоретически и первой политикой можем получить эту же награду, и второй получить эту же награду, и второй получить эту же награду, и второй одинаково, да? То есть главное, что мы одинаково, да? То есть главное, что мы одинаково, да? То есть главное, что мы действуем в том же самомте. Главное, что действуем в том же самомте. Главное, что действуем в том же самомте. Главное, что мы могли бы, мы считаем матожидание, да? мы могли бы, мы считаем матожидание, да? мы могли бы, мы считаем матожидание, да? То есть как бы главное, что мы могли бы, То есть как бы главное, что мы могли бы, То есть как бы главное, что мы могли бы, то есть чтобы это жение было то есть чтобы это жение было

35:53то есть чтобы это жение было репрезентативно, мы могли бы проиграть репрезентативно, мы могли бы проиграть репрезентативно, мы могли бы проиграть такую траекторию. Неважно, что она такую траекторию. Неважно, что она такую траекторию. Неважно, что она другая, потому что оценка через другая, потому что оценка через другая, потому что оценка через мотожидание. мотожидание. мотожидание. >> То есть, если вы правы, если мы возьмём >> То есть, если вы правы, если мы возьмём >> То есть, если вы правы, если мы возьмём один какой-то конкретный смпл, один какой-то конкретный смпл, один какой-то конкретный смпл, мотождание - это то же самое, мотождание - это то же самое,

36:04мотождание - это то же самое, >> но один конкретный смпл нас не >> но один конкретный смпл нас не >> но один конкретный смпл нас не интересует, естественно, да, это всегда интересует, естественно, да, это всегда интересует, естественно, да, это всегда плохая оценка. И вот мы про это немножко плохая оценка. И вот мы про это немножко плохая оценка. И вот мы про это немножко поговорим, ээ, как мы это будем делать. поговорим, ээ, как мы это будем делать. поговорим, ээ, как мы это будем делать. Но да, ответил на вопрос. Но да, ответил на вопрос. Но да, ответил на вопрос. Дада. Да, спасибо. Дада. Да, спасибо. Дада. Да, спасибо. >> Всё, спасибо большое. Хорошо. Ещё

36:19>> Всё, спасибо большое. Хорошо. Ещё >> Всё, спасибо большое. Хорошо. Ещё вопрос. Спасибо. вопрос. Спасибо. вопрос. Спасибо. >> А вот где мы advantage тут считаем, это >> А вот где мы advantage тут считаем, это >> А вот где мы advantage тут считаем, это мы берём из политики P2 или это из P1? мы берём из политики P2 или это из P1? мы берём из политики P2 или это из P1? >> Вот в этом и крутость ээ я считаю, по >> Вот в этом и крутость ээ я считаю, по >> Вот в этом и крутость ээ я считаю, по крайней мере, этого вывода, что адван из крайней мере, этого вывода, что адван из крайней мере, этого вывода, что адван из политики один. То есть траектории политики один. То есть траектории

36:35политики один. То есть траектории политикой два, а advantage политикой политикой два, а advantage политикой политикой два, а advantage политикой один. И один. И один. И >> тогда понятно, >> тогда понятно, >> тогда понятно, >> да? Да. То есть вот это именно нам >> да? Да. То есть вот это именно нам >> да? Да. То есть вот это именно нам позволяет сравнивать эти две политики, позволяет сравнивать эти две политики, позволяет сравнивать эти две политики, э, разницу value функции двух политик, э, разницу value функции двух политик, э, разницу value функции двух политик, как бы взяв адванки и траектории другой как бы взяв адванки и траектории другой

36:49как бы взяв адванки и траектории другой политики. Вот в в этом как бы история. политики. Вот в в этом как бы история. политики. Вот в в этом как бы история. Вот так. Двигаюсь дальше, да? Тогда Вот так. Двигаюсь дальше, да? Тогда Вот так. Двигаюсь дальше, да? Тогда надеюсь на всё ответил. Если что, надеюсь на всё ответил. Если что, надеюсь на всё ответил. Если что, пожалуйста, естественно, всегда пожалуйста, естественно, всегда пожалуйста, естественно, всегда прерывайте, спрашивайте. прерывайте, спрашивайте. прерывайте, спрашивайте. Давайте дальше. Дальше на что мы хотим Давайте дальше. Дальше на что мы хотим Давайте дальше. Дальше на что мы хотим посмотреть, для чего мы вообще это всё

37:06посмотреть, для чего мы вообще это всё посмотреть, для чего мы вообще это всё выводили. Но, как вы помните, наша какая выводили. Но, как вы помните, наша какая выводили. Но, как вы помните, наша какая мотивация? Э, в ACC алгоритме мы только мотивация? Э, в ACC алгоритме мы только мотивация? Э, в ACC алгоритме мы только собрали траекторию и только по этой собрали траекторию и только по этой собрали траекторию и только по этой траектории, самой свежей политикой, траектории, самой свежей политикой, траектории, самой свежей политикой, которая есть, мы хотим обновить то, которая есть, мы хотим обновить то, которая есть, мы хотим обновить то, как мы хотим действовать более хорошо с

37:22как мы хотим действовать более хорошо с как мы хотим действовать более хорошо с помощью поли полигран, да, обновить помощью поли полигран, да, обновить помощью поли полигран, да, обновить политику, используя оценки, используя политику, используя оценки, используя политику, используя оценки, используя вообще всё, что мы собрали, и вообще всё, что мы собрали, и вообще всё, что мы собрали, и траекторию, и оценку критика по траекторию, и оценку критика по траекторию, и оценку критика по самой-самой последней свежей политике. самой-самой последней свежей политике. самой-самой последней свежей политике. Наша идея попробовать здесь Наша идея попробовать здесь

37:36Наша идея попробовать здесь зафиксировать какую-то политику старую. зафиксировать какую-то политику старую. зафиксировать какую-то политику старую. Она не должна быть очень старая, я сразу Она не должна быть очень старая, я сразу Она не должна быть очень старая, я сразу же скажу, мы это увидим, это будет наше же скажу, мы это увидим, это будет наше же скажу, мы это увидим, это будет наше требование. Но старое в том плане, то требование. Но старое в том плане, то требование. Но старое в том плане, то что мы собрали, допустим, какой-то что мы собрали, допустим, какой-то что мы собрали, допустим, какой-то политикой наши сэмплы и сделали политикой наши сэмплы и сделали

37:50политикой наши сэмплы и сделали несколько апдейтов, политику не меняя. несколько апдейтов, политику не меняя. несколько апдейтов, политику не меняя. То есть как бы мы хотим сделать То есть как бы мы хотим сделать То есть как бы мы хотим сделать несколько апдейтов несколько апдейтов несколько апдейтов при том, что политика будет фиксирована, при том, что политика будет фиксирована, при том, что политика будет фиксирована, не делая после каждого апдейта новое не делая после каждого апдейта новое не делая после каждого апдейта новое обновление. Вот эта базовая идея. Мы обновление. Вот эта базовая идея. Мы обновление. Вот эта базовая идея. Мы увидим, для чего это нужно и как это

38:04увидим, для чего это нужно и как это увидим, для чего это нужно и как это работает. И давайте сейчас работает. И давайте сейчас работает. И давайте сейчас сфокусируемся, почему мы можем так сфокусируемся, почему мы можем так сфокусируемся, почему мы можем так сделать. Ну вот, исходя то из того, что сделать. Ну вот, исходя то из того, что сделать. Ну вот, исходя то из того, что мы только что посмотрели с вами, мы мы только что посмотрели с вами, мы мы только что посмотрели с вами, мы получаем ровно то же самое. Вот помните, получаем ровно то же самое. Вот помните, получаем ровно то же самое. Вот помните, у нас была только что политика один, у нас была только что политика один,

38:15у нас была только что политика один, политика 2. Ну давайте скажем, что у нас политика 2. Ну давайте скажем, что у нас политика 2. Ну давайте скажем, что у нас политика один - это полиcy old, а политика один - это полиcy old, а политика один - это полиcy old, а политика 2, которой мы играем - это наше политика 2, которой мы играем - это наше политика 2, которой мы играем - это наше текущеае полиси. текущеае полиси. текущеае полиси. Соответственно, мы получили крутую Соответственно, мы получили крутую Соответственно, мы получили крутую штуку, что мы можем сдвинуться вот в штуку, что мы можем сдвинуться вот в штуку, что мы можем сдвинуться вот в этом случае не то чтобы в оффлайновый

38:33этом случае не то чтобы в оффлайновый этом случае не то чтобы в оффлайновый режим, да, потому что всё ещё траектории режим, да, потому что всё ещё траектории режим, да, потому что всё ещё траектории мы собираем нашей текущей политикой, но мы собираем нашей текущей политикой, но мы собираем нашей текущей политикой, но при этом хотя бы advantage мы можем при этом хотя бы advantage мы можем при этом хотя бы advantage мы можем использовать прошлой политики. И это уже использовать прошлой политики. И это уже использовать прошлой политики. И это уже довольно круто, уже довольно интересно. довольно круто, уже довольно интересно.

38:46довольно круто, уже довольно интересно. Э давайте тут немножко сделаем шаг Э давайте тут немножко сделаем шаг Э давайте тут немножко сделаем шаг вперёд, поймём то, что вперёд, поймём то, что вперёд, поймём то, что что из этого следует, да? Вот, да, что из этого следует, да? Вот, да, что из этого следует, да? Вот, да, давайте ещё раз здесь посмотрим. В левой давайте ещё раз здесь посмотрим. В левой давайте ещё раз здесь посмотрим. В левой части у нас разница наших, части у нас разница наших, части у нас разница наших, соответственно, j наших tarргет, а справа то, что мы получили - это, а справа то, что мы получили - это, соответственно, наша вот то же самое,

39:06соответственно, наша вот то же самое, соответственно, наша вот то же самое, что дело делали в выводе, наш advantage, что дело делали в выводе, наш advantage, что дело делали в выводе, наш advantage, который сравнивает политику одну и который сравнивает политику одну и который сравнивает политику одну и политику другую. Что мы хотим идейно, политику другую. Что мы хотим идейно, политику другую. Что мы хотим идейно, помните policy improvement, который мы помните policy improvement, который мы помните policy improvement, который мы вообще смотрели на policy itteration, вообще смотрели на policy itteration, вообще смотрели на policy itteration, алгоритм смотрели на первой лекции. Мы

39:17алгоритм смотрели на первой лекции. Мы алгоритм смотрели на первой лекции. Мы знаем то, что если мы знаем то, что если мы знаем то, что если мы можем действовать жадно по отношению к можем действовать жадно по отношению к можем действовать жадно по отношению к нашему какому-то таргету функции, ну или нашему какому-то таргету функции, ну или нашему какому-то таргету функции, ну или в этом случае нашему таргету advantage, в этом случае нашему таргету advantage, в этом случае нашему таргету advantage, да, это идейно то же самое, да, потому да, это идейно то же самое, да, потому да, это идейно то же самое, да, потому что, ну, как бы мы экшн будем выбирать, что, ну, как бы мы экшн будем выбирать,

39:31что, ну, как бы мы экшн будем выбирать, исходя только изQункции. Э мы можем исходя только изQункции. Э мы можем исходя только изQункции. Э мы можем делать поли improvement на каждом шаге. делать поли improvement на каждом шаге. делать поли improvement на каждом шаге. Ну, можно здесь, наверное, мне кажется, Ну, можно здесь, наверное, мне кажется, Ну, можно здесь, наверное, мне кажется, даже более просто, чем в случае даже более просто, чем в случае даже более просто, чем в случае полиation это увидеть. Ну, смотрите, вот полиation это увидеть. Ну, смотрите, вот полиation это увидеть. Ну, смотрите, вот такая у нас сумма, да, мы видим то, что, такая у нас сумма, да, мы видим то, что,

39:45такая у нас сумма, да, мы видим то, что, ну, наша разница, разница между нашими ну, наша разница, разница между нашими ну, наша разница, разница между нашими таргетами - это вот такая вот сумма. И таргетами - это вот такая вот сумма. И таргетами - это вот такая вот сумма. И что мы видим? Но если мы будем что мы видим? Но если мы будем что мы видим? Но если мы будем действовать жадно по отношению к нашему действовать жадно по отношению к нашему действовать жадно по отношению к нашему пилду, то мы знаем то, что вот эта пилду, то мы знаем то, что вот эта пилду, то мы знаем то, что вот эта разница, она у нас будет больше либо разница, она у нас будет больше либо

39:56разница, она у нас будет больше либо равна нуля. Почему? Потому что правая равна нуля. Почему? Потому что правая равна нуля. Почему? Потому что правая часть больше либо равна нуля. Почему? часть больше либо равна нуля. Почему? часть больше либо равна нуля. Почему? Потому что представим в каждом каждом Потому что представим в каждом каждом Потому что представим в каждом каждом стейте, либо мы уже действуем по стейте, либо мы уже действуем по стейте, либо мы уже действуем по отношению к нашему адвантаджу прошлому, отношению к нашему адвантаджу прошлому, отношению к нашему адвантаджу прошлому, который у нас был, да, policy old, мы который у нас был, да, policy old, мы

40:10который у нас был, да, policy old, мы либо уже действуем, ну, максимально либо уже действуем, ну, максимально либо уже действуем, ну, максимально хорошо, тогда это равно нулю, либо мы хорошо, тогда это равно нулю, либо мы хорошо, тогда это равно нулю, либо мы можем сделать немножечко им, тогда у нас можем сделать немножечко им, тогда у нас можем сделать немножечко им, тогда у нас q- функция будет больше, чем value q- функция будет больше, чем value q- функция будет больше, чем value функции, да, потому что value функция функции, да, потому что value функция функции, да, потому что value функция нас берёт экшен из нашей политики, а мы нас берёт экшен из нашей политики, а мы

40:22нас берёт экшен из нашей политики, а мы будем брать жадно, и он будет лучше, да, будем брать жадно, и он будет лучше, да, будем брать жадно, и он будет лучше, да, ну, по определению жадности. Это мы ну, по определению жадности. Это мы ну, по определению жадности. Это мы смотрели тоже с с вами на первой лекции. смотрели тоже с с вами на первой лекции. смотрели тоже с с вами на первой лекции. Вот, эээ, там прямо был вывод, если Вот, эээ, там прямо был вывод, если Вот, эээ, там прямо был вывод, если помните, можно можно пойти на эти слайды помните, можно можно пойти на эти слайды помните, можно можно пойти на эти слайды и освежить, почему это работает так, но

40:34и освежить, почему это работает так, но и освежить, почему это работает так, но я думаю, интуитивно мы для таких тёрмов я думаю, интуитивно мы для таких тёрмов я думаю, интуитивно мы для таких тёрмов получим что-то положительное, а для получим что-то положительное, а для получим что-то положительное, а для прошлых, соответственно, где уже прошлых, соответственно, где уже прошлых, соответственно, где уже действуем действуем действуем максимально эффективно, мы получим максимально эффективно, мы получим максимально эффективно, мы получим нолики. Ну, соответственно, эта сумма, нолики. Ну, соответственно, эта сумма, нолики. Ну, соответственно, эта сумма, она больше и равна нуля. Вот. И это

40:48она больше и равна нуля. Вот. И это она больше и равна нуля. Вот. И это довольно прикольная идея, то, что, довольно прикольная идея, то, что, довольно прикольная идея, то, что, смотрите, мы как бы придумали способ, смотрите, мы как бы придумали способ, смотрите, мы как бы придумали способ, как улучшать политику с помощью только как улучшать политику с помощью только как улучшать политику с помощью только адванжи новой политики. адванжи новой политики. адванжи новой политики. Ну, давайте подумаем, да, наверное, Ну, давайте подумаем, да, наверное, Ну, давайте подумаем, да, наверное, немножко это кажется не настолько немножко это кажется не настолько

41:04немножко это кажется не настолько как бы хорошо. А почему мы так раньше не как бы хорошо. А почему мы так раньше не как бы хорошо. А почему мы так раньше не делали, да? Вопрос, ну, как бы мы мы делали, да? Вопрос, ну, как бы мы мы делали, да? Вопрос, ну, как бы мы мы вроде получили такой классный вывод, вроде получили такой классный вывод, вроде получили такой классный вывод, почему мы так не могли раньше делать и почему мы так не могли раньше делать и почему мы так не могли раньше делать и вообще как бы откуда откуда это всё вообще как бы откуда откуда это всё вообще как бы откуда откуда это всё получилось. Ну, а получилось это таким получилось. Ну, а получилось это таким

41:18получилось. Ну, а получилось это таким образом, что образом, что образом, что мы м всё ещё, к сожалению, мы не можем мы м всё ещё, к сожалению, мы не можем мы м всё ещё, к сожалению, мы не можем перейти в овполисе режим, потому что перейти в овполисе режим, потому что перейти в овполисе режим, потому что траектория-то мы собираем нашей новой траектория-то мы собираем нашей новой траектория-то мы собираем нашей новой политикой. Ну и как бы какая разница, политикой. Ну и как бы какая разница, политикой. Ну и как бы какая разница, как нам считать advantage, прошлай как нам считать advantage, прошлай как нам считать advantage, прошлай политика или новой. Траектории мы всё

41:32политика или новой. Траектории мы всё политика или новой. Траектории мы всё равно собрали новым равно собрали новым равно собрали новым нашей какой-то новой, соответственно, нашей какой-то новой, соответственно, нашей какой-то новой, соответственно, политикой, которую мы должны обновлять, политикой, которую мы должны обновлять, политикой, которую мы должны обновлять, да? Ну вот вот эта вот часть. да? Ну вот вот эта вот часть. да? Ну вот вот эта вот часть. Давайте посмотрим немножко дальше. А мы Давайте посмотрим немножко дальше. А мы Давайте посмотрим немножко дальше. А мы хотим перезаписать наш таргет. Вот то же хотим перезаписать наш таргет. Вот то же

41:49хотим перезаписать наш таргет. Вот то же самое, что мы смотрели только что, да? самое, что мы смотрели только что, да? самое, что мы смотрели только что, да? Ничего не поменялось вверху. Мы хотим Ничего не поменялось вверху. Мы хотим Ничего не поменялось вверху. Мы хотим перезаписать через такую штуку, которая перезаписать через такую штуку, которая перезаписать через такую штуку, которая часто вам встретится, если вы будете часто вам встретится, если вы будете часто вам встретится, если вы будете смотреть теоретически статьи полю, все смотреть теоретически статьи полю, все смотреть теоретически статьи полю, все оперируют именно вот этой вот штукой, оперируют именно вот этой вот штукой,

42:03оперируют именно вот этой вот штукой, называется state visitation называется state visitation называется state visitation distribution, то есть распределение, distribution, то есть распределение, distribution, то есть распределение, насколько мы часто посещаем стейты. Это насколько мы часто посещаем стейты. Это насколько мы часто посещаем стейты. Это вот эта вот штука вот здесь вот. вот эта вот штука вот здесь вот. вот эта вот штука вот здесь вот. Что она значит? Ну, по сути, это просто Что она значит? Ну, по сути, это просто Что она значит? Ну, по сути, это просто как-то вот мы переписали нашу как-то вот мы переписали нашу

42:20как-то вот мы переписали нашу траекторию. Сейчас увидим, каким именно траекторию. Сейчас увидим, каким именно траекторию. Сейчас увидим, каким именно образом, но интуитивно, видите, она не образом, но интуитивно, видите, она не образом, но интуитивно, видите, она не зависит от экшн, зависит только от зависит от экшн, зависит только от зависит от экшн, зависит только от стейта. Мы как бы внутри пытаемся стейта. Мы как бы внутри пытаемся стейта. Мы как бы внутри пытаемся совместить стастику нашего MDP и совместить стастику нашего MDP и совместить стастику нашего MDP и стахастику политики переходов. То есть стахастику политики переходов. То есть

42:36стахастику политики переходов. То есть как бы мы пытаемся внутри уместить две как бы мы пытаемся внутри уместить две как бы мы пытаемся внутри уместить две эти стахастики. Помните, мы всегда эти стахастики. Помните, мы всегда эти стахастики. Помните, мы всегда оперируем двумя стахастиками. как у нас оперируем двумя стахастиками. как у нас оперируем двумя стахастиками. как у нас сам MDP куда нас закинет и как наша сам MDP куда нас закинет и как наша сам MDP куда нас закинет и как наша политика куда нас закинет, да? Потому политика куда нас закинет, да? Потому политика куда нас закинет, да? Потому что в этом случае политики у нас уже что в этом случае политики у нас уже

42:48что в этом случае политики у нас уже всегда стахалистические, и мы как бы в всегда стахалистические, и мы как бы в всегда стахалистические, и мы как бы в одной штуки формулен пытаемся это одной штуки формулен пытаемся это одной штуки формулен пытаемся это соединить. Я тут выписал, соединить. Я тут выписал, соединить. Я тут выписал, соответственно, вот здесь вот выписал э соответственно, вот здесь вот выписал э соответственно, вот здесь вот выписал э такое более интуитивное какая-то такое более интуитивное какая-то такое более интуитивное какая-то какое-то объяснение. Вот в этом случае какое-то объяснение. Вот в этом случае

43:02какое-то объяснение. Вот в этом случае давайте я, ээ, один момент только давайте я, ээ, один момент только давайте я, ээ, один момент только подсвечу, что может бытьation подсвечу, что может бытьation подсвечу, что может бытьation distribution хоть бесконечный, хоть до distribution хоть бесконечный, хоть до distribution хоть бесконечный, хоть до какого-то времени Т. Тут не супер важно. какого-то времени Т. Тут не супер важно. какого-то времени Т. Тут не супер важно. Э-э, и то, и другое мы можем записать, Э-э, и то, и другое мы можем записать, Э-э, и то, и другое мы можем записать, но за счёт дисконтирования у нас эта но за счёт дисконтирования у нас эта

43:15но за счёт дисконтирования у нас эта сумма всегда будет сходиться. Ну, и сумма всегда будет сходиться. Ну, и сумма всегда будет сходиться. Ну, и потому что пробалити у нас всегда, потому что пробалити у нас всегда, потому что пробалити у нас всегда, естественно, ограничено единицей. естественно, ограничено единицей. естественно, ограничено единицей. Интуитивно можно смотреть на вот это Интуитивно можно смотреть на вот это Интуитивно можно смотреть на вот это State Visitation distribution - это как State Visitation distribution - это как State Visitation distribution - это как бы мера, где наш агент проводит больше бы мера, где наш агент проводит больше

43:29бы мера, где наш агент проводит больше всего времени во время игры, во время всего времени во время игры, во время всего времени во время игры, во время эпизода. То есть в каких стейтах он эпизода. То есть в каких стейтах он эпизода. То есть в каких стейтах он больше всего концентрирует время. Мне больше всего концентрирует время. Мне больше всего концентрирует время. Мне нравится вот это выражение, что это нравится вот это выражение, что это нравится вот это выражение, что это такой хиitmap. Вот представьте, такой хиitmap. Вот представьте, такой хиitmap. Вот представьте, построить хиitmap. Ну, в случае, если у построить хиitmap. Ну, в случае, если у

43:41построить хиitmap. Ну, в случае, если у нас ограниченное количество действий, нас ограниченное количество действий, нас ограниченное количество действий, где чаще у нас был агент. Вот эта вот где чаще у нас был агент. Вот эта вот где чаще у нас был агент. Вот эта вот история примерно про это. Ну, это такое история примерно про это. Ну, это такое история примерно про это. Ну, это такое интуитивное объяснение. Вот тут есть как интуитивное объяснение. Вот тут есть как интуитивное объяснение. Вот тут есть как бы формула, и больше нам важна формула. бы формула, и больше нам важна формула. бы формула, и больше нам важна формула. И нам важна штука, есть, соответственно,

43:53И нам важна штука, есть, соответственно, И нам важна штука, есть, соответственно, теорема. Э, это теорема, теорема. Э, это теорема, теорема. Э, это теорема, давайте дам референс давайте дам референс давайте дам референс 57 57 57 в

44:12можете посмотреть. Вывод супер простой, можете посмотреть. Вывод супер простой, просто как бы алгебраически немножко в просто как бы алгебраически немножко в просто как бы алгебраически немножко в разные стороны пораскидывать наши тёрмы. разные стороны пораскидывать наши тёрмы. разные стороны пораскидывать наши тёрмы. Но мы увидим здесь такую классную штуку, Но мы увидим здесь такую классную штуку, Но мы увидим здесь такую классную штуку, что мы как бы смогли разделить нашу что мы как бы смогли разделить нашу что мы как бы смогли разделить нашу стастику на две части. Что я имею в стастику на две части. Что я имею в стастику на две части. Что я имею в виду? У нас была стахастика по

44:26виду? У нас была стахастика по виду? У нас была стахастика по траектории, да? То есть как бы траектории, да? То есть как бы траектории, да? То есть как бы траектория приходит из политики. траектория приходит из политики. траектория приходит из политики. Помните, каждый раз мы просемплировали Помните, каждый раз мы просемплировали Помните, каждый раз мы просемплировали экtion, посмотрели на state, экtion, посмотрели на state, экtion, посмотрели на state, просмплировали новый. И вот эта вот наша просмплировали новый. И вот эта вот наша просмплировали новый. И вот эта вот наша траектория, которая приходит из траектория, которая приходит из

44:36траектория, которая приходит из политики, смплируется. Мы можем политики, смплируется. Мы можем политики, смплируется. Мы можем разделить эту всю историю на две части. разделить эту всю историю на две части. разделить эту всю историю на две части. Как будто бы стейты приходят из вот Как будто бы стейты приходят из вот Как будто бы стейты приходят из вот этого state visitation distribution, этого state visitation distribution, этого state visitation distribution, который внутри себя совмещает и который внутри себя совмещает и который внутри себя совмещает и политику, то, как мы политике двигаемся политику, то, как мы политике двигаемся

44:49политику, то, как мы политике двигаемся и куда нас закидывает mdp. А отдельно у и куда нас закидывает mdp. А отдельно у и куда нас закидывает mdp. А отдельно у нас есть стахастисисти нашей политики, нас есть стахастисисти нашей политики, нас есть стахастисисти нашей политики, да, то есть стахастика, которая приходит да, то есть стахастика, которая приходит да, то есть стахастика, которая приходит из того, что мы выбираем action и из того, что мы выбираем action и из того, что мы выбираем action и получаем какую-то функцию внутри. И это получаем какую-то функцию внутри. И это получаем какую-то функцию внутри. И это верно для любой функции. Вот любая верно для любой функции. Вот любая

45:02верно для любой функции. Вот любая функция, которая зависит от стейта и от функция, которая зависит от стейта и от функция, которая зависит от стейта и от экшна. Вот. тоже просто алгебраически мы экшна. Вот. тоже просто алгебраически мы экшна. Вот. тоже просто алгебраически мы это перезаписали на разделили на две это перезаписали на разделили на две это перезаписали на разделили на две части, но это важно нам будет сейчас для части, но это важно нам будет сейчас для части, но это важно нам будет сейчас для того, чтобы мы смогли эту историю как-то того, чтобы мы смогли эту историю как-то того, чтобы мы смогли эту историю как-то победить. Давайте вспомним. победить. Давайте вспомним.

45:15победить. Давайте вспомним. >> Извините, пожалуйста, можно? >> Извините, пожалуйста, можно? >> Извините, пожалуйста, можно? >> Да, да, конечно, конечно, конечно, >> Да, да, конечно, конечно, конечно, >> Да, да, конечно, конечно, конечно, конечно. Давайте. Не получается, что мы конечно. Давайте. Не получается, что мы конечно. Давайте. Не получается, что мы как бы два раза стахастику как бы два раза стахастику как бы два раза стахастику политики учитываем, один раз в ээ вот политики учитываем, один раз в ээ вот политики учитываем, один раз в ээ вот этот distribution state visitation этот distribution state visitation этот distribution state visitation distribution, а другой раз

45:34нет. Потому что, смотрите, про это можно нет. Потому что, смотрите, про это можно думать таким образом, что State думать таким образом, что State думать таким образом, что State Visitation Distribution учитывает Visitation Distribution учитывает Visitation Distribution учитывает стахастику политики в том плане, куда стахастику политики в том плане, куда стахастику политики в том плане, куда она нас приводит. А вот это второе она нас приводит. А вот это второе она нас приводит. А вот это второе метожидание, оно учитывает стахастику метожидание, оно учитывает стахастику метожидание, оно учитывает стахастику политики, что оно нам генерит с точки политики, что оно нам генерит с точки

45:48политики, что оно нам генерит с точки зрения вот этой функции. Ну, допустим, зрения вот этой функции. Ну, допустим, зрения вот этой функции. Ну, допустим, можете думать про это как можете думать про это как можете думать про это как >> какие экшены? Какие экшены? Одна типа >> какие экшены? Какие экшены? Одна типа >> какие экшены? Какие экшены? Одна типа стахастика стейтов, другая стахастика стахастика стейтов, другая стахастика стахастика стейтов, другая стахастика экшенов. Ага. экшенов. Ага. экшенов. Ага. >> Да, но стахастика стейтов, которая тоже >> Да, но стахастика стейтов, которая тоже >> Да, но стахастика стейтов, которая тоже зависит от экшна. То есть тоже зависит

46:00зависит от экшна. То есть тоже зависит зависит от экшна. То есть тоже зависит от того, какой мы выбрали экшн, куда нас от того, какой мы выбрали экшн, куда нас от того, какой мы выбрали экшн, куда нас перекинуло. Вот. Вот вот такое перекинуло. Вот. Вот вот такое перекинуло. Вот. Вот вот такое разделение. А второе экшен, который разделение. А второе экшен, который разделение. А второе экшен, который влияет на функцию. Ага. Спасибо большое. влияет на функцию. Ага. Спасибо большое. влияет на функцию. Ага. Спасибо большое. Хороший вопрос. Спасибо. Вот, Хороший вопрос. Спасибо. Вот, Хороший вопрос. Спасибо. Вот, соответственно, что мы из этого соответственно, что мы из этого

46:12соответственно, что мы из этого получаем? Давайте вспомним нашу вернёмся получаем? Давайте вспомним нашу вернёмся получаем? Давайте вспомним нашу вернёмся и уже начнём строить наш первый алгоритм и уже начнём строить наш первый алгоритм и уже начнём строить наш первый алгоритм на основе этого всего. на основе этого всего. на основе этого всего. Вот у нас есть такая форма, да, наша Вот у нас есть такая форма, да, наша Вот у нас есть такая форма, да, наша форма, которая нам форма, которая нам форма, которая нам с помощью того, что мы вывели, позволила с помощью того, что мы вывели, позволила с помощью того, что мы вывели, позволила заменить внутри вот этого мотожидания

46:33заменить внутри вот этого мотожидания заменить внутри вот этого мотожидания policy old. Давайте сразу просто скажу, policy old. Давайте сразу просто скажу, policy old. Давайте сразу просто скажу, к чему мы пытаемся прийти, чтобы у вас к чему мы пытаемся прийти, чтобы у вас к чему мы пытаемся прийти, чтобы у вас это было в голове. Мы пытаемся везде это было в голове. Мы пытаемся везде это было в голове. Мы пытаемся везде максимально позаменять на policy old. То максимально позаменять на policy old. То максимально позаменять на policy old. То есть вот как бы мы все текущие есть вот как бы мы все текущие есть вот как бы мы все текущие упражнения делаем для того, чтобы могли

46:48упражнения делаем для того, чтобы могли упражнения делаем для того, чтобы могли как-то построить так апдейт. чтобы нам как-то построить так апдейт. чтобы нам как-то построить так апдейт. чтобы нам не нужно было собирать траектории и не нужно было собирать траектории и не нужно было собирать траектории и какие-то оценки новой политикой. А вот какие-то оценки новой политикой. А вот какие-то оценки новой политикой. А вот эта вот политика, она уже здесь эта вот политика, она уже здесь эта вот политика, она уже здесь обозначена как питетта, давайте я обозначена как питетта, давайте я обозначена как питетта, давайте я красным её напишу. Питта - это то, что красным её напишу. Питта - это то, что

47:00красным её напишу. Питта - это то, что мы пытаемся оптимизировать. мы пытаемся оптимизировать. мы пытаемся оптимизировать. Соответственно, Соответственно, Соответственно, вот эта вот разница этих двух штук, что вот эта вот разница этих двух штук, что вот эта вот разница этих двух штук, что это такое? А мы, по сути, берём это такое? А мы, по сути, берём это такое? А мы, по сути, берём всё, что мы делали до этого, и здесь всё, что мы делали до этого, и здесь всё, что мы делали до этого, и здесь поставили advantage policy old. Нам поставили advantage policy old. Нам поставили advantage policy old. Нам осталось разобраться с двумя штуками, с осталось разобраться с двумя штуками, с

47:17осталось разобраться с двумя штуками, с вот этой штукой и с вот этой штукой. вот этой штукой и с вот этой штукой. вот этой штукой и с вот этой штукой. Давайте другим цветом подсвечу вот этой Давайте другим цветом подсвечу вот этой Давайте другим цветом подсвечу вот этой штукой. Давайте начнём с вот этой штуки, штукой. Давайте начнём с вот этой штуки, штукой. Давайте начнём с вот этой штуки, с стахастики экшенов, которые генератся с стахастики экшенов, которые генератся с стахастики экшенов, которые генератся политикой с точки зрения того, что мы политикой с точки зрения того, что мы политикой с точки зрения того, что мы отдаём в advantage, да? То есть как бы

47:33отдаём в advantage, да? То есть как бы отдаём в advantage, да? То есть как бы вот с точки зрения того, что какой экшен вот с точки зрения того, что какой экшен вот с точки зрения того, что какой экшен мы отдадим в advantage, чтобы начать мы отдадим в advantage, чтобы начать мы отдадим в advantage, чтобы начать дальше траекторию внутри адвантеджа, да? дальше траекторию внутри адвантеджа, да? дальше траекторию внутри адвантеджа, да? То есть по сути то, что мы передадим в в То есть по сути то, что мы передадим в в То есть по сути то, что мы передадим в в куфункцию, что всё ещё генерится нашей, куфункцию, что всё ещё генерится нашей,

47:44куфункцию, что всё ещё генерится нашей, соответственно, прошлой политикой. Но соответственно, прошлой политикой. Но соответственно, прошлой политикой. Но тут можно сделать прикольную штуку, тут можно сделать прикольную штуку, тут можно сделать прикольную штуку, которую вы прекрасно все знаете. которую вы прекрасно все знаете. которую вы прекрасно все знаете. Important sampling. Important sampling. Important sampling. Давайте запишем только вот эту вот нашу Давайте запишем только вот эту вот нашу Давайте запишем только вот эту вот нашу вот эту вот часть, да? У нас есть, вот эту вот часть, да? У нас есть, вот эту вот часть, да? У нас есть, соответственно, политика, соответственно, политика,

48:00соответственно, политика, которая зависит от наших параметров, которая зависит от наших параметров, которая зависит от наших параметров, и, соответственно, политика старая от и, соответственно, политика старая от и, соответственно, политика старая от нашего адвантаджа, нашем ожидании. Я нашего адвантаджа, нашем ожидании. Я нашего адвантаджа, нашем ожидании. Я сейчас сделаю нестрогий вывод, чтобы он сейчас сделаю нестрогий вывод, чтобы он сейчас сделаю нестрогий вывод, чтобы он был интуитивным. Э, строгий вывод, э, был интуитивным. Э, строгий вывод, э, был интуитивным. Э, строгий вывод, э, того же самого делается через замену того же самого делается через замену

48:15того же самого делается через замену меры и родом Никодим Дериматьв. Ну, это меры и родом Никодим Дериматьв. Ну, это меры и родом Никодим Дериматьв. Ну, это кому просто интересно, кому не хватает кому просто интересно, кому не хватает кому просто интересно, кому не хватает строгости в выводах. Вот не хочется на строгости в выводах. Вот не хочется на строгости в выводах. Вот не хочется на это сильно тратить времени на формализм, это сильно тратить времени на формализм, это сильно тратить времени на формализм, но, пожалуйста, посмотрите, кому но, пожалуйста, посмотрите, кому но, пожалуйста, посмотрите, кому интересно. Ну, как бы тут тоже ничего интересно. Ну, как бы тут тоже ничего

48:26интересно. Ну, как бы тут тоже ничего сложного. Э, соответственно, по давайте сложного. Э, соответственно, по давайте сложного. Э, соответственно, по давайте такой немножко немножко вывод не такой немножко немножко вывод не такой немножко немножко вывод не суперстрогий. Э, берём, записываем по суперстрогий. Э, берём, записываем по суперстрогий. Э, берём, записываем по определению наше мотожидание. То есть, определению наше мотожидание. То есть, определению наше мотожидание. То есть, что такое по определению нашего что такое по определению нашего что такое по определению нашего матожидания? то, что у нас стоит внутри, матожидания? то, что у нас стоит внутри,

48:40матожидания? то, что у нас стоит внутри, умножить на вероятность, умножить на вероятность, умножить на вероятность, умножить на нашу меру. Ну, наша меры - умножить на нашу меру. Ну, наша меры - умножить на нашу меру. Ну, наша меры - это экшены в этом случае, да? Ну или это экшены в этом случае, да? Ну или это экшены в этом случае, да? Ну или мера - это вот всё, что вот тут вот мера - это вот всё, что вот тут вот мера - это вот всё, что вот тут вот стоит, кому как удобнее на это смотреть. стоит, кому как удобнее на это смотреть. стоит, кому как удобнее на это смотреть. Ну и мы можем сделать importanting. Ну и мы можем сделать importanting.

48:55Ну и мы можем сделать importanting. Ещё раз повторюсь, что в более строгом Ещё раз повторюсь, что в более строгом Ещё раз повторюсь, что в более строгом виде см - это, по сути, замена меры. То виде см - это, по сути, замена меры. То виде см - это, по сути, замена меры. То есть вот то, что мы пытаемся здесь есть вот то, что мы пытаемся здесь есть вот то, что мы пытаемся здесь провести - это замена меры. Но именно провести - это замена меры. Но именно провести - это замена меры. Но именно интуитивно на это можно смотреть таким интуитивно на это можно смотреть таким интуитивно на это можно смотреть таким вот образом. вот образом. вот образом. Здесь давайте троеточие напишу.

49:12Здесь давайте троеточие напишу. Здесь давайте троеточие напишу. Учитывая, что условия выполняются, я Учитывая, что условия выполняются, я Учитывая, что условия выполняются, я буквально на следующем слайде покажу, буквально на следующем слайде покажу, буквально на следующем слайде покажу, что за условия. Но учитывая, что условия что за условия. Но учитывая, что условия что за условия. Но учитывая, что условия выполняются, мы можем сделать такую выполняются, мы можем сделать такую выполняются, мы можем сделать такую штуку. штуку. штуку. Всё, что у нас было до этого, Всё, что у нас было до этого, Всё, что у нас было до этого, давайте домножим и разделим на полисе

49:25давайте домножим и разделим на полисе давайте домножим и разделим на полисе old.

49:31Да, домножили, разделили. Ну, мы можем Да, домножили, разделили. Ну, мы можем просто сказать, что вот это наша новая просто сказать, что вот это наша новая просто сказать, что вот это наша новая мера. Ну, естественно, при определённых мера. Ну, естественно, при определённых мера. Ну, естественно, при определённых условиях. Сейчас мы их обсудим. Вот. Но условиях. Сейчас мы их обсудим. Вот. Но условиях. Сейчас мы их обсудим. Вот. Но идейно вот это наша новая мера. идейно вот это наша новая мера. идейно вот это наша новая мера. Соответственно, всё, что мы здесь Соответственно, всё, что мы здесь Соответственно, всё, что мы здесь получили по итогу этого всего, что мы

49:45получили по итогу этого всего, что мы получили по итогу этого всего, что мы можем сделать ещё более крутую штуку. Мы можем сделать ещё более крутую штуку. Мы можем сделать ещё более крутую штуку. Мы можем сказать, что экшены у нас приходят можем сказать, что экшены у нас приходят можем сказать, что экшены у нас приходят из из из policy old,

50:02А внутри? А внутри? Так, давайте я сейчас немножечко вот это Так, давайте я сейчас немножечко вот это Так, давайте я сейчас немножечко вот это перенесу сюда, чтобы было побольше перенесу сюда, чтобы было побольше перенесу сюда, чтобы было побольше места. места. места. То есть экшены приходят из policy old. То есть экшены приходят из policy old. То есть экшены приходят из policy old. Мы их смплируем не из новой политики. И Мы их смплируем не из новой политики. И Мы их смплируем не из новой политики. И внутри у нас получается то, что у нас внутри у нас получается то, что у нас внутри у нас получается то, что у нас есть питета

50:22делить на делить на policy old.

50:30И как и до этого умножается это на всё И как и до этого умножается это на всё тот же advanta.

50:36Всё. Ну, это просто мы обратно собрали Всё. Ну, это просто мы обратно собрали от ожиданий. Э, что здесь важно и почему от ожиданий. Э, что здесь важно и почему от ожиданий. Э, что здесь важно и почему это прикольно? Это прикольно в том это прикольно? Это прикольно в том это прикольно? Это прикольно в том плане, то, что мы попытаемся сейчас плане, то, что мы попытаемся сейчас плане, то, что мы попытаемся сейчас сделать, напомню на всякий случай, что сделать, напомню на всякий случай, что сделать, напомню на всякий случай, что policy old мы фиксируем, то есть мы policy old мы фиксируем, то есть мы policy old мы фиксируем, то есть мы пытаемся оптимизировать питета, а policy

50:50пытаемся оптимизировать питета, а policy пытаемся оптимизировать питета, а policy old - это какая-то фиксированная old - это какая-то фиксированная old - это какая-то фиксированная история, которая у нас была, история, которая у нас была, история, которая у нас была, представьте, Эктор наша сетка, которая представьте, Эктор наша сетка, которая представьте, Эктор наша сетка, которая была, которая мы собрали траектории, и была, которая мы собрали траектории, и была, которая мы собрали траектории, и мы её зафризили. То есть мы как бы мы её зафризили. То есть мы как бы мы её зафризили. То есть мы как бы никакие параметры старой политики менять никакие параметры старой политики менять

51:02никакие параметры старой политики менять не будем. Мы работаем только с питетой. не будем. Мы работаем только с питетой. не будем. Мы работаем только с питетой. И тут мы смогли заменить красивым И тут мы смогли заменить красивым И тут мы смогли заменить красивым образом внести наше внутрь вот это вот образом внести наше внутрь вот это вот образом внести наше внутрь вот это вот importance weight. Вот эта вот история. importance weight. Вот эта вот история. importance weight. Вот эта вот история. Сейчас давайте её вот так вот выделю. Сейчас давайте её вот так вот выделю. Сейчас давайте её вот так вот выделю. Это называется importance weight. То Это называется importance weight. То

51:16Это называется importance weight. То есть мы уже сымплируем наши экшены из есть мы уже сымплируем наши экшены из есть мы уже сымплируем наши экшены из новой политики, но нам надо сделать новой политики, но нам надо сделать новой политики, но нам надо сделать поправку. Поправка она разница поправку. Поправка она разница поправку. Поправка она разница вероятностей. Вот эта вот разница вероятностей. Вот эта вот разница вероятностей. Вот эта вот разница вероятностей, ну, разница имеется в виду вероятностей, ну, разница имеется в виду вероятностей, ну, разница имеется в виду одно делить на другое, да, частная одно делить на другое, да, частная одно делить на другое, да, частная вероятностей.

51:31вероятностей. вероятностей. Это, соответственно, есть. Это то, на Это, соответственно, есть. Это то, на Это, соответственно, есть. Это то, на что мы домножим advantage. Почему это что мы домножим advantage. Почему это что мы домножим advantage. Почему это важно? Потому что, помните, ещё раз, что важно? Потому что, помните, ещё раз, что важно? Потому что, помните, ещё раз, что мы хотим сделать? Мы хотим здесь, везде, мы хотим сделать? Мы хотим здесь, везде, мы хотим сделать? Мы хотим здесь, везде, где только где только где только можно, заменить на польсе, чтобы можно можно, заменить на польсе, чтобы можно можно, заменить на польсе, чтобы можно было питетту оставить как какой-то

51:46было питетту оставить как какой-то было питетту оставить как какой-то параметр, который мы оптимизируем. А параметр, который мы оптимизируем. А параметр, который мы оптимизируем. А всё, что нам надо посчитать, мы могли всё, что нам надо посчитать, мы могли всё, что нам надо посчитать, мы могли посчитать из того, что мы сделали с посчитать из того, что мы сделали с посчитать из того, что мы сделали с envirйментом. Вот что мы здесь получаем. envirйментом. Вот что мы здесь получаем. envirйментом. Вот что мы здесь получаем. Мы здесь получаем, соответственно, такую Мы здесь получаем, соответственно, такую Мы здесь получаем, соответственно, такую штуку. Мы получаем то, что у нас

52:00штуку. Мы получаем то, что у нас штуку. Мы получаем то, что у нас будет всё, что мы делали до этого, будет всё, что мы делали до этого, будет всё, что мы делали до этого, домножны на importance weight. И, домножны на importance weight. И, домножны на importance weight. И, соответственно, э здесь у нас policy соответственно, э здесь у нас policy соответственно, э здесь у нас policy круто. Одну штуку мы уже заменили. Здесь круто. Одну штуку мы уже заменили. Здесь круто. Одну штуку мы уже заменили. Здесь на всякий случай, кому тоже интересно, я на всякий случай, кому тоже интересно, я на всякий случай, кому тоже интересно, я выписал, да, что нам нужно. Нам нужно

52:18выписал, да, что нам нужно. Нам нужно выписал, да, что нам нужно. Нам нужно то, что называется absolute continuity. то, что называется absolute continuity. то, что называется absolute continuity. А, А, А, так, тут вот я смотрю, пропущено. Я так, тут вот я смотрю, пропущено. Я так, тут вот я смотрю, пропущено. Я поправлю слайд. поправлю слайд. поправлю слайд. Absolutely Absolutely Absolutely continuous нашей новой политикой по отношению к нашей новой политикой по отношению к прошлой. Если несхода понятно, что это прошлой. Если несхода понятно, что это прошлой. Если несхода понятно, что это такое, это довольно простое условие. Эм такое, это довольно простое условие. Эм

52:43такое, это довольно простое условие. Эм в суперстрогом случае потребовать, чтобы в суперстрогом случае потребовать, чтобы в суперстрогом случае потребовать, чтобы у нас у нас у нас наша полиcy и поcy тета никогда не не наша полиcy и поcy тета никогда не не наша полиcy и поcy тета никогда не не были равны нулю, и этого будет были равны нулю, и этого будет были равны нулю, и этого будет достаточно. Дальше мы могли бы достаточно. Дальше мы могли бы достаточно. Дальше мы могли бы потребовать, чтобы у них были одни и те потребовать, чтобы у них были одни и те потребовать, чтобы у них были одни и те же налсеты, то есть нулевые сеты, сеты же налсеты, то есть нулевые сеты, сеты

52:59же налсеты, то есть нулевые сеты, сеты пустых как бы мер, да, ну, условно пустых как бы мер, да, ну, условно пустых как бы мер, да, ну, условно действий, которые мы никогда не действий, которые мы никогда не действий, которые мы никогда не выбираем, чтобы они были одинаковые. Это выбираем, чтобы они были одинаковые. Это выбираем, чтобы они были одинаковые. Это второе условие, но мы можем сделать ещё второе условие, но мы можем сделать ещё второе условие, но мы можем сделать ещё менее строгое условие, которое вот есть менее строгое условие, которое вот есть менее строгое условие, которое вот есть то, что здесь написано, абсолютity. то, что здесь написано, абсолютity.

53:11то, что здесь написано, абсолютity. Просто значит, что если наша политика Просто значит, что если наша политика Просто значит, что если наша политика говорила, что наша прошлая политика, что говорила, что наша прошлая политика, что говорила, что наша прошлая политика, что этот экшен никогда не выбираем, то и этот экшен никогда не выбираем, то и этот экшен никогда не выбираем, то и новая политика должна говорить, что новая политика должна говорить, что новая политика должна говорить, что экшен этот не выбираем. Это тоже больше экшен этот не выбираем. Это тоже больше экшен этот не выбираем. Это тоже больше для того, чтобы вывод был более для того, чтобы вывод был более

53:23для того, чтобы вывод был более теоретическим. Естественно, как вы теоретическим. Естественно, как вы теоретическим. Естественно, как вы понимаете, если мы используем Soft Max понимаете, если мы используем Soft Max понимаете, если мы используем Soft Max для этой оптимизации, да, во время для этой оптимизации, да, во время для этой оптимизации, да, во время тренинга Soft Max, да, то есть это тренинга Soft Max, да, то есть это тренинга Soft Max, да, то есть это условие, оно, естественно, условие, оно, естественно, условие, оно, естественно, распространяется только на ээ время распространяется только на ээ время распространяется только на ээ время тренировки, да, потому что когда мы,

53:35тренировки, да, потому что когда мы, тренировки, да, потому что когда мы, если мы захотим делать ARMК и выбирать если мы захотим делать ARMК и выбирать если мы захотим делать ARMК и выбирать только жадно самое крутое действие в только жадно самое крутое действие в только жадно самое крутое действие в продакшене, это, как правило, не самая продакшене, это, как правило, не самая продакшене, это, как правило, не самая хорошая история. лучше тюнить хорошая история. лучше тюнить хорошая история. лучше тюнить температуру софтмакса, но при этом, как температуру софтмакса, но при этом, как температуру софтмакса, но при этом, как бы, если захотим, это условие нам не

53:48бы, если захотим, это условие нам не бы, если захотим, это условие нам не нужно, да, потому что нам нужно именно нужно, да, потому что нам нужно именно нужно, да, потому что нам нужно именно только во время во время наших апдейтов. только во время во время наших апдейтов. только во время во время наших апдейтов. Соответственно, идея, да, такая, что Соответственно, идея, да, такая, что Соответственно, идея, да, такая, что если мы делаем Soft Max или если мы если мы делаем Soft Max или если мы если мы делаем Soft Max или если мы параметризуем нашу политику, как, параметризуем нашу политику, как, параметризуем нашу политику, как, допустим, допустим, допустим, вот это вот вот это вот

54:01вот это вот такой небольшой такой небольшой такой небольшой заход на то, что вы будете делать на заход на то, что вы будете делать на заход на то, что вы будете делать на следующей лекции с Сергеем, это, следующей лекции с Сергеем, это, следующей лекции с Сергеем, это, соответственно, когда вы поратаризуете соответственно, когда вы поратаризуете соответственно, когда вы поратаризуете уже э политики, если вы хотите делать уже э политики, если вы хотите делать уже э политики, если вы хотите делать continuous control, да, непрерывные continuous control, да, непрерывные continuous control, да, непрерывные действия, вы их действия, вы их действия, вы их делаете как нормальное распределение, и

54:17делаете как нормальное распределение, и делаете как нормальное распределение, и всё ещё у вас как бы не будет равно всё ещё у вас как бы не будет равно всё ещё у вас как бы не будет равно нулю. Извините, что тоже потратил много нулю. Извините, что тоже потратил много нулю. Извините, что тоже потратил много времени. Я считаю, это важно понимать. И времени. Я считаю, это важно понимать. И времени. Я считаю, это важно понимать. И вот это часто как бы какая-то важная вот это часто как бы какая-то важная вот это часто как бы какая-то важная история. Вот чего мы здесь достигли. Ну, история. Вот чего мы здесь достигли. Ну,

54:28история. Вот чего мы здесь достигли. Ну, мы сделали эту поправку. Давайте заметим мы сделали эту поправку. Давайте заметим мы сделали эту поправку. Давайте заметим то, что у этой поправки есть проблема, то, что у этой поправки есть проблема, то, что у этой поправки есть проблема, то, что это может быть какое-то большое то, что это может быть какое-то большое то, что это может быть какое-то большое число. То есть представьте, если у нас число. То есть представьте, если у нас число. То есть представьте, если у нас какая-то политика одна выбирала действие какая-то политика одна выбирала действие какая-то политика одна выбирала действие 0,95, а политика новая говорит, что это

54:410,95, а политика новая говорит, что это 0,95, а политика новая говорит, что это действие надо выбирать с 01. действие надо выбирать с 01. действие надо выбирать с 01. Естественно, это будет большое число. Но Естественно, это будет большое число. Но Естественно, это будет большое число. Но за счёт того, что мы делаем это только к за счёт того, что мы делаем это только к за счёт того, что мы делаем это только к одному действию, не будет никакой суммы одному действию, не будет никакой суммы одному действию, не будет никакой суммы или перемножения этих чисел, это не или перемножения этих чисел, это не или перемножения этих чисел, это не настолько страшно. Ну и в будущем,

54:52настолько страшно. Ну и в будущем, настолько страшно. Ну и в будущем, естественно, мы сделаем кое-что, э на естественно, мы сделаем кое-что, э на естественно, мы сделаем кое-что, э на чём будет базироваться алгоритм, что нам чём будет базироваться алгоритм, что нам чём будет базироваться алгоритм, что нам тоже поможет это всё контролировать. тоже поможет это всё контролировать. тоже поможет это всё контролировать. Что нам осталось? Что нам осталось? Что нам осталось? Вот это вот мы смогли заменить.

55:16смогли заменить в самом начале. смогли заменить в самом начале. Нам осталось каким-то образом Нам осталось каким-то образом Нам осталось каким-то образом побороться с вот этой штукой. Что это побороться с вот этой штукой. Что это побороться с вот этой штукой. Что это значит? Идея простая, что State значит? Идея простая, что State значит? Идея простая, что State distribution, то есть то, где мы distribution, то есть то, где мы distribution, то есть то, где мы проводим больше всего времени, задаётся, проводим больше всего времени, задаётся, проводим больше всего времени, задаётся, к сожалению, всё ещё нашей свежей к сожалению, всё ещё нашей свежей

55:30к сожалению, всё ещё нашей свежей политикой, чтобы мы могли делать политикой, чтобы мы могли делать политикой, чтобы мы могли делать апдейты. В этом и вся проблема, как бы апдейты. В этом и вся проблема, как бы апдейты. В этом и вся проблема, как бы вся идея Рэля в том, что то, как мы вся идея Рэля в том, что то, как мы вся идея Рэля в том, что то, как мы переходим и то, какие реворды мы переходим и то, какие реворды мы переходим и то, какие реворды мы собираем, связано. Это вы знаете уже собираем, связано. Это вы знаете уже собираем, связано. Это вы знаете уже довольно хорошо. Ну, как бы тут ничего довольно хорошо. Ну, как бы тут ничего

55:45довольно хорошо. Ну, как бы тут ничего лучше в моменте не придумали, как лучше в моменте не придумали, как лучше в моменте не придумали, как сказать, давайте сделаем такой сказать, давайте сделаем такой сказать, давайте сделаем такой суррогатную функцию, где мы просто суррогатную функцию, где мы просто суррогатную функцию, где мы просто заменим наши ээ стейты и state заменим наши ээ стейты и state заменим наши ээ стейты и state visitation дистрибьюшна нашей политики, visitation дистрибьюшна нашей политики, visitation дистрибьюшна нашей политики, заменим нашей прошлой политики, но заменим нашей прошлой политики, но заменим нашей прошлой политики, но потребуем кое-что, чтобы это было

56:04потребуем кое-что, чтобы это было потребуем кое-что, чтобы это было достаточно близко. Что мы потребуем? То достаточно близко. Что мы потребуем? То достаточно близко. Что мы потребуем? То есть, ещё раз, как бы мы к чему сейчас есть, ещё раз, как бы мы к чему сейчас есть, ещё раз, как бы мы к чему сейчас пришли? к тому, что мы говорим, что вот пришли? к тому, что мы говорим, что вот пришли? к тому, что мы говорим, что вот это вот мы advantage заменили прямо это вот мы advantage заменили прямо это вот мы advantage заменили прямо строго, а дальше мы заменили смлин тоже строго, а дальше мы заменили смлин тоже строго, а дальше мы заменили смлин тоже почти почти строго. А вот эту штуку мы

56:19почти почти строго. А вот эту штуку мы почти почти строго. А вот эту штуку мы просто говорим, что мы строим просто говорим, что мы строим просто говорим, что мы строим приближение того, где мы будем проводить приближение того, где мы будем проводить приближение того, где мы будем проводить время нашей новой политики. Э строим время нашей новой политики. Э строим время нашей новой политики. Э строим приближение через старую политику. Это приближение через старую политику. Это приближение через старую политику. Это как бы базовая идея. как бы базовая идея. как бы базовая идея. Соответственно, Соответственно, Соответственно, тут можно заметить такую штуку, что если

56:36тут можно заметить такую штуку, что если тут можно заметить такую штуку, что если нам удаётся этого добиться, да, то есть нам удаётся этого добиться, да, то есть нам удаётся этого добиться, да, то есть если мы соглашаемся, что у нас вот наша если мы соглашаемся, что у нас вот наша если мы соглашаемся, что у нас вот наша вот эта вот эта вот эта сурогатная функция хорошая, то мы можем сурогатная функция хорошая, то мы можем сурогатная функция хорошая, то мы можем по той же самой теореме 57, которую мы по той же самой теореме 57, которую мы по той же самой теореме 57, которую мы уже смотрели, мы можем вот эти вот уже смотрели, мы можем вот эти вот

56:49уже смотрели, мы можем вот эти вот штуки, которые мы заменили, обратно штуки, которые мы заменили, обратно штуки, которые мы заменили, обратно собрать в траекторию. И почему нам это собрать в траекторию. И почему нам это собрать в траекторию. И почему нам это круто? Ну, заметьте здесь очень крутую круто? Ну, заметьте здесь очень крутую круто? Ну, заметьте здесь очень крутую особенность, что если мы так можем особенность, что если мы так можем особенность, что если мы так можем сделать, то у нас питетта, то есть то, сделать, то у нас питетта, то есть то, сделать, то у нас питетта, то есть то, что мы оптимизируем, только появляется что мы оптимизируем, только появляется

57:02что мы оптимизируем, только появляется вот здесь вот. А всё остальное - это вот здесь вот. А всё остальное - это вот здесь вот. А всё остальное - это константы по отношению к питетте. И не константы по отношению к питетте. И не константы по отношению к питетте. И не просто константы, а то, что мы можем эту просто константы, а то, что мы можем эту просто константы, а то, что мы можем эту траекторию собрать прошлой какой-то траекторию собрать прошлой какой-то траекторию собрать прошлой какой-то политикой. А звучит суперкруто, да? политикой. А звучит суперкруто, да? политикой. А звучит суперкруто, да? Можем прошлой политикой это всё собрать. Можем прошлой политикой это всё собрать.

57:17Можем прошлой политикой это всё собрать. Ну, естественно, в чём в чём проблема? Ну, естественно, в чём в чём проблема? Ну, естественно, в чём в чём проблема? Но в том, что эта сурогатная функция, Но в том, что эта сурогатная функция, Но в том, что эта сурогатная функция, естественно, она не супер какая-то естественно, она не супер какая-то естественно, она не супер какая-то невероятно крутая. невероятно крутая. невероятно крутая. Что значит, что не супер, она невероятно Что значит, что не супер, она невероятно Что значит, что не супер, она невероятно крутая? Ну, что для многих политик она крутая? Ну, что для многих политик она

57:28крутая? Ну, что для многих политик она будет неверна, что если мы возьмём будет неверна, что если мы возьмём будет неверна, что если мы возьмём много-много политик, какие только много-много политик, какие только много-много политик, какие только возможны сохатистические политики, для возможны сохатистические политики, для возможны сохатистические политики, для многих это, соответственно, будет многих это, соответственно, будет многих это, соответственно, будет какое-то число, которое будет, э, ну, в какое-то число, которое будет, э, ну, в какое-то число, которое будет, э, ну, в этом случае это число, которое будет этом случае это число, которое будет

57:45этом случае это число, которое будет каким-то реально очень маленьким. И это каким-то реально очень маленьким. И это каким-то реально очень маленьким. И это lower bound, то есть lower boу будет, но lower bound, то есть lower boу будет, но lower bound, то есть lower boу будет, но он будет очень далёким от нашей текущей он будет очень далёким от нашей текущей он будет очень далёким от нашей текущей функции, и нам это не сильно поможет. функции, и нам это не сильно поможет. функции, и нам это не сильно поможет. Какой это lower bound? Есть прямо Какой это lower bound? Есть прямо Какой это lower bound? Есть прямо теорема, да? теорема, да? теорема, да? Можно, э, почитать в статье. Ээ,

58:00Можно, э, почитать в статье. Ээ, Можно, э, почитать в статье. Ээ, соответственно, тут вроде как есть соответственно, тут вроде как есть соответственно, тут вроде как есть ссылка на неё, но если нет, я вам её ссылка на неё, но если нет, я вам её ссылка на неё, но если нет, я вам её приложу. Давайте вот помечу, что, э, приложу. Давайте вот помечу, что, э, приложу. Давайте вот помечу, что, э, ссылку надо бы добавить сюда на статью, ссылку надо бы добавить сюда на статью, ссылку надо бы добавить сюда на статью, где хотите посмотреть вывод, что наша где хотите посмотреть вывод, что наша где хотите посмотреть вывод, что наша разница политик - это ещё раз вот то,

58:14разница политик - это ещё раз вот то, разница политик - это ещё раз вот то, что мы пытались вот здесь вот что мы пытались вот здесь вот что мы пытались вот здесь вот оптимизировать левой части. оптимизировать левой части. оптимизировать левой части. Она ограничена нашим вот этим Она ограничена нашим вот этим Она ограничена нашим вот этим суфрогатным обжективом, да, где мы всё суфрогатным обжективом, да, где мы всё суфрогатным обжективом, да, где мы всё позаменяли. позаменяли. позаменяли. Минус константа Минус константа Минус константа на корень из KL divergence. на корень из KL divergence. на корень из KL divergence. Про KL divergence тут важный есть Про KL divergence тут важный есть

58:31Про KL divergence тут важный есть момент, то что смотрите, что это за KL момент, то что смотрите, что это за KL момент, то что смотрите, что это за KL divergence между двумя политиками, как divergence между двумя политиками, как divergence между двумя политиками, как его определить. Это мотожидание по его определить. Это мотожидание по его определить. Это мотожидание по стейтам, которые придут исходя из нашей стейтам, которые придут исходя из нашей стейтам, которые придут исходя из нашей policy old, да? Ну, соответственно, policy old, да? Ну, соответственно, policy old, да? Ну, соответственно, можно было бы его записать через policy можно было бы его записать через policy

58:44можно было бы его записать через policy new, да, полиси, которая pтета, но нам, new, да, полиси, которая pтета, но нам, new, да, полиси, которая pтета, но нам, естественно, интересно через policy old. естественно, интересно через policy old. естественно, интересно через policy old. Матожидание по этим стейтам между нашей Матожидание по этим стейтам между нашей Матожидание по этим стейтам между нашей политикой, э, старой и политикой новой. политикой, э, старой и политикой новой. политикой, э, старой и политикой новой. Естественно, как вы помните, каль Естественно, как вы помните, каль Естественно, как вы помните, каль дивергенция, она не симметрична, поэтому

59:00дивергенция, она не симметрична, поэтому дивергенция, она не симметрична, поэтому именно в таком порядке, да, то, что именно в таком порядке, да, то, что именно в таком порядке, да, то, что называется forward divergence. Что - это называется forward divergence. Что - это называется forward divergence. Что - это наша как бы базовая штука, да? Вот. Ну, наша как бы базовая штука, да? Вот. Ну, наша как бы базовая штука, да? Вот. Ну, мы это увидим, увидим чуть дальше, мы это увидим, увидим чуть дальше, мы это увидим, увидим чуть дальше, почему нам это важно. Вот. почему нам это важно. Вот. почему нам это важно. Вот. Соответственно, что мы тут Давайте на Соответственно, что мы тут Давайте на

59:16Соответственно, что мы тут Давайте на всякий случай я просто тут на слайд всякий случай я просто тут на слайд всякий случай я просто тут на слайд вынесу.

59:24Думаю, все это хорошо знают, но просто, Думаю, все это хорошо знают, но просто, чтобы было перед глазами. То есть, если чтобы было перед глазами. То есть, если чтобы было перед глазами. То есть, если мы определим вот таким вот образом, где мы определим вот таким вот образом, где мы определим вот таким вот образом, где P первое, то это у нас равно P первое, то это у нас равно P первое, то это у нас равно интегралу интегралу интегралу P old делить на PТА, ну, соответственно, P old делить на PТА, ну, соответственно, P old делить на PТА, ну, соответственно, Dstate. Dstate. Dstate. Почему я на этом заостряю внимание? Почему я на этом заостряю внимание?

59:40Почему я на этом заостряю внимание? Потому что вообще в теоретическом выводе Потому что вообще в теоретическом выводе Потому что вообще в теоретическом выводе здесь нетдание, а максимум. Но как вы здесь нетдание, а максимум. Но как вы здесь нетдание, а максимум. Но как вы понимаете, посчитать максимум по э понимаете, посчитать максимум по э понимаете, посчитать максимум по э стейтам - это супер сложная история, стейтам - это супер сложная история, стейтам - это супер сложная история, просто потому что наша траектория может просто потому что наша траектория может просто потому что наша траектория может не оказаться многих стейтов, и поэтому не оказаться многих стейтов, и поэтому

59:52не оказаться многих стейтов, и поэтому мы этот максимум никак нормально не мы этот максимум никак нормально не мы этот максимум никак нормально не посчитаем. Поэтому берут мотожидание и посчитаем. Поэтому берут мотожидание и посчитаем. Поэтому берут мотожидание и за счёт этого делают поправку на корень за счёт этого делают поправку на корень за счёт этого делают поправку на корень и делает немножко другую константу. Вот. и делает немножко другую константу. Вот. и делает немножко другую константу. Вот. Ну, соответственно, Ну, соответственно, Ну, соответственно, как вы понимаете, можно по-разному это как вы понимаете, можно по-разному это

01:00:05как вы понимаете, можно по-разному это всё ограничить, но, естественно, нам мы всё ограничить, но, естественно, нам мы всё ограничить, но, естественно, нам мы хотим не просто lower boу, а ещё и хотим не просто lower boу, а ещё и хотим не просто lower boу, а ещё и который максимально близко к нашей этой который максимально близко к нашей этой который максимально близко к нашей этой разнице, чтобы мы могли как-то его разнице, чтобы мы могли как-то его разнице, чтобы мы могли как-то его использовать. Вот такой вот lower boу. использовать. Вот такой вот lower boу. использовать. Вот такой вот lower boу. Есть, соответственно, ээ есть вывод Есть, соответственно, ээ есть вывод

01:00:19Есть, соответственно, ээ есть вывод чёткий, почему он такой, но в нём чёткий, почему он такой, но в нём чёткий, почему он такой, но в нём проблема, что он тоже на самом деле проблема, что он тоже на самом деле проблема, что он тоже на самом деле достаточно далёкий. Почему? Потому что достаточно далёкий. Почему? Потому что достаточно далёкий. Почему? Потому что заметим две вещи. Во-первых, даже заметим две вещи. Во-первых, даже заметим две вещи. Во-первых, даже недалёкий, а его сложно посчитать, недалёкий, а его сложно посчитать, недалёкий, а его сложно посчитать, потому что нам нужно, опять-таки, взять потому что нам нужно, опять-таки, взять

01:00:30потому что нам нужно, опять-таки, взять максимум по adвантеджу, и для этого надо максимум по adвантеджу, и для этого надо максимум по adвантеджу, и для этого надо как-то его оценить. Для этого должен как-то его оценить. Для этого должен как-то его оценить. Для этого должен быть хороший критик, хорошая быть хороший критик, хорошая быть хороший критик, хорошая аппроксимация. Ну и, соответственно, аппроксимация. Ну и, соответственно, аппроксимация. Ну и, соответственно, есть с этим проблемы. А, а, во-вторых, есть с этим проблемы. А, а, во-вторых, есть с этим проблемы. А, а, во-вторых, ну, 1 - га γм²ва. Ну, сами понимаете, ну, 1 - га γм²ва. Ну, сами понимаете,

01:00:42ну, 1 - га γм²ва. Ну, сами понимаете, что для многих дисконтирований это что для многих дисконтирований это что для многих дисконтирований это число, которое, ну, соответственно, число, которое, ну, соответственно, число, которое, ну, соответственно, достаточно, не сказать, что прямо достаточно, не сказать, что прямо достаточно, не сказать, что прямо маленькое, но не супербольшое, и поэтому маленькое, но не супербольшое, и поэтому маленькое, но не супербольшое, и поэтому константа будет достаточно большой. Вот. константа будет достаточно большой. Вот. константа будет достаточно большой. Вот. мм, ну, по крайней мере, не очень мм, ну, по крайней мере, не очень

01:00:54мм, ну, по крайней мере, не очень маленькой, скажем так. Вот, маленькой, скажем так. Вот, маленькой, скажем так. Вот, соответственно,

01:01:03зачем он нам нужен, этот lower boу? Но зачем он нам нужен, этот lower boу? Но lower boу за счёт того, что как бы, к lower boу за счёт того, что как бы, к lower boу за счёт того, что как бы, к сожалению, мы, наш изначальный объектив сожалению, мы, наш изначальный объектив сожалению, мы, наш изначальный объектив вот такой вот, мы никак его не можем вот такой вот, мы никак его не можем вот такой вот, мы никак его не можем посчитать просто потому что вот этого у посчитать просто потому что вот этого у посчитать просто потому что вот этого у нас нет, да, у нас нет state нас нет, да, у нас нет state нас нет, да, у нас нет state distribution текущей политики. Мы можем

01:01:17distribution текущей политики. Мы можем distribution текущей политики. Мы можем его в самом базовом варианте его в самом базовом варианте его в самом базовом варианте использовать то, что называется использовать то, что называется использовать то, что называется minorization maximization. Это алгоритм, minorization maximization. Это алгоритм, minorization maximization. Это алгоритм, который вы, наверное, точно встречали в который вы, наверное, точно встречали в который вы, наверное, точно встречали в Gusion mixure Models, да, гаусовские Gusion mixure Models, да, гаусовские Gusion mixure Models, да, гаусовские смешанный модели, извините, пожалуйста, смешанный модели, извините, пожалуйста,

01:01:31смешанный модели, извините, пожалуйста, не Mix Models, да, наверное, вы хорошо не Mix Models, да, наверное, вы хорошо не Mix Models, да, наверное, вы хорошо знаете. А в чём его идея? Мм, знаете. А в чём его идея? Мм, знаете. А в чём его идея? Мм, соответственно, соответственно, соответственно, у нас есть тет старая, у нас есть lower у нас есть тет старая, у нас есть lower у нас есть тет старая, у нас есть lower bound. Мы в каждой точке берём наш lower bound. Мы в каждой точке берём наш lower bound. Мы в каждой точке берём наш lower bound, поднимаем его таким образом, bound, поднимаем его таким образом, bound, поднимаем его таким образом, чтобы в точке параметров чтобы в точке параметров

01:01:50чтобы в точке параметров в точке параметров

01:01:58та old равное тета, чтобы они были та old равное тета, чтобы они были равны. И дальше после того, как мы равны. И дальше после того, как мы равны. И дальше после того, как мы подняли, мы берём его максимизируем. подняли, мы берём его максимизируем. подняли, мы берём его максимизируем. Делаем какой-то шажок в сторону Делаем какой-то шажок в сторону Делаем какой-то шажок в сторону максимизации. Ну давайте для примера максимизации. Ну давайте для примера максимизации. Ну давайте для примера скажу. Тут плохо видно. Вот сюда. Ну скажу. Тут плохо видно. Вот сюда. Ну скажу. Тут плохо видно. Вот сюда. Ну маленький просто шаг делаем. Вот сделали маленький просто шаг делаем. Вот сделали

01:02:10маленький просто шаг делаем. Вот сделали шаг. Здесь снова поднимем эту функцию шаг. Здесь снова поднимем эту функцию шаг. Здесь снова поднимем эту функцию сюда и сделаем снова шаг. Это как бы сюда и сделаем снова шаг. Это как бы сюда и сделаем снова шаг. Это как бы какой-то какой-то способ делать эту какой-то какой-то способ делать эту какой-то какой-то способ делать эту оптимизацию. Способ не очень простой, оптимизацию. Способ не очень простой, оптимизацию. Способ не очень простой, как вы видите, но что-то можно здесь как вы видите, но что-то можно здесь как вы видите, но что-то можно здесь сделать. А теперь идея немножко другая. сделать. А теперь идея немножко другая.

01:02:27сделать. А теперь идея немножко другая. М вместо этого lowerбаунда мы можем М вместо этого lowerбаунда мы можем М вместо этого lowerбаунда мы можем здесь заметить, что что он lower boунд здесь заметить, что что он lower boунд здесь заметить, что что он lower boунд будет достаточно близок к тому, что мы будет достаточно близок к тому, что мы будет достаточно близок к тому, что мы ээ имеем, если у нас маленькая коль ээ имеем, если у нас маленькая коль ээ имеем, если у нас маленькая коль Divergence, да? Соответственно, если она Divergence, да? Соответственно, если она Divergence, да? Соответственно, если она маленькая, то этот lower bound верен. маленькая, то этот lower bound верен.

01:02:43маленькая, то этот lower bound верен. Почему это так? Давайте посмотрим ещё Почему это так? Давайте посмотрим ещё Почему это так? Давайте посмотрим ещё раз интуитивно на это всё. Мы здесь раз интуитивно на это всё. Мы здесь раз интуитивно на это всё. Мы здесь сделали замену State Visitation сделали замену State Visitation сделали замену State Visitation distribution нашей политики Pтеeta на distribution нашей политики Pтеeta на distribution нашей политики Pтеeta на политике P. То есть как будто мы политике P. То есть как будто мы политике P. То есть как будто мы сказали, что у нас политика PL, она сказали, что у нас политика PL, она

01:02:59сказали, что у нас политика PL, она репрезентативна для нашей текущей репрезентативна для нашей текущей репрезентативна для нашей текущей политики. Если она репрезентативна, то политики. Если она репрезентативна, то политики. Если она репрезентативна, то есть её сэмплы репрезентативны, тогда мы есть её сэмплы репрезентативны, тогда мы есть её сэмплы репрезентативны, тогда мы можем это мотозидание достаточно хорошо можем это мотозидание достаточно хорошо можем это мотозидание достаточно хорошо оценить. Ну, соответственно, если мы оценить. Ну, соответственно, если мы оценить. Ну, соответственно, если мы далеко уйдём от этой политики, если она далеко уйдём от этой политики, если она

01:03:11далеко уйдём от этой политики, если она будет какая-то совсем другая, то у нас будет какая-то совсем другая, то у нас будет какая-то совсем другая, то у нас уже это утверждение будет не очень уже это утверждение будет не очень уже это утверждение будет не очень верно. И поэтому идея этого алгоритма верно. И поэтому идея этого алгоритма верно. И поэтому идея этого алгоритма вместо вот того, что мы сейчас с вами вместо вот того, что мы сейчас с вами вместо вот того, что мы сейчас с вами обсудили - это оптимизировать этот обсудили - это оптимизировать этот обсудили - это оптимизировать этот суррогатный обжектив. Суррогатный в том суррогатный обжектив. Суррогатный в том

01:03:25суррогатный обжектив. Суррогатный в том плане, то что он не требует нигде плане, то что он не требует нигде плане, то что он не требует нигде никаких сэмплов из нашей новой политики, никаких сэмплов из нашей новой политики, никаких сэмплов из нашей новой политики, но при этом заставлять эту политику но при этом заставлять эту политику но при этом заставлять эту политику находиться в том, что называется trust находиться в том, что называется trust находиться в том, что называется trust region, то есть в регионе, в котором мы region, то есть в регионе, в котором мы region, то есть в регионе, в котором мы доверяем этой политике. То есть в доверяем этой политике. То есть в

01:03:38доверяем этой политике. То есть в регионе, в котором мы знаем, что она не регионе, в котором мы знаем, что она не регионе, в котором мы знаем, что она не супер далеко от нашей прошлой. И поэтому супер далеко от нашей прошлой. И поэтому супер далеко от нашей прошлой. И поэтому эта политика, она достаточно эта политика, она достаточно эта политика, она достаточно репрезентативно и ЛОС достаточно близок репрезентативно и ЛОС достаточно близок репрезентативно и ЛОС достаточно близок к тому, который мы пытаемся приблизить. к тому, который мы пытаемся приблизить. к тому, который мы пытаемся приблизить. И поэтому в алгоритме И поэтому в алгоритме

01:03:53И поэтому в алгоритме TRPO, который мы сегодня, это первый, TRPO, который мы сегодня, это первый, TRPO, который мы сегодня, это первый, который мы обсудим из двух, э в нём мы который мы обсудим из двух, э в нём мы который мы обсудим из двух, э в нём мы говорим, что мы можем решать вот такую говорим, что мы можем решать вот такую говорим, что мы можем решать вот такую вот задачу, что мы максимизируем наш вот задачу, что мы максимизируем наш вот задачу, что мы максимизируем наш обжектив, то есть мы просто обжектив, то есть мы просто обжектив, то есть мы просто максимизируем то же самое, что имели до максимизируем то же самое, что имели до

01:04:06максимизируем то же самое, что имели до этого, да? по сути максимизируем этого, да? по сути максимизируем этого, да? по сути максимизируем улучшение наших новой политики против улучшение наших новой политики против улучшение наших новой политики против старой политики, но при этом с старой политики, но при этом с старой политики, но при этом с ограничением на кэль дивергенцию между ограничением на кэль дивергенцию между ограничением на кэль дивергенцию между этими политиками, заставляя нашу новую этими политиками, заставляя нашу новую этими политиками, заставляя нашу новую политику быть недалеко от прошлой политику быть недалеко от прошлой

01:04:20политику быть недалеко от прошлой политики. То есть вот есть иллюстрация в политики. То есть вот есть иллюстрация в политики. То есть вот есть иллюстрация в этой части, да, то есть как бы мы этой части, да, то есть как бы мы этой части, да, то есть как бы мы представьте, что синяя линия - это наш представьте, что синяя линия - это наш представьте, что синяя линия - это наш градиент, да? Ну, то есть куда нам надо градиент, да? Ну, то есть куда нам надо градиент, да? Ну, то есть куда нам надо максимально улучшаться с точки зрения максимально улучшаться с точки зрения максимально улучшаться с точки зрения нашей э политики, а с точки зрения нашей э политики, а с точки зрения

01:04:36нашей э политики, а с точки зрения нашего обжектива, куда нам надо улучшать нашего обжектива, куда нам надо улучшать нашего обжектива, куда нам надо улучшать политику. А красный регион - это где политику. А красный регион - это где политику. А красный регион - это где наша K divergence регион доверия, это наша K divergence регион доверия, это наша K divergence регион доверия, это где мы считаем, что достаточно хорошая где мы считаем, что достаточно хорошая где мы считаем, что достаточно хорошая аппроксимация. Вот и мы говорим, что аппроксимация. Вот и мы говорим, что аппроксимация. Вот и мы говорим, что сдвинемся, ну вот таким вот образом. Это сдвинемся, ну вот таким вот образом. Это

01:04:49сдвинемся, ну вот таким вот образом. Это базовая идея, что сдвигаемся мы при этом базовая идея, что сдвигаемся мы при этом базовая идея, что сдвигаемся мы при этом внутри какого-то региона. Ну здесь есть внутри какого-то региона. Ну здесь есть внутри какого-то региона. Ну здесь есть одна проблема, которую мы сейчас с вами одна проблема, которую мы сейчас с вами одна проблема, которую мы сейчас с вами обсудим. обсудим. обсудим. Это дельта. дельта - это гиперпараметр. Это дельта. дельта - это гиперпараметр. Это дельта. дельта - это гиперпараметр. То есть насколько далеко это То есть насколько далеко это То есть насколько далеко это гиперпараметр, который, естественно,

01:05:01гиперпараметр, который, естественно, гиперпараметр, который, естественно, тоже у нас не суперпростая история, но тоже у нас не суперпростая история, но тоже у нас не суперпростая история, но мы сейчас кое-что придумаем, чтобы эту мы сейчас кое-что придумаем, чтобы эту мы сейчас кое-что придумаем, чтобы эту всю идею улучшить. Но перед этим давайте всю идею улучшить. Но перед этим давайте всю идею улучшить. Но перед этим давайте посмотрим, как эту задачу мы бы решали. посмотрим, как эту задачу мы бы решали. посмотрим, как эту задачу мы бы решали. Ну давайте так, давай, давайте, Ну давайте так, давай, давайте, Ну давайте так, давай, давайте, наверное, вот тут я остановлюсь. Есть ли

01:05:15наверное, вот тут я остановлюсь. Есть ли наверное, вот тут я остановлюсь. Есть ли какие-нибудь вопросы перед тем, как мы какие-нибудь вопросы перед тем, как мы какие-нибудь вопросы перед тем, как мы будем решать задачу эту?

01:05:27Просто вопрос. Почему? Почему не там Просто вопрос. Почему? Почему не там distance, если у нас на одном и том же distance, если у нас на одном и том же distance, если у нас на одном и том же на наборе state state of задан этот ээ на наборе state state of задан этот ээ на наборе state state of задан этот ээ visitation distribution, что-то там, visitation distribution, что-то там, visitation distribution, что-то там, почему мы не можем какое-то более почему мы не можем какое-то более почему мы не можем какое-то более ээ расстояние получше найти? ээ расстояние получше найти? ээ расстояние получше найти? >> Да, спасибо за вопрос. Стандартный >> Да, спасибо за вопрос. Стандартный

01:05:49>> Да, спасибо за вопрос. Стандартный вопрос у всех на этом моменте. Я вопрос у всех на этом моменте. Я вопрос у всех на этом моменте. Я специально скинул в э чат после нашего специально скинул в э чат после нашего специально скинул в э чат после нашего занятия пару статей, которые как раз занятия пару статей, которые как раз занятия пару статей, которые как раз задались тем же вопросом, что и вы, и задались тем же вопросом, что и вы, и задались тем же вопросом, что и вы, и попробовали это улучшить, заменив на попробовали это улучшить, заменив на попробовали это улучшить, заменив на другой дистанс. Ну, как бы начали с другой дистанс. Ну, как бы начали с

01:06:02другой дистанс. Ну, как бы начали с кайвердженнса просто потому, что у него кайвердженнса просто потому, что у него кайвердженнса просто потому, что у него есть интерпретация. Мы её с вами не есть интерпретация. Мы её с вами не есть интерпретация. Мы её с вами не коснёмся, потому что это прямо, ну, надо коснёмся, потому что это прямо, ну, надо коснёмся, потому что это прямо, ну, надо отдельную лекцию на это всё, но C отдельную лекцию на это всё, но C отдельную лекцию на это всё, но C Divergence будет близко связан с ээ Divergence будет близко связан с ээ Divergence будет близко связан с ээ матрицей information матрицей information матрицей information матрицей информации Фишера, которая

01:06:18матрицей информации Фишера, которая матрицей информации Фишера, которая используется в том, что называется используется в том, что называется используется в том, что называется natural policy green. То есть есть natural policy green. То есть есть natural policy green. То есть есть теория для TRPO через матрицу информации теория для TRPO через матрицу информации теория для TRPO через матрицу информации Фишера, которая близко связана, вот эта Фишера, которая близко связана, вот эта Фишера, которая близко связана, вот эта теория связана с тем, чтобы использовать теория связана с тем, чтобы использовать теория связана с тем, чтобы использовать здесь KL divergence. Это очень хороший

01:06:31здесь KL divergence. Это очень хороший здесь KL divergence. Это очень хороший вопрос. Есть улучшение через distance и вопрос. Есть улучшение через distance и вопрос. Есть улучшение через distance и другие способы померить, соответственно, другие способы померить, соответственно, другие способы померить, соответственно, divergence. Спасибо за вопрос, очень divergence. Спасибо за вопрос, очень divergence. Спасибо за вопрос, очень хороший, очень валидный. Пока хороший, очень валидный. Пока хороший, очень валидный. Пока остановимся на каэле, потому что под это остановимся на каэле, потому что под это остановимся на каэле, потому что под это есть теория, которой мы, к сожалению, не

01:06:44есть теория, которой мы, к сожалению, не есть теория, которой мы, к сожалению, не коснёмся. Ну и я думаю, что вам не коснёмся. Ну и я думаю, что вам не коснёмся. Ну и я думаю, что вам не настолько это интересно. Кому интересно, настолько это интересно. Кому интересно, настолько это интересно. Кому интересно, с удовольствием подскажу, где почитать. с удовольствием подскажу, где почитать. с удовольствием подскажу, где почитать. Но да, под это много теории, но да, Но да, под это много теории, но да, Но да, под это много теории, но да, каверность нужна именно с точки зрения каверность нужна именно с точки зрения каверность нужна именно с точки зрения того, что она используется в теории.

01:06:58того, что она используется в теории. того, что она используется в теории. И ещё один вопрос про этот пузырь, да, в И ещё один вопрос про этот пузырь, да, в И ещё один вопрос про этот пузырь, да, в котором, котором, котором, а, а, а, в котором мы оказываемся, да? А как в котором мы оказываемся, да? А как в котором мы оказываемся, да? А как гарантируется, что мы из него будем гарантируется, что мы из него будем гарантируется, что мы из него будем выходить? То есть, что мы там не начнём выходить? То есть, что мы там не начнём выходить? То есть, что мы там не начнём внутри него просто перемещаться? внутри него просто перемещаться?

01:07:17внутри него просто перемещаться? >> Нет. А смотрите, мы же, получается, вот >> Нет. А смотрите, мы же, получается, вот >> Нет. А смотрите, мы же, получается, вот сейчас мы увидим в решении, что мы сейчас мы увидим в решении, что мы сейчас мы увидим в решении, что мы всегда будем сдвигаться. Вот если бы всегда будем сдвигаться. Вот если бы всегда будем сдвигаться. Вот если бы дельта у нас была максимально дельта у нас была максимально дельта у нас была максимально правильная, лучше гиперпараметр, то нам правильная, лучше гиперпараметр, то нам правильная, лучше гиперпараметр, то нам всегда надо сдвигаться на границу. всегда надо сдвигаться на границу.

01:07:30всегда надо сдвигаться на границу. Почему нам надо сдвигаться на границу? Почему нам надо сдвигаться на границу? Почему нам надо сдвигаться на границу? Потому что у нас функционал он будет, Потому что у нас функционал он будет, Потому что у нас функционал он будет, ну, градиент функционала будет нам в ну, градиент функционала будет нам в ну, градиент функционала будет нам в какую-то сторону указывать максимально какую-то сторону указывать максимально какую-то сторону указывать максимально максимально далеко. Мы сдвинемся в нашу максимально далеко. Мы сдвинемся в нашу максимально далеко. Мы сдвинемся в нашу новую вот эту вот питетта. Новая питетта новую вот эту вот питетта. Новая питетта

01:07:44новую вот эту вот питетта. Новая питетта вот здесь вот, которая синяя, она вот здесь вот, которая синяя, она вот здесь вот, которая синяя, она станет, соответственно, нашей новой P станет, соответственно, нашей новой P станет, соответственно, нашей новой P old на следующем этапе, да? Ну, давайте old на следующем этапе, да? Ну, давайте old на следующем этапе, да? Ну, давайте я напишу пиштрих, да, чтобы потом не я напишу пиштрих, да, чтобы потом не я напишу пиштрих, да, чтобы потом не запутаться. Здесь будет история. запутаться. Здесь будет история. запутаться. Здесь будет история. >> Ага. >> Ага. >> Ага. >> Да. Но у нас >> Да. Но у нас >> Да. Но у нас при этом есть какой-то шаг апдейта

01:08:04при этом есть какой-то шаг апдейта при этом есть какой-то шаг апдейта политики. политики. политики. И не получится ли так, что мы там в како И не получится ли так, что мы там в како И не получится ли так, что мы там в како в каком-то локальном минимуме окажемся? в каком-то локальном минимуме окажемся? в каком-то локальном минимуме окажемся? Ну, то есть у нас на самом деле два Ну, то есть у нас на самом деле два Ну, то есть у нас на самом деле два гиперпараметра. Это дельта, определяющая гиперпараметра. Это дельта, определяющая гиперпараметра. Это дельта, определяющая вот этот объём, да, и шаг, который мы в вот этот объём, да, и шаг, который мы в

01:08:19вот этот объём, да, и шаг, который мы в этом объёме двигаемся. Правильно, этом объёме двигаемся. Правильно, этом объёме двигаемся. Правильно, >> да? Смотрите, какой с каким шагом >> да? Смотрите, какой с каким шагом >> да? Смотрите, какой с каким шагом двигаться. Дада. Вот эти два, извините, двигаться. Дада. Вот эти два, извините, двигаться. Дада. Вот эти два, извините, сейчас просто скажу сразу, что вот эти сейчас просто скажу сразу, что вот эти сейчас просто скажу сразу, что вот эти два гиперпараметра, вы правильно их два гиперпараметра, вы правильно их два гиперпараметра, вы правильно их подметили, и мы как раз-таки сейчас их подметили, и мы как раз-таки сейчас их

01:08:33подметили, и мы как раз-таки сейчас их вместе соединим в одном дополнительном вместе соединим в одном дополнительном вместе соединим в одном дополнительном алгоритме, то, что называется Line алгоритме, то, что называется Line алгоритме, то, что называется Line Search, поиск по линии какой-то, и Search, поиск по линии какой-то, и Search, поиск по линии какой-то, и сможем двигаться. Это очень хороший сможем двигаться. Это очень хороший сможем двигаться. Это очень хороший вопрос. Но да, идейно мы просто вопрос. Но да, идейно мы просто вопрос. Но да, идейно мы просто придумаем, как как это узнать. Ну то придумаем, как как это узнать. Ну то

01:08:45придумаем, как как это узнать. Ну то есть у нас скорее проблема то, что мы есть у нас скорее проблема то, что мы есть у нас скорее проблема то, что мы шагнули бы слишком далеко. Ну просто шагнули бы слишком далеко. Ну просто шагнули бы слишком далеко. Ну просто потому что вот вы говорите, мы можем потому что вот вы говорите, мы можем потому что вот вы говорите, мы можем застрять внутри этого пузыря. Можем, но застрять внутри этого пузыря. Можем, но застрять внутри этого пузыря. Можем, но тогда у нас простордин крей был бы тогда у нас простордин крей был бы тогда у нас простордин крей был бы слишком маленький, нам нужно было бы его слишком маленький, нам нужно было бы его

01:08:56слишком маленький, нам нужно было бы его увеличить. Но мы придумываем кое-что увеличить. Но мы придумываем кое-что увеличить. Но мы придумываем кое-что получше.

01:09:05И ответил на вопрос. И ответил на вопрос. >> Да, спасибо. >> Да, спасибо. >> Да, спасибо. >> Да, спасибо большое за вопрос. Так, в >> Да, спасибо большое за вопрос. Так, в >> Да, спасибо большое за вопрос. Так, в чате ещё вижу вопрос. Э-э, чате ещё вижу вопрос. Э-э, чате ещё вижу вопрос. Э-э, дельта, э-э, да, ээ, дельта - это дельта, э-э, да, ээ, дельта - это дельта, э-э, да, ээ, дельта - это действительно другой гиперпараметр. То действительно другой гиперпараметр. То действительно другой гиперпараметр. То есть не то же самое, что learning, но есть не то же самое, что learning, но есть не то же самое, что learning, но сейчас будет классная связка с с сейчас будет классная связка с с

01:09:21сейчас будет классная связка с с ленрейтом. Вот вы очень хорошо, мне ленрейтом. Вот вы очень хорошо, мне ленрейтом. Вот вы очень хорошо, мне нравится, в какую сторону вы думаете. нравится, в какую сторону вы думаете. нравится, в какую сторону вы думаете. Сейчас будет с этим связка, буквально Сейчас будет с этим связка, буквально Сейчас будет с этим связка, буквально два-три слайда, и мы ещё про это два-три слайда, и мы ещё про это два-три слайда, и мы ещё про это поговорим. Э, давайте сейчас поймём, как поговорим. Э, давайте сейчас поймём, как поговорим. Э, давайте сейчас поймём, как мы будем решать задачу. И вот, мне мы будем решать задачу. И вот, мне

01:09:34мы будем решать задачу. И вот, мне кажется, на эти все вопросы будет ответ. кажется, на эти все вопросы будет ответ. кажется, на эти все вопросы будет ответ. Но как мы будем решать задачу? Ну, как Но как мы будем решать задачу? Ну, как Но как мы будем решать задачу? Ну, как обычно, мм, для нашего функционала мы обычно, мм, для нашего функционала мы обычно, мм, для нашего функционала мы посчитаем градиент. Ээ градиент, ну, как посчитаем градиент. Ээ градиент, ну, как посчитаем градиент. Ээ градиент, ну, как вы понимаете, функционал мы можем вы понимаете, функционал мы можем вы понимаете, функционал мы можем приблизить градиентом на разницу приблизить градиентом на разницу

01:09:46приблизить градиентом на разницу параметров. Градиент - это градиент от параметров. Градиент - это градиент от параметров. Градиент - это градиент от нашего суррогатного, э, лосса. И вы нашего суррогатного, э, лосса. И вы нашего суррогатного, э, лосса. И вы можете заметить то, что наш суррогатный можете заметить то, что наш суррогатный можете заметить то, что наш суррогатный лосс, где мы, смотрите, что мы в нём лосс, где мы, смотрите, что мы в нём лосс, где мы, смотрите, что мы в нём делаем. Мы берём траекторию из нашей делаем. Мы берём траекторию из нашей делаем. Мы берём траекторию из нашей старой политики, и у нас как бы здесь старой политики, и у нас как бы здесь

01:10:02старой политики, и у нас как бы здесь есть поправка вот такая вот. Но наш этот есть поправка вот такая вот. Но наш этот есть поправка вот такая вот. Но наш этот лосс, он будет ээ равен лоссу, который лосс, он будет ээ равен лоссу, который лосс, он будет ээ равен лоссу, который мы использовали в A2C. Это можно мы использовали в A2C. Это можно мы использовали в A2C. Это можно вывести. Это не видно сразу же из одной вывести. Это не видно сразу же из одной вывести. Это не видно сразу же из одной формулы, но это можно вывести. И тоже, к формулы, но это можно вывести. И тоже, к формулы, но это можно вывести. И тоже, к сожалению, нет сильно времени смотреть сожалению, нет сильно времени смотреть

01:10:18сожалению, нет сильно времени смотреть на этот вывод вместе, но в Летекстбуке на этот вывод вместе, но в Летекстбуке на этот вывод вместе, но в Летекстбуке вы можете найти, который на русском вы можете найти, который на русском вы можете найти, который на русском учебник, вы можете в нём учебник, вы можете в нём учебник, вы можете в нём увидеть. Я, насколько помню, э вот эта увидеть. Я, насколько помню, э вот эта увидеть. Я, насколько помню, э вот эта история, она на 140, что ли, странице, я история, она на 140, что ли, странице, я история, она на 140, что ли, странице, я плохо уже помню. Вот. Но вы можете плохо уже помню. Вот. Но вы можете

01:10:33плохо уже помню. Вот. Но вы можете увидеть, почему он равен. И это тоже увидеть, почему он равен. И это тоже увидеть, почему он равен. И это тоже довольно интересная история. Ээ, что это довольно интересная история. Ээ, что это довольно интересная история. Ээ, что это значит? То, что у нас градиент тот же значит? То, что у нас градиент тот же значит? То, что у нас градиент тот же самый, с которым мы работали до этого, самый, с которым мы работали до этого, самый, с которым мы работали до этого, но при этом у нас появилась вот этот K но при этом у нас появилась вот этот K но при этом у нас появилась вот этот K Divergence. KL Divergence для неё можем, Divergence. KL Divergence для неё можем,

01:10:45Divergence. KL Divergence для неё можем, э, заметить две вещи. Когда мы пытаемся э, заметить две вещи. Когда мы пытаемся э, заметить две вещи. Когда мы пытаемся построить приближение к L ди построить приближение к L ди построить приближение к L ди дивергенции, ну, естественно, и первая, дивергенции, ну, естественно, и первая, дивергенции, ну, естественно, и первая, и вторая строка, которая здесь и вторая строка, которая здесь и вторая строка, которая здесь добавились, это всё просто приближение добавились, это всё просто приближение добавились, это всё просто приближение через Тейлора. для нашей объжектива, как через Тейлора. для нашей объжектива, как

01:10:58через Тейлора. для нашей объжектива, как обычно, мы забиваем на члены дальше, чем обычно, мы забиваем на члены дальше, чем обычно, мы забиваем на члены дальше, чем второй порядок и дальше, да? А для второй порядок и дальше, да? А для второй порядок и дальше, да? А для дивергенции посмотрим на такую историю. дивергенции посмотрим на такую историю. дивергенции посмотрим на такую историю. Как вы понимаете, что в точке, где наши Как вы понимаете, что в точке, где наши Как вы понимаете, что в точке, где наши параметры равны параметры равны параметры равны ээ новым параметрам, то есть, вернее, ээ новым параметрам, то есть, вернее,

01:11:16ээ новым параметрам, то есть, вернее, наши параметры равны параметрам старым, наши параметры равны параметрам старым, наши параметры равны параметрам старым, дивергенция сама по себе равна нулю, да? дивергенция сама по себе равна нулю, да? дивергенция сама по себе равна нулю, да? Ну, как бы первый член у нас равен нулю. Ну, как бы первый член у нас равен нулю. Ну, как бы первый член у нас равен нулю. То есть, соответственно, наше То есть, соответственно, наше То есть, соответственно, наше приближение - это ноль плюс градиент. Но приближение - это ноль плюс градиент. Но приближение - это ноль плюс градиент. Но при этом, что такое градиентка L при этом, что такое градиентка L

01:11:31при этом, что такое градиентка L дивергенция в точке тета равно те, да? дивергенция в точке тета равно те, да? дивергенция в точке тета равно те, да? Это же всё приближение та равно тета Old Это же всё приближение та равно тета Old Это же всё приближение та равно тета Old по Тейлору. по Тейлору. по Тейлору. Как вы понимаете, K дивергенция у нас Как вы понимаете, K дивергенция у нас Как вы понимаете, K дивергенция у нас минимально, когда у нас политики равны, минимально, когда у нас политики равны, минимально, когда у нас политики равны, соответственно, когда у нас параметры соответственно, когда у нас параметры соответственно, когда у нас параметры одни и те же, это минимум. Ну и что у

01:11:47одни и те же, это минимум. Ну и что у одни и те же, это минимум. Ну и что у нас в минимуме? В минимуме, естественно, нас в минимуме? В минимуме, естественно, нас в минимуме? В минимуме, естественно, у нас кредиент равен нулю. Это мы тоже у нас кредиент равен нулю. Это мы тоже у нас кредиент равен нулю. Это мы тоже заранее знаем. Есть ещё немножко другое заранее знаем. Есть ещё немножко другое заранее знаем. Есть ещё немножко другое объяснение, почему. объяснение, почему. объяснение, почему. градиент. Почему второй член здесь тоже градиент. Почему второй член здесь тоже градиент. Почему второй член здесь тоже равен нулю? Почему градиент равен нулю? равен нулю? Почему градиент равен нулю?

01:12:00равен нулю? Почему градиент равен нулю? Объяснение через log score function. Это Объяснение через log score function. Это Объяснение через log score function. Это история, которая известна всем, кто вот история, которая известна всем, кто вот история, которая известна всем, кто вот занимался теорией статистического занимался теорией статистического занимался теорией статистического обучения и подобными вещами. обучения и подобными вещами. обучения и подобными вещами. Там есть такой красивый вывод, что если Там есть такой красивый вывод, что если Там есть такой красивый вывод, что если мы прямо возьмём производную, мы мы прямо возьмём производную, мы

01:12:14мы прямо возьмём производную, мы применим log der деivtiative trick, применим log der деivtiative trick, применим log der деivtiative trick, который мы смотрели, вот вы можете прямо который мы смотрели, вот вы можете прямо который мы смотрели, вот вы можете прямо взять и и посмотреть, у нас получится взять и и посмотреть, у нас получится взять и и посмотреть, у нас получится score function, то есть это будет такая score function, то есть это будет такая score function, то есть это будет такая штука мотожидание, градиент логарифма штука мотожидание, градиент логарифма штука мотожидание, градиент логарифма политики. политики. политики. И после этого мы увидим то, что,

01:12:28И после этого мы увидим то, что, И после этого мы увидим то, что, извините, там минус вот тут вот ещё извините, там минус вот тут вот ещё извините, там минус вот тут вот ещё должен быть должен быть должен быть минус. И мы увидим, что мотожидание минус. И мы увидим, что мотожидание минус. И мы увидим, что мотожидание равно нулю. Это как бы второе равно нулю. Это как бы второе равно нулю. Это как бы второе объяснение, наверное, менее интуитивное, объяснение, наверное, менее интуитивное, объяснение, наверное, менее интуитивное, но просто хочется вам рассказать про про но просто хочется вам рассказать про про но просто хочется вам рассказать про про оба варианта. Вот. М, соответственно,

01:12:45оба варианта. Вот. М, соответственно, оба варианта. Вот. М, соответственно, что мы увидели? Что дивергенция, первый что мы увидели? Что дивергенция, первый что мы увидели? Что дивергенция, первый член равен нулю, второй член равен нулю. член равен нулю, второй член равен нулю. член равен нулю, второй член равен нулю. Ну, соответственно, у нас остаётся Ну, соответственно, у нас остаётся Ну, соответственно, у нас остаётся только третий член, который что такое? только третий член, который что такое? только третий член, который что такое? Ну, соответственно, наш син по кльди Ну, соответственно, наш син по кльди Ну, соответственно, наш син по кльди дивергенции. Ну, и квадратичная форма с

01:13:00дивергенции. Ну, и квадратичная форма с дивергенции. Ну, и квадратичная форма с точки зрения нашей разницы параметров. точки зрения нашей разницы параметров. точки зрения нашей разницы параметров. Тоже ничего сложного, просто формула Тоже ничего сложного, просто формула Тоже ничего сложного, просто формула Тейлора, которую мы применяем и говорим: Тейлора, которую мы применяем и говорим: Тейлора, которую мы применяем и говорим: "Ну, а давайте, вместо того, чтобы "Ну, а давайте, вместо того, чтобы "Ну, а давайте, вместо того, чтобы приближать что-то, что мы не знаем, приближать что-то, что мы не знаем, приближать что-то, что мы не знаем, приблизить, ну, что-то супер сложная

01:13:12приблизить, ну, что-то супер сложная приблизить, ну, что-то супер сложная какая-то функция, давайте, ээ, вернее, какая-то функция, давайте, ээ, вернее, какая-то функция, давайте, ээ, вернее, вместо того, чтобы оптимизировать что-то вместо того, чтобы оптимизировать что-то вместо того, чтобы оптимизировать что-то сложное, давайте будем приближение сложное, давайте будем приближение сложное, давайте будем приближение оптимизировать". Что мы здесь получим? оптимизировать". Что мы здесь получим? оптимизировать". Что мы здесь получим? подставляем вместо нашей старой подставляем вместо нашей старой подставляем вместо нашей старой обжектива подставляем градиент обжектива подставляем градиент

01:13:29обжектива подставляем градиент умножены на вот эту штуку. Ну, понятно, умножены на вот эту штуку. Ну, понятно, умножены на вот эту штуку. Ну, понятно, что здесь мы просто будем двигаться по что здесь мы просто будем двигаться по что здесь мы просто будем двигаться по градиенту. И у нас будет ограничение с градиенту. И у нас будет ограничение с градиенту. И у нас будет ограничение с точки зрения квадратичной формы, то есть точки зрения квадратичной формы, то есть точки зрения квадратичной формы, то есть гисиана нашей KL дивергенции. Ну, то гисиана нашей KL дивергенции. Ну, то гисиана нашей KL дивергенции. Ну, то есть идейно мы с вами видим на семинаре, есть идейно мы с вами видим на семинаре,

01:13:40есть идейно мы с вами видим на семинаре, что мы тут делаем. Мы прямо реально что мы тут делаем. Мы прямо реально что мы тут делаем. Мы прямо реально берём, считаем наш кальдивергенцию, ээ, берём, считаем наш кальдивергенцию, ээ, берём, считаем наш кальдивергенцию, ээ, считаем для неё, соответственно, э считаем для неё, соответственно, э считаем для неё, соответственно, э вторые производные, получаем матрицу, вторые производные, получаем матрицу, вторые производные, получаем матрицу, да, все смешанные члены, получаем гисин. да, все смешанные члены, получаем гисин. да, все смешанные члены, получаем гисин. И будет сейчас трюк, как как нам сделать И будет сейчас трюк, как как нам сделать

01:13:55И будет сейчас трюк, как как нам сделать так, чтобы у нас ничего из этого не так, чтобы у нас ничего из этого не так, чтобы у нас ничего из этого не взорвалось, потому что, понимаете, уже взорвалось, потому что, понимаете, уже взорвалось, потому что, понимаете, уже первую проблему, да, что та наш гиссиан, первую проблему, да, что та наш гиссиан, первую проблему, да, что та наш гиссиан, он размерности количества параметров на он размерности количества параметров на он размерности количества параметров на количество параметров. Это может быть количество параметров. Это может быть количество параметров. Это может быть огромная матрица. Ну там для теластома,

01:14:07огромная матрица. Ну там для теластома, огромная матрица. Ну там для теластома, представьте, ко на которой мы мы представьте, ко на которой мы мы представьте, ко на которой мы мы смотрели на прошлом нашем семинаре, смотрели на прошлом нашем семинаре, смотрели на прошлом нашем семинаре, вернее, вы с Сергеем смотрели. Ээ вернее, вы с Сергеем смотрели. Ээ вернее, вы с Сергеем смотрели. Ээ представьте, какая огромная может быть представьте, какая огромная может быть представьте, какая огромная может быть эта матрица, да, и какая может быть эта матрица, да, и какая может быть эта матрица, да, и какая может быть проблема. Вот. Но как бы э проблема. Вот. Но как бы э

01:14:21проблема. Вот. Но как бы э тут есть такая история, то что мы сейчас тут есть такая история, то что мы сейчас тут есть такая история, то что мы сейчас с этим сможем побороться довольно с этим сможем побороться довольно с этим сможем побороться довольно интересным способом. Но сначала увидели интересным способом. Но сначала увидели интересным способом. Но сначала увидели новую нашу задачу. Для этой новой задачи новую нашу задачу. Для этой новой задачи новую нашу задачу. Для этой новой задачи э да мы можем провести такую аналогию. Я э да мы можем провести такую аналогию. Я э да мы можем провести такую аналогию. Я считаю, это прямо реально классно считаю, это прямо реально классно

01:14:37считаю, это прямо реально классно понимать. Вот, мне кажется, это реально понимать. Вот, мне кажется, это реально понимать. Вот, мне кажется, это реально полезный шажок. Если бы мы делали полезный шажок. Если бы мы делали полезный шажок. Если бы мы делали стандартный аENT, что бы мы делали? Вот стандартный аENT, что бы мы делали? Вот стандартный аENT, что бы мы делали? Вот вы знаете, наверное, прекрасно, что а мы вы знаете, наверное, прекрасно, что а мы вы знаете, наверное, прекрасно, что а мы двигаемся по градиенту, ну, естественно, двигаемся по градиенту, ну, естественно, двигаемся по градиенту, ну, естественно, двигаемся на какой-то learning, что двигаемся на какой-то learning, что

01:14:51двигаемся на какой-то learning, что можно перезаписать. Так что у нас есть можно перезаписать. Так что у нас есть можно перезаписать. Так что у нас есть ограничение, насколько мы максимально ограничение, насколько мы максимально ограничение, насколько мы максимально можем двигаться, которое зависит от можем двигаться, которое зависит от можем двигаться, которое зависит от learning rate. То есть мы можем сказать, learning rate. То есть мы можем сказать, learning rate. То есть мы можем сказать, что мы в нашем стандартном градиентном что мы в нашем стандартном градиентном что мы в нашем стандартном градиентном спуске, градиентном подъёме, давайте спуске, градиентном подъёме, давайте

01:15:04спуске, градиентном подъёме, давайте здесь говорить про градиентный подъём, здесь говорить про градиентный подъём, здесь говорить про градиентный подъём, мы двигаемся в сторону, соответственно, мы двигаемся в сторону, соответственно, мы двигаемся в сторону, соответственно, наших нашего улучшения, но не больше, наших нашего улучшения, но не больше, наших нашего улучшения, но не больше, чем насколько. То есть это эквивалентные чем насколько. То есть это эквивалентные чем насколько. То есть это эквивалентные задачи. На самом деле есть прямо, ну, не задачи. На самом деле есть прямо, ну, не задачи. На самом деле есть прямо, ну, не то, что строгий вывод. Это вы сами

01:15:18то, что строгий вывод. Это вы сами то, что строгий вывод. Это вы сами можете вывести через Гринжан для вот можете вывести через Гринжан для вот можете вывести через Гринжан для вот этой вот задачи увидеть, что это то же этой вот задачи увидеть, что это то же этой вот задачи увидеть, что это то же самое. Соответственно, давайте запишем самое. Соответственно, давайте запишем самое. Соответственно, давайте запишем наш градиентный градиентный подъём как наш градиентный градиентный подъём как наш градиентный градиентный подъём как то же самое ограничение в L2 норме. Ну я то же самое ограничение в L2 норме. Ну я то же самое ограничение в L2 норме. Ну я специально тут для простоты беру не

01:15:33специально тут для простоты беру не специально тут для простоты беру не норму, а норму в квадрате, да? Ну это норму, а норму в квадрате, да? Ну это норму, а норму в квадрате, да? Ну это понятно, как вы понимаете, то же самое, понятно, как вы понимаете, то же самое, понятно, как вы понимаете, то же самое, что просто квадрат с правой части взять. что просто квадрат с правой части взять. что просто квадрат с правой части взять. Вот. Ну и, соответственно, можем Вот. Ну и, соответственно, можем Вот. Ну и, соответственно, можем квадратную форму можем перезаписать вот квадратную форму можем перезаписать вот квадратную форму можем перезаписать вот в таком формате. То есть градиентный

01:15:44в таком формате. То есть градиентный в таком формате. То есть градиентный спуск тоже градиентный подъём в этом спуск тоже градиентный подъём в этом спуск тоже градиентный подъём в этом случае то же самое, что максимизировать случае то же самое, что максимизировать случае то же самое, что максимизировать таргет по градиенту при этом с таргет по градиенту при этом с таргет по градиенту при этом с ограничением в тот максимальный шк, ограничением в тот максимальный шк, ограничением в тот максимальный шк, который мы можем сделать. Теперь новая который мы можем сделать. Теперь новая который мы можем сделать. Теперь новая новую задачу, которую мы с вами только новую задачу, которую мы с вами только

01:15:57новую задачу, которую мы с вами только что вывели через приближение. Заметьте что вывели через приближение. Заметьте что вывели через приближение. Заметьте интересную штуку, что у нас обжектив интересную штуку, что у нас обжектив интересную штуку, что у нас обжектив остался таким же. То есть ещё раз остался таким же. То есть ещё раз остался таким же. То есть ещё раз напомню, что вот это вот то, что вверху напомню, что вот это вот то, что вверху напомню, что вот это вот то, что вверху ди - это то, что мы делаем в нашем ACC, ди - это то, что мы делаем в нашем ACC, ди - это то, что мы делаем в нашем ACC, то, что мы делали в реинфорсе. ээ у нас то, что мы делали в реинфорсе. ээ у нас

01:16:13то, что мы делали в реинфорсе. ээ у нас менялись как бы как мы считаем менялись как бы как мы считаем менялись как бы как мы считаем градиенты, но идейно это то же самое, градиенты, но идейно это то же самое, градиенты, но идейно это то же самое, что мы делаем, да, то есть мы делаем что мы делаем, да, то есть мы делаем что мы делаем, да, то есть мы делаем какой-то градиентный подъём в какой-то градиентный подъём в какой-то градиентный подъём в пространстве параметров, да? То есть как пространстве параметров, да? То есть как пространстве параметров, да? То есть как бы мы говорим, что мы не шагаем далеко с бы мы говорим, что мы не шагаем далеко с

01:16:25бы мы говорим, что мы не шагаем далеко с точки зрения параметров. При этом точки зрения параметров. При этом точки зрения параметров. При этом функционал, который мы максимизируем, функционал, который мы максимизируем, функционал, который мы максимизируем, ровно такой же. Но заметьте, что у нас ровно такой же. Но заметьте, что у нас ровно такой же. Но заметьте, что у нас поменялось поменялось поменялось в нашем ТРПО. У нас добавилась матрица в нашем ТРПО. У нас добавилась матрица в нашем ТРПО. У нас добавилась матрица К, которая не была здесь. И это, мне К, которая не была здесь. И это, мне К, которая не была здесь. И это, мне кажется, реально интересно. Может быть,

01:16:42кажется, реально интересно. Может быть, кажется, реально интересно. Может быть, не с ходу понятно, но, пожалуйста, не с ходу понятно, но, пожалуйста, не с ходу понятно, но, пожалуйста, пересмотрите и подумайте про это ещё пересмотрите и подумайте про это ещё пересмотрите и подумайте про это ещё раз. Мне кажется, это реально хорошо раз. Мне кажется, это реально хорошо раз. Мне кажется, это реально хорошо объясняет алгоритм. объясняет алгоритм. объясняет алгоритм. Интуиция такая, что до этого мы делали Интуиция такая, что до этого мы делали Интуиция такая, что до этого мы делали шаг в пространстве параметров. То есть шаг в пространстве параметров. То есть

01:16:57шаг в пространстве параметров. То есть мы как бы учитывали, естественно, куда мы как бы учитывали, естественно, куда мы как бы учитывали, естественно, куда двигаться лучше всего, но при этом мы не двигаться лучше всего, но при этом мы не двигаться лучше всего, но при этом мы не учитывали тот факт, то, что мы можем по учитывали тот факт, то, что мы можем по учитывали тот факт, то, что мы можем по этому градиенту двинуться слишком этому градиенту двинуться слишком этому градиенту двинуться слишком далеко, потому что Лёрдин Крейт плохо далеко, потому что Лёрдин Крейт плохо далеко, потому что Лёрдин Крейт плохо подобрали, и свалиться в какие-то подобрали, и свалиться в какие-то

01:17:09подобрали, и свалиться в какие-то какую-то плохую политику, потому что мы какую-то плохую политику, потому что мы какую-то плохую политику, потому что мы двигались по параметру, то есть мы не двигались по параметру, то есть мы не двигались по параметру, то есть мы не знали сдвиг в данной точке по параметру знали сдвиг в данной точке по параметру знали сдвиг в данной точке по параметру на 01. Это что значит? С точки зрения на 01. Это что значит? С точки зрения на 01. Это что значит? С точки зрения политики, мы никак с точки зрения политики, мы никак с точки зрения политики, мы никак с точки зрения политики это не не ограничивали. А здесь политики это не не ограничивали. А здесь

01:17:22политики это не не ограничивали. А здесь мы с вами взяли и перешли в пространство мы с вами взяли и перешли в пространство мы с вами взяли и перешли в пространство политик за счёт как раз-таки этой К, за политик за счёт как раз-таки этой К, за политик за счёт как раз-таки этой К, за счёт счёт счёт нашей, соответственно, К дивергенции, нашей, соответственно, К дивергенции, нашей, соответственно, К дивергенции, потому что мы теперь говорим, что мы не потому что мы теперь говорим, что мы не потому что мы теперь говорим, что мы не хотим далеко двигаться не с точки зрения хотим далеко двигаться не с точки зрения хотим далеко двигаться не с точки зрения параметров, которые параметры нейронки

01:17:38параметров, которые параметры нейронки параметров, которые параметры нейронки какие-то, а с точки зрения какие-то, а с точки зрения какие-то, а с точки зрения распределения, которое они порождают. распределения, которое они порождают. распределения, которое они порождают. Вот. И это такая история, которая нам во Вот. И это такая история, которая нам во Вот. И это такая история, которая нам во многом помогает, просто потому что мы многом помогает, просто потому что мы многом помогает, просто потому что мы здесь можем более хорошо контролировать здесь можем более хорошо контролировать здесь можем более хорошо контролировать политику. Это как бы вторая фича нашего

01:17:51политику. Это как бы вторая фича нашего политику. Это как бы вторая фича нашего алгоритма. То есть первая фича алгоритма. То есть первая фича алгоритма. То есть первая фича алгоритмов, которые мы разбираем алгоритмов, которые мы разбираем алгоритмов, которые мы разбираем сегодня, то, что мы можем собрать сегодня, то, что мы можем собрать сегодня, то, что мы можем собрать траектории и чуть больше сделать траектории и чуть больше сделать траектории и чуть больше сделать апдейтов и лучше их использовать. А апдейтов и лучше их использовать. А апдейтов и лучше их использовать. А вторая, что мы получили как бы какую-то вторая, что мы получили как бы какую-то

01:18:02вторая, что мы получили как бы какую-то связку с тем, насколько мы хорошо будем связку с тем, насколько мы хорошо будем связку с тем, насколько мы хорошо будем действовать, то есть какая у нас будет действовать, то есть какая у нас будет действовать, то есть какая у нас будет стахастическая политика, вместо того, стахастическая политика, вместо того, стахастическая политика, вместо того, чтобы делать этот в пространстве чтобы делать этот в пространстве чтобы делать этот в пространстве параметры. параметры. параметры. Да. Что такое к? Спасибо. Давайте ещё Да. Что такое к? Спасибо. Давайте ещё Да. Что такое к? Спасибо. Давайте ещё раз посмотрим на вот это приближение. K

01:18:17раз посмотрим на вот это приближение. K раз посмотрим на вот это приближение. K - это наш гисиан КL дивергенции. - это наш гисиан КL дивергенции. - это наш гисиан КL дивергенции. Вот эта вот штука Вот эта вот штука Вот эта вот штука в точке, естественно, та old. Вот. в точке, естественно, та old. Вот. в точке, естественно, та old. Вот. Потому что мы мы делаем приближение в Потому что мы мы делаем приближение в Потому что мы мы делаем приближение в точке та old. То есть мы как бы нашли с точке та old. То есть мы как бы нашли с точке та old. То есть мы как бы нашли с вами, что вместо того, чтобы решать вот вами, что вместо того, чтобы решать вот

01:18:31вами, что вместо того, чтобы решать вот эту задачу, мы можем решать её через K. эту задачу, мы можем решать её через K. эту задачу, мы можем решать её через K. И вот эта вот K за счёт того, что это И вот эта вот K за счёт того, что это И вот эта вот K за счёт того, что это гифанди дивергенция, она как раз-таки и гифанди дивергенция, она как раз-таки и гифанди дивергенция, она как раз-таки и контролирует то, что мы далеко не уйдём контролирует то, что мы далеко не уйдём контролирует то, что мы далеко не уйдём в пространстве политик. Э, спасибо в пространстве политик. Э, спасибо в пространстве политик. Э, спасибо большое за вопрос. Давайте, есть ли тут большое за вопрос. Давайте, есть ли тут

01:18:46большое за вопрос. Давайте, есть ли тут ещё вопросы? Вот. Ээ, как получается, ещё вопросы? Вот. Ээ, как получается, ещё вопросы? Вот. Ээ, как получается, какого-то рода ограничение на какого-то рода ограничение на какого-то рода ограничение на спектральные числа Гисиана. спектральные числа Гисиана. спектральные числа Гисиана. >> Ну, смотрите, э если мы ограничиваем ээ >> Ну, смотрите, э если мы ограничиваем ээ >> Ну, смотрите, э если мы ограничиваем ээ квадратичную форму, то мы можем это квадратичную форму, то мы можем это квадратичную форму, то мы можем это всегда через спектральное разложение. На всегда через спектральное разложение. На

01:19:05всегда через спектральное разложение. На самом деле здесь это симметрично самом деле здесь это симметрично самом деле здесь это симметрично positive defite матрица, поэтому можем positive defite матрица, поэтому можем positive defite матрица, поэтому можем даже values посмотреть. даже values посмотреть. даже values посмотреть. Да, мы можем это, ну, как бы всегда Да, мы можем это, ну, как бы всегда Да, мы можем это, ну, как бы всегда связать. Ээ, на самом деле мы не связать. Ээ, на самом деле мы не связать. Ээ, на самом деле мы не ограничиваем

01:19:22матрицу К. Она какая как бы, ну, не то, матрицу К. Она какая как бы, ну, не то, что какая была, такая есть, а она что какая была, такая есть, а она что какая была, такая есть, а она матрица К нам показывает как бы матрица К нам показывает как бы матрица К нам показывает как бы выпуклость нашей нашей политики в данный выпуклость нашей нашей политики в данный выпуклость нашей нашей политики в данный момент времени, да? А мы ограничиваем момент времени, да? А мы ограничиваем момент времени, да? А мы ограничиваем как бы тетты, понимая, что мы не хотим как бы тетты, понимая, что мы не хотим как бы тетты, понимая, что мы не хотим очень слишком скакать. Вот это вот, если

01:19:32очень слишком скакать. Вот это вот, если очень слишком скакать. Вот это вот, если если я могу интуитивно объяснить. То если я могу интуитивно объяснить. То если я могу интуитивно объяснить. То есть мы не ограничиваем K само по себе, есть мы не ограничиваем K само по себе, есть мы не ограничиваем K само по себе, да? Мы ограничиваем как бы теты. При да? Мы ограничиваем как бы теты. При да? Мы ограничиваем как бы теты. При этом K, естественно, тоже тоже у нас, этом K, естественно, тоже тоже у нас, этом K, естественно, тоже тоже у нас, ну, это какая-то производная, которая ну, это какая-то производная, которая ну, это какая-то производная, которая тоже от ТЕТ будет зависеть.

01:19:49Понятно стало. Понятно стало. Ага.

01:19:56>> Так, есть ли ещё вопросы? Да, конечно, >> Так, есть ли ещё вопросы? Да, конечно, давайте. Давайте. давайте. Давайте. давайте. Давайте. >> А, а зачем? Дада. Да, там гисиан >> А, а зачем? Дада. Да, там гисиан >> А, а зачем? Дада. Да, там гисиан считать. Это же, ну, как бы дорого всё. считать. Это же, ну, как бы дорого всё. считать. Это же, ну, как бы дорого всё. У нас раньше этого не было. У нас раньше этого не было. У нас раньше этого не было. Типа Типа Типа просто, просто, просто, >> да, смотрите, тот факт, то, что это >> да, смотрите, тот факт, то, что это >> да, смотрите, тот факт, то, что это дорого, это хороший поит. Дада. Го, говорите, пожалуйста. Что-то,

01:20:18Дада. Го, говорите, пожалуйста. Что-то, кажется, прерывается. кажется, прерывается. кажется, прерывается. >> Лагает. Всё, в принципе, вопрос, да, >> Лагает. Всё, в принципе, вопрос, да, >> Лагает. Всё, в принципе, вопрос, да, такой. Это дорого. То есть стоит ли

01:20:29>> Да, смотрите, это хорошее замечание, что >> Да, смотрите, это хорошее замечание, что это дорого. И вот мы сейчас с вами на это дорого. И вот мы сейчас с вами на это дорого. И вот мы сейчас с вами на первом алгоритме, а второй он будет первом алгоритме, а второй он будет первом алгоритме, а второй он будет очень похож на этот, но только он будет, очень похож на этот, но только он будет, очень похож на этот, но только он будет, соответственно, как раз-таки пытаться с соответственно, как раз-таки пытаться с соответственно, как раз-таки пытаться с этой историей бороться, что это дорого. этой историей бороться, что это дорого.

01:20:39этой историей бороться, что это дорого. Это очень хорошее замечание. Но при Это очень хорошее замечание. Но при Это очень хорошее замечание. Но при этом, как мы увидим, что это реально этом, как мы увидим, что это реально этом, как мы увидим, что это реально окупается, несмотря на то, что это окупается, несмотря на то, что это окупается, несмотря на то, что это дорого, потому что мы лучше используем дорого, потому что мы лучше используем дорого, потому что мы лучше используем траекторию. То есть тут как бы такая траекторию. То есть тут как бы такая траекторию. То есть тут как бы такая история, то что нам дороже это считать, история, то что нам дороже это считать,

01:20:51история, то что нам дороже это считать, но считать мы умеем достаточно хорошо. но считать мы умеем достаточно хорошо. но считать мы умеем достаточно хорошо. Ну мы как бы даже посчитать какие-то Ну мы как бы даже посчитать какие-то Ну мы как бы даже посчитать какие-то большие параметры мы в целом можем. А большие параметры мы в целом можем. А большие параметры мы в целом можем. А траектории собирать нам дорого, сложно, траектории собирать нам дорого, сложно, траектории собирать нам дорого, сложно, не в плане, что долго по времени, да, а не в плане, что долго по времени, да, а не в плане, что долго по времени, да, а в плане то, что нам нужно постоянно как

01:21:06в плане то, что нам нужно постоянно как в плане то, что нам нужно постоянно как бы их собрать, обновить, и мы много бы их собрать, обновить, и мы много бы их собрать, обновить, и мы много информации забываем. И ты мы тут можем информации забываем. И ты мы тут можем информации забываем. И ты мы тут можем как бы лучше хорошо использовать то, что как бы лучше хорошо использовать то, что как бы лучше хорошо использовать то, что мы уже собрали. Вот такая идея. Но это мы уже собрали. Вот такая идея. Но это мы уже собрали. Вот такая идея. Но это хорошее замечание. И давайте я тут скажу хорошее замечание. И давайте я тут скажу хорошее замечание. И давайте я тут скажу один момент, который ээ важно

01:21:20один момент, который ээ важно один момент, который ээ важно подсветить, который я хотел сказать в подсветить, который я хотел сказать в подсветить, который я хотел сказать в конце. Тропо - это такой алгоритм, конце. Тропо - это такой алгоритм, конце. Тропо - это такой алгоритм, который, если он заведётся, то есть если который, если он заведётся, то есть если который, если он заведётся, то есть если вы вот с этой большой матрицей K можете вы вот с этой большой матрицей K можете вы вот с этой большой матрицей K можете всё написать так, что всё влезло, всё всё написать так, что всё влезло, всё всё написать так, что всё влезло, всё нормально оптимизируется, ничего не

01:21:31нормально оптимизируется, ничего не нормально оптимизируется, ничего не взрывается, то он реально очень крутой, взрывается, то он реально очень крутой, взрывается, то он реально очень крутой, то как бы вот он реально побьёт э то, то как бы вот он реально побьёт э то, то как бы вот он реально побьёт э то, что у вас было до этого. Но при этом, что у вас было до этого. Но при этом, что у вас было до этого. Но при этом, если есть такая задача, где-то РПО не если есть такая задача, где-то РПО не если есть такая задача, где-то РПО не доводится, потому что он такой большой, доводится, потому что он такой большой, доводится, потому что он такой большой, сложный, то да, действительно, это будет

01:21:42сложный, то да, действительно, это будет сложный, то да, действительно, это будет проблема. Вот поэтому хорошее замечание, проблема. Вот поэтому хорошее замечание, проблема. Вот поэтому хорошее замечание, но, ээ, ответ эмпирический: да, это но, ээ, ответ эмпирический: да, это но, ээ, ответ эмпирический: да, это помогает, помогает, помогает, потому что мы как бы такие э видите, вы потому что мы как бы такие э видите, вы потому что мы как бы такие э видите, вы заметьте, что мы тут перешли в такие заметьте, что мы тут перешли в такие заметьте, что мы тут перешли в такие методы второго порядка немножко.

01:22:01Так, перерыв просьба мы, да, обычно Так, перерыв просьба мы, да, обычно делаем перед делаем перед делаем перед семинаром перерыв. Давайте я предложу семинаром перерыв. Давайте я предложу семинаром перерыв. Давайте я предложу так. Ээ, у нас обычно хотя бы до до так. Ээ, у нас обычно хотя бы до до так. Ээ, у нас обычно хотя бы до до половины. Если не сложно, давайте мы половины. Если не сложно, давайте мы половины. Если не сложно, давайте мы дойдём сейчас буквально до конца ТРПО, дойдём сейчас буквально до конца ТРПО, дойдём сейчас буквально до конца ТРПО, мне на это минут 10 нужно, и потом мне на это минут 10 нужно, и потом

01:22:13мне на это минут 10 нужно, и потом сделаем перерыв 10 минут. Нормально. Или сделаем перерыв 10 минут. Нормально. Или сделаем перерыв 10 минут. Нормально. Или или лучше лучше сейчас? У нас семинар или лучше лучше сейчас? У нас семинар или лучше лучше сейчас? У нас семинар сегодня быстрый будет, поэтому мы по сегодня быстрый будет, поэтому мы по сегодня быстрый будет, поэтому мы по времени успеваем. Всё нормально.

01:22:28>> Да, спасибо. Давайте буквально до конца >> Да, спасибо. Давайте буквально до конца ТРПО дойдём и потом как раз перед вторым ТРПО дойдём и потом как раз перед вторым ТРПО дойдём и потом как раз перед вторым алгоритмом мы сделаем перерыв. Вот. алгоритмом мы сделаем перерыв. Вот. алгоритмом мы сделаем перерыв. Вот. А, соответственно,

01:22:41что мы видим дальше? То, что мы с вами что мы видим дальше? То, что мы с вами только что обсудили, у нас для вот только что обсудили, у нас для вот только что обсудили, у нас для вот такого функционала есть чёткое решение. такого функционала есть чёткое решение. такого функционала есть чёткое решение. Мы знаем, в какую сторону надо шагать, Мы знаем, в какую сторону надо шагать, Мы знаем, в какую сторону надо шагать, вот такую вот сторону, и с каким как бы вот такую вот сторону, и с каким как бы вот такую вот сторону, и с каким как бы крейтом. Вот видите, мы этот learning крейтом. Вот видите, мы этот learning крейтом. Вот видите, мы этот learning crate, который здесь у нас есть, мы его

01:22:56crate, который здесь у нас есть, мы его crate, который здесь у нас есть, мы его смогли вывести через эту дельту. Э вот смогли вывести через эту дельту. Э вот смогли вывести через эту дельту. Э вот это, соответственно, тут никакой магии это, соответственно, тут никакой магии это, соответственно, тут никакой магии нет. Э, магия в том, что у нас нет. Э, магия в том, что у нас нет. Э, магия в том, что у нас функционал получается линейный, да? Ну, функционал получается линейный, да? Ну, функционал получается линейный, да? Ну, потому что мы только по градиенту потому что мы только по градиенту потому что мы только по градиенту двигаемся, и у нас есть ограничение. И

01:23:09двигаемся, и у нас есть ограничение. И двигаемся, и у нас есть ограничение. И получается так, что у нас ограничение получается так, что у нас ограничение получается так, что у нас ограничение всегда должно выполняться, да, потому всегда должно выполняться, да, потому всегда должно выполняться, да, потому что, ну, по функционалу, чем дальше мы что, ну, по функционалу, чем дальше мы что, ну, по функционалу, чем дальше мы двинемся, тем лучше. Но при этом до двинемся, тем лучше. Но при этом до двинемся, тем лучше. Но при этом до какого-то ограничения. Поэтому тут вывод какого-то ограничения. Поэтому тут вывод какого-то ограничения. Поэтому тут вывод достаточно простой. Вот. Э, и вот наше

01:23:21достаточно простой. Вот. Э, и вот наше достаточно простой. Вот. Э, и вот наше оптимальное решение. Как вы могли уже оптимальное решение. Как вы могли уже оптимальное решение. Как вы могли уже заметить, спасибо за хорошие заметить, спасибо за хорошие заметить, спасибо за хорошие комментарии, что когда мы попытаемся комментарии, что когда мы попытаемся комментарии, что когда мы попытаемся взять к и обратить её, будет супер-спер взять к и обратить её, будет супер-спер взять к и обратить её, будет супер-спер сложно. Вот, да, этот вопрос вижу в сложно. Вот, да, этот вопрос вижу в сложно. Вот, да, этот вопрос вижу в чате, ээ, часто возникает. Это не совсем чате, ээ, часто возникает. Это не совсем

01:23:38чате, ээ, часто возникает. Это не совсем метод Ньютон. То есть вот как бы ээ метод Ньютон. То есть вот как бы ээ метод Ньютон. То есть вот как бы ээ немного не до конца это похоже на метод немного не до конца это похоже на метод немного не до конца это похоже на метод Ньютона. метод Ньютона - это как Ньютона. метод Ньютона - это как Ньютона. метод Ньютона - это как раз-таки, если бы мы попытались в раз-таки, если бы мы попытались в раз-таки, если бы мы попытались в пространстве параметров взять, э, и пространстве параметров взять, э, и пространстве параметров взять, э, и как-то учесть нашу curvature, да, то как-то учесть нашу curvature, да, то

01:23:50как-то учесть нашу curvature, да, то есть как бы насколько у нас выгонутая есть как бы насколько у нас выгонутая есть как бы насколько у нас выгонутая функция, это вот методы второго порядка, функция, это вот методы второго порядка, функция, это вот методы второго порядка, которые мы бы использовали с точки которые мы бы использовали с точки которые мы бы использовали с точки зрения параметров. А у нас здесь зрения параметров. А у нас здесь зрения параметров. А у нас здесь немножко матрица K другая, потому что немножко матрица K другая, потому что немножко матрица K другая, потому что это матрица через KL дивергенцию. Это это матрица через KL дивергенцию. Это

01:24:02это матрица через KL дивергенцию. Это матрица в пространстве политик, но это, матрица в пространстве политик, но это, матрица в пространстве политик, но это, да, близкая история. То есть это вот да, близкая история. То есть это вот да, близкая история. То есть это вот то, что мы сейчас выводим, более сложным то, что мы сейчас выводим, более сложным то, что мы сейчас выводим, более сложным способом, но зато более теоретически способом, но зато более теоретически способом, но зато более теоретически обоснованным, можно вынести вывести обоснованным, можно вынести вывести обоснованным, можно вынести вывести через natural policy Gradient, который через natural policy Gradient, который

01:24:15через natural policy Gradient, который тесно связан с методом Ньютона, тесно связан с методом Ньютона, тесно связан с методом Ньютона, применённым для политик. применённым для политик. применённым для политик. Ээ ответил на вопрос в чате. Ээ ответил на вопрос в чате. Ээ ответил на вопрос в чате. >> Да, спасибо. >> Да, спасибо. >> Да, спасибо. >> Ага. Спасибо большое. Спасибо за >> Ага. Спасибо большое. Спасибо за >> Ага. Спасибо большое. Спасибо за комментарии. Да. Вот, соответственно, комментарии. Да. Вот, соответственно, комментарии. Да. Вот, соответственно, вот получили такой апдейт. вот получили такой апдейт. вот получили такой апдейт. Нам осталось обсудить буквально две

01:24:35Нам осталось обсудить буквально две Нам осталось обсудить буквально две вещи. Первая вещь - это как нам найти вещи. Первая вещь - это как нам найти вещи. Первая вещь - это как нам найти вот это вот k - мину1. Обращать за вот это вот k - мину1. Обращать за вот это вот k - мину1. Обращать за кубическое время, но даже за какое-то кубическое время, но даже за какое-то кубическое время, но даже за какое-то там приближение, которое симптотически там приближение, которое симптотически там приближение, которое симптотически кубическое, но в среднем даже такое кубическое, но в среднем даже такое кубическое, но в среднем даже такое будет ээ что-то близкое к этому. Нам бы

01:24:51будет ээ что-то близкое к этому. Нам бы будет ээ что-то близкое к этому. Нам бы не хотелось. Просто потому что напомню, не хотелось. Просто потому что напомню, не хотелось. Просто потому что напомню, что тета - это наши параметры, параметры что тета - это наши параметры, параметры что тета - это наши параметры, параметры нейронки. Ну и представьте для ЛЦМ такое нейронки. Ну и представьте для ЛЦМ такое нейронки. Ну и представьте для ЛЦМ такое обращать. Ну как бы в каких-то задачах обращать. Ну как бы в каких-то задачах обращать. Ну как бы в каких-то задачах вы, наверное, можете такое сделать, да, вы, наверное, можете такое сделать, да,

01:25:00вы, наверное, можете такое сделать, да, для маленьких сетей. Но что-то хочется для маленьких сетей. Но что-то хочется для маленьких сетей. Но что-то хочется сделать получше. Ну вот то, что сделать получше. Ну вот то, что сделать получше. Ну вот то, что предлагается сделать немножко получше, предлагается сделать немножко получше, предлагается сделать немножко получше, это использовать тот факт, то что K у это использовать тот факт, то что K у это использовать тот факт, то что K у нас по определению, раз это гисиан К нас по определению, раз это гисиан К нас по определению, раз это гисиан К дивергенции, ну и в целом гисин для вот дивергенции, ну и в целом гисин для вот

01:25:15дивергенции, ну и в целом гисин для вот такой вот такой вот такой вот нашей классной функции, это симметричная нашей классной функции, это симметричная нашей классной функции, это симметричная и положительно определённая матрица. и положительно определённая матрица. и положительно определённая матрица. Соответственно, а что мы можем таким Соответственно, а что мы можем таким Соответственно, а что мы можем таким образом сделать? Мы можем применить образом сделать? Мы можем применить образом сделать? Мы можем применить метод сопряжённых градиентов. Э, метод сопряжённых градиентов. Э, метод сопряжённых градиентов. Э, соответственно, мы тут предлагаем сильно

01:25:31соответственно, мы тут предлагаем сильно соответственно, мы тут предлагаем сильно на нём не останавливаться. Кому на нём не останавливаться. Кому на нём не останавливаться. Кому интересно, тоже можно его детальнее интересно, тоже можно его детальнее интересно, тоже можно его детальнее обсудить, но можно смотреть. Это просто обсудить, но можно смотреть. Это просто обсудить, но можно смотреть. Это просто метод оптимизации, метод чуть получше метод оптимизации, метод чуть получше метод оптимизации, метод чуть получше найти как бы не K -1, а сразу же K -1 в найти как бы не K -1, а сразу же K -1 в найти как бы не K -1, а сразу же K -1 в G, ээ, умножено на G. То, что нам нужно,

01:25:44G, ээ, умножено на G. То, что нам нужно, G, ээ, умножено на G. То, что нам нужно, да, для вот этого направления, то, что да, для вот этого направления, то, что да, для вот этого направления, то, что синим здесь подчеркнул я. Э, да, по синим здесь подчеркнул я. Э, да, по синим здесь подчеркнул я. Э, да, по сути, сразу найти направление, ну, и сути, сразу найти направление, ну, и сути, сразу найти направление, ну, и здесь как бы оно тоже здесь понадобится. здесь как бы оно тоже здесь понадобится. здесь как бы оно тоже здесь понадобится. Сразу найти направление, в которое Сразу найти направление, в которое Сразу найти направление, в которое шагать. С помощью, соответственно, нашей

01:25:55шагать. С помощью, соответственно, нашей шагать. С помощью, соответственно, нашей ээ метод сопряжённых градиентов. Можно, ээ метод сопряжённых градиентов. Можно, ээ метод сопряжённых градиентов. Можно, если хотите, на него смотреть как на если хотите, на него смотреть как на если хотите, на него смотреть как на Blackbox. В нём нет какой-то льной Blackbox. В нём нет какой-то льной Blackbox. В нём нет какой-то льной истории. Это именно способ вот метопных истории. Это именно способ вот метопных истории. Это именно способ вот метопных ингредиентов, способ решать вот такой ингредиентов, способ решать вот такой ингредиентов, способ решать вот такой вот такую вот систему лининых уравнений,

01:26:10вот такую вот систему лининых уравнений, вот такую вот систему лининых уравнений, где K симметрично положительно где K симметрично положительно где K симметрично положительно определённая, и мы хотим найти S. Вот и определённая, и мы хотим найти S. Вот и определённая, и мы хотим найти S. Вот и всё. Соответственно, всё. Соответственно, всё. Соответственно, у нас N итерации, которые мы задаём, у нас N итерации, которые мы задаём, у нас N итерации, которые мы задаём, которые гиперпараметры, как вы которые гиперпараметры, как вы которые гиперпараметры, как вы понимаете, чем больше итерации, тем понимаете, чем больше итерации, тем понимаете, чем больше итерации, тем лучше точность, но при этом,

01:26:25лучше точность, но при этом, лучше точность, но при этом, естественно, э-э дольше. тольше это всё естественно, э-э дольше. тольше это всё естественно, э-э дольше. тольше это всё работает. И на каждой итерации у нас работает. И на каждой итерации у нас работает. И на каждой итерации у нас какое-то квадратичное время. Ну, какое-то квадратичное время. Ну, какое-то квадратичное время. Ну, соответственно, как бы мы сделаем, как соответственно, как бы мы сделаем, как соответственно, как бы мы сделаем, как правило, итерации сильно меньше, чем правило, итерации сильно меньше, чем правило, итерации сильно меньше, чем количество параметров. Будет достаточно количество параметров. Будет достаточно

01:26:36количество параметров. Будет достаточно довольно мало, вы увидите на семинаре довольно мало, вы увидите на семинаре довольно мало, вы увидите на семинаре довольно мало параметров, чтобы это всё довольно мало параметров, чтобы это всё довольно мало параметров, чтобы это всё работало. Вот ещё раз, это просто метод, работало. Вот ещё раз, это просто метод, работало. Вот ещё раз, это просто метод, как посчитать на это направление. Для как посчитать на это направление. Для как посчитать на это направление. Для маленькой нейронки мы могли бы просто маленькой нейронки мы могли бы просто маленькой нейронки мы могли бы просто взять взять и обратить матрицу K. взять взять и обратить матрицу K.

01:26:49взять взять и обратить матрицу K. Никакой сложности с этим нет. Вот. Никакой сложности с этим нет. Вот. Никакой сложности с этим нет. Вот. Ещё один момент, который хочется Ещё один момент, который хочется Ещё один момент, который хочется отметить здесь, это вот то, что красным отметить здесь, это вот то, что красным отметить здесь, это вот то, что красным здесь написано. Ну, конечно, к можно здесь написано. Ну, конечно, к можно здесь написано. Ну, конечно, к можно что-то ещё попридумывать. Мы как что-то ещё попридумывать. Мы как что-то ещё попридумывать. Мы как ресерчеры все много придумали, ресерчеры все много придумали, ресерчеры все много придумали, человечество как речера много придумали

01:27:08человечество как речера много придумали человечество как речера много придумали разных способов, как с такими матрицами разных способов, как с такими матрицами разных способов, как с такими матрицами действовать, да? Другой способ - это действовать, да? Другой способ - это действовать, да? Другой способ - это взять какое-то низкоранговое приближение взять какое-то низкоранговое приближение взять какое-то низкоранговое приближение этой матрицы, матрицы К, и уже с ним, этой матрицы, матрицы К, и уже с ним, этой матрицы, матрицы К, и уже с ним, соответственно, делать все операции. Вот соответственно, делать все операции. Вот

01:27:19соответственно, делать все операции. Вот я тут приотачил статью, которая этим я тут приотачил статью, которая этим я тут приотачил статью, которая этим одна из статей, которая как раз это одна из статей, которая как раз это одна из статей, которая как раз это делать для ТРПО. Можете её посмотреть, делать для ТРПО. Можете её посмотреть, делать для ТРПО. Можете её посмотреть, если интересно. Просто как бы ээ тот если интересно. Просто как бы ээ тот если интересно. Просто как бы ээ тот факт, что это тоже можно сделать, это факт, что это тоже можно сделать, это факт, что это тоже можно сделать, это тоже как бы в целом неплохо работает. Ну тоже как бы в целом неплохо работает. Ну

01:27:31тоже как бы в целом неплохо работает. Ну всё, давайте два слайда осталось до всё, давайте два слайда осталось до всё, давайте два слайда осталось до перерыва. перерыва. перерыва. Давайте посмотрим на визуализацию и Давайте посмотрим на визуализацию и Давайте посмотрим на визуализацию и поймём, что этого, к сожалению, всё ещё поймём, что этого, к сожалению, всё ещё поймём, что этого, к сожалению, всё ещё недостаточно. Не хватает одной последней недостаточно. Не хватает одной последней недостаточно. Не хватает одной последней детали. Проблема в том, что дельта, ну детали. Проблема в том, что дельта, ну детали. Проблема в том, что дельта, ну вот здесь вот на слайде эта

01:27:48вот здесь вот на слайде эта вот здесь вот на слайде эта визуализация, она написана как а. Ну визуализация, она написана как а. Ну визуализация, она написана как а. Ну давайте напишем дельта. Наше ограничение давайте напишем дельта. Наше ограничение давайте напишем дельта. Наше ограничение на К дивергенцию, да? Вот на всякий на К дивергенцию, да? Вот на всякий на К дивергенцию, да? Вот на всякий случай напомню ещё раз, если мы случай напомню ещё раз, если мы случай напомню ещё раз, если мы поднимемся сюда, наше ограничение вот поднимемся сюда, наше ограничение вот поднимемся сюда, наше ограничение вот этого региона, то, что очень правильно этого региона, то, что очень правильно

01:28:00этого региона, то, что очень правильно до этого заметили, что это наш до этого заметили, что это наш до этого заметили, что это наш гиперпараметр. И при этом наша альфа, гиперпараметр. И при этом наша альфа, гиперпараметр. И при этом наша альфа, наш шаг через этот вывод, она от этой наш шаг через этот вывод, она от этой наш шаг через этот вывод, она от этой дельты, естественно, зависит. в какую дельты, естественно, зависит. в какую дельты, естественно, зависит. в какую сторону шагать, а, э-э, каждый апдейт сторону шагать, а, э-э, каждый апдейт сторону шагать, а, э-э, каждый апдейт делать, она зависит от этой дельты. Ещё делать, она зависит от этой дельты. Ещё

01:28:15делать, она зависит от этой дельты. Ещё раз, потому что мы знаем, что если раз, потому что мы знаем, что если раз, потому что мы знаем, что если функционал линеен, то мы можем просто функционал линеен, то мы можем просто функционал линеен, то мы можем просто дойти до конца. Максимальное значение на дойти до конца. Максимальное значение на дойти до конца. Максимальное значение на границе, это и будет наше решение. границе, это и будет наше решение. границе, это и будет наше решение. Просто потому что как бы чем дальше по Просто потому что как бы чем дальше по Просто потому что как бы чем дальше по градиенту, тем лучше. Ну и в чём градиенту, тем лучше. Ну и в чём

01:28:27градиенту, тем лучше. Ну и в чём проблема? Ну, в том, что дельта - это, к проблема? Ну, в том, что дельта - это, к проблема? Ну, в том, что дельта - это, к сожалению, у нас какая-то какой-то сожалению, у нас какая-то какой-то сожалению, у нас какая-то какой-то гиперпараметр. Можно, конечно, его гиперпараметр. Можно, конечно, его гиперпараметр. Можно, конечно, его поподбирать, но тут придуман немножко поподбирать, но тут придуман немножко поподбирать, но тут придуман немножко такой хак ивристический, который на такой хак ивристический, который на такой хак ивристический, который на самом деле классно помогает. Это самом деле классно помогает. Это

01:28:41самом деле классно помогает. Это использовать линейный поиск Line search. использовать линейный поиск Line search. использовать линейный поиск Line search. Что это такое? Давайте предположим, что Что это такое? Давайте предположим, что Что это такое? Давайте предположим, что ещё раз вот дельта, вот этот регион ещё раз вот дельта, вот этот регион ещё раз вот дельта, вот этот регион серый - это соответственно то, что мы серый - это соответственно то, что мы серый - это соответственно то, что мы как мы ограничиваем Кдивергенцию. И как мы ограничиваем Кдивергенцию. И как мы ограничиваем Кдивергенцию. И синяя линия - это то, в какую сторону синяя линия - это то, в какую сторону

01:28:55синяя линия - это то, в какую сторону надо двигаться. наш градиент, наши, надо двигаться. наш градиент, наши, надо двигаться. наш градиент, наши, соответственно, ну, не просто градиенты, соответственно, ну, не просто градиенты, соответственно, ну, не просто градиенты, а наши направление, которое вот мы вот а наши направление, которое вот мы вот а наши направление, которое вот мы вот так оптимально выбили. Предположим, что так оптимально выбили. Предположим, что так оптимально выбили. Предположим, что на этом участке, так как мы не сильно на этом участке, так как мы не сильно на этом участке, так как мы не сильно далеко ушли от нашей изначальной далеко ушли от нашей изначальной

01:29:07далеко ушли от нашей изначальной политики, предположим, что у нас лос политики, предположим, что у нас лос политики, предположим, что у нас лос какой-то монотонный, да? Ну, тут не какой-то монотонный, да? Ну, тут не какой-то монотонный, да? Ну, тут не напрямую нам помогает то, что мы напрямую нам помогает то, что мы напрямую нам помогает то, что мы недалеко ушли, а скорее нам помогает тот недалеко ушли, а скорее нам помогает тот недалеко ушли, а скорее нам помогает тот факт, давайте сейчас получше нарисую факт, давайте сейчас получше нарисую факт, давайте сейчас получше нарисую его. Помогает тот факт, что это как бы в его. Помогает тот факт, что это как бы в

01:29:20его. Помогает тот факт, что это как бы в целом близкое какое-то приближение. целом близкое какое-то приближение. целом близкое какое-то приближение. Видите, я плохо рисую эти все графики Видите, я плохо рисую эти все графики Видите, я плохо рисую эти все графики всегда. Ну, короче, вот представьте, тут всегда. Ну, короче, вот представьте, тут всегда. Ну, короче, вот представьте, тут точка максимум, да, представим, что он, точка максимум, да, представим, что он, точка максимум, да, представим, что он, соответственно, мы не знаем его, соответственно, мы не знаем его, соответственно, мы не знаем его, естественно, напрямую, да, а знаем, что естественно, напрямую, да, а знаем, что

01:29:33естественно, напрямую, да, а знаем, что он какой-то линейный. Ээ мы не можем он какой-то линейный. Ээ мы не можем он какой-то линейный. Ээ мы не можем взять его и перебрать везде, да, это взять его и перебрать везде, да, это взять его и перебрать везде, да, это будет слишком долго, но мы можем делать будет слишком долго, но мы можем делать будет слишком долго, но мы можем делать линейный поиск. Ну, соответственно, мы линейный поиск. Ну, соответственно, мы линейный поиск. Ну, соответственно, мы были в этих параметрах, давайте шагнём были в этих параметрах, давайте шагнём были в этих параметрах, давайте шагнём максимально, сколько нам нужно, максимально, сколько нам нужно,

01:29:46максимально, сколько нам нужно, да, получили какой-то лос. да, получили какой-то лос. да, получили какой-то лос. Соответственно, э если мы Соответственно, э если мы Соответственно, э если мы Да, почему он должен быть монотон? Он не Да, почему он должен быть монотон? Он не Да, почему он должен быть монотон? Он не должен. Это наше предположение должен. Это наше предположение должен. Это наше предположение эвристическое. Он не должен. Нет никаких эвристическое. Он не должен. Нет никаких эвристическое. Он не должен. Нет никаких гарантий, что он будет должен. Это гарантий, что он будет должен. Это гарантий, что он будет должен. Это Спасибо. Хорошее, хорошее очень Спасибо. Хорошее, хорошее очень

01:29:59Спасибо. Хорошее, хорошее очень замечание. Ээ на практике это помогает. замечание. Ээ на практике это помогает. замечание. Ээ на практике это помогает. Но, естественно, если вы увидите, что он Но, естественно, если вы увидите, что он Но, естественно, если вы увидите, что он не монотонный, то вам нужно будет здесь не монотонный, то вам нужно будет здесь не монотонный, то вам нужно будет здесь сделать обдельную оптимизацию. Вот вы сделать обдельную оптимизацию. Вот вы сделать обдельную оптимизацию. Вот вы знаете этот регион, и в нём как-то знаете этот регион, и в нём как-то знаете этот регион, и в нём как-то по-умному, соответственно, это выбирать. по-умному, соответственно, это выбирать.

01:30:12по-умному, соответственно, это выбирать. Он не должен быть монотонны. Ну, имеется Он не должен быть монотонны. Ну, имеется Он не должен быть монотонны. Ну, имеется в виду, тут я, когда говорю в виду, тут я, когда говорю в виду, тут я, когда говорю монотонность, я имею в виду, что с одним монотонность, я имею в виду, что с одним монотонность, я имею в виду, что с одним максимумом монотонно растёт до него, максимумом монотонно растёт до него, максимумом монотонно растёт до него, потом монотонно убывает. Да, что он потом монотонно убывает. Да, что он потом монотонно убывает. Да, что он такой конкейв? такой конкейв? такой конкейв? не должен. То есть, к сожалению, нам

01:30:24не должен. То есть, к сожалению, нам не должен. То есть, к сожалению, нам никто не даст гарантии, что он должен никто не даст гарантии, что он должен никто не даст гарантии, что он должен быть таким. Но на практике это помогает быть таким. Но на практике это помогает быть таким. Но на практике это помогает просто просто просто потому что если он какой-то не потому что если он какой-то не потому что если он какой-то не монотонный, но там где-то есть регион монотонный, но там где-то есть регион монотонный, но там где-то есть регион максимума, да, и он не слишком сильно максимума, да, и он не слишком сильно максимума, да, и он не слишком сильно падает, то мы найдём какие-то довольно

01:30:39падает, то мы найдём какие-то довольно падает, то мы найдём какие-то довольно хорошие параметры. Если он нам будет хорошие параметры. Если он нам будет хорошие параметры. Если он нам будет резко падать, такое, конечно, тоже может резко падать, такое, конечно, тоже может резко падать, такое, конечно, тоже может быть это будет создавать нам проблемы. быть это будет создавать нам проблемы. быть это будет создавать нам проблемы. Но давайте вспомним, что мы в Но давайте вспомним, что мы в Но давайте вспомним, что мы в пространстве политик действуем. То есть пространстве политик действуем. То есть пространстве политик действуем. То есть как бы мы, если ушли не сильно далеко от

01:30:50как бы мы, если ушли не сильно далеко от как бы мы, если ушли не сильно далеко от прошлой политики, но при этом наш прошлой политики, но при этом наш прошлой политики, но при этом наш объектив, который, как вы помните, это объектив, который, как вы помните, это объектив, который, как вы помните, это какой-то advantage, сильно падает. Ну какой-то advantage, сильно падает. Ну какой-то advantage, сильно падает. Ну такое бывает довольно редко, да, потому такое бывает довольно редко, да, потому такое бывает довольно редко, да, потому что что такое немножко мы ушли именно в что что такое немножко мы ушли именно в что что такое немножко мы ушли именно в пространстве политик. Мы выбирали

01:31:01пространстве политик. Мы выбирали пространстве политик. Мы выбирали какое-то, допустим, действие с какое-то, допустим, действие с какое-то, допустим, действие с вероятностью 0,25, стали вероятностью вероятностью 0,25, стали вероятностью вероятностью 0,25, стали вероятностью 0,27. Если из-за этого у нас сильно упал 0,27. Если из-за этого у нас сильно упал 0,27. Если из-за этого у нас сильно упал обжектив, ну, я бы, естественно, обжектив, ну, я бы, естественно, обжектив, ну, я бы, естественно, задумался, а всё ли хорошо с точки задумался, а всё ли хорошо с точки задумался, а всё ли хорошо с точки зрения нашего MDP, если там есть зрения нашего MDP, если там есть

01:31:14зрения нашего MDP, если там есть какие-то такие опасные действия, то, какие-то такие опасные действия, то, какие-то такие опасные действия, то, конечно, и мы это через какое-то время конечно, и мы это через какое-то время конечно, и мы это через какое-то время отловим просто не супербыстро. Ну, отловим просто не супербыстро. Ну, отловим просто не супербыстро. Ну, потому что Line search будет нас иногда потому что Line search будет нас иногда потому что Line search будет нас иногда в какие-то такие моменты закидывать, и в какие-то такие моменты закидывать, и в какие-то такие моменты закидывать, и мы будем видеть, что, а, нет, это мы будем видеть, что, а, нет, это

01:31:23мы будем видеть, что, а, нет, это всё-таки был не оптимум. Ну, потому что всё-таки был не оптимум. Ну, потому что всё-таки был не оптимум. Ну, потому что мы всё-таки двигаемся по параметрам и мы всё-таки двигаемся по параметрам и мы всё-таки двигаемся по параметрам и всегда можем вернуться обратно, если у всегда можем вернуться обратно, если у всегда можем вернуться обратно, если у нас была плохая оценка, нас была плохая оценка, нас была плохая оценка, потому что этот апдейт, ну, делаем потому что этот апдейт, ну, делаем потому что этот апдейт, ну, делаем каждый раз. надеюсь, ответил на вопрос. каждый раз. надеюсь, ответил на вопрос. каждый раз. надеюсь, ответил на вопрос. Да.

01:31:44Так, ну давайте двинусь дальше. Если Так, ну давайте двинусь дальше. Если дальше будет вопрос, то то отвечу. Вот. дальше будет вопрос, то то отвечу. Вот. дальше будет вопрос, то то отвечу. Вот. Да, спасибо большое. Э, соответственно, Да, спасибо большое. Э, соответственно, Да, спасибо большое. Э, соответственно, что мы делаем? Если мы можем что мы делаем? Если мы можем что мы делаем? Если мы можем предположить, что вот есть такая штука, предположить, что вот есть такая штука, предположить, что вот есть такая штука, то мы можем сделать такую историю. Мы то мы можем сделать такую историю. Мы то мы можем сделать такую историю. Мы будем по вот этой линии синей от будем по вот этой линии синей от

01:32:03будем по вот этой линии синей от максимума, который нам доступен, искать максимума, который нам доступен, искать максимума, который нам доступен, искать с помощью поиска по линии. Ну, допустим, с помощью поиска по линии. Ну, допустим, с помощью поиска по линии. Ну, допустим, представим, деля её пополам. То есть мы представим, деля её пополам. То есть мы представим, деля её пополам. То есть мы были вот в этой точке. Э, ну, здесь были вот в этой точке. Э, ну, здесь были вот в этой точке. Э, ну, здесь почему-то нарисовано вот это. Это будет почему-то нарисовано вот это. Это будет почему-то нарисовано вот это. Это будет не пополам. Можно, естественно, любую не пополам. Можно, естественно, любую

01:32:17не пополам. Можно, естественно, любую другую подобрать, любое другое другую подобрать, любое другое другую подобрать, любое другое разделение. Вот. Э, потому что, ну, как разделение. Вот. Э, потому что, ну, как разделение. Вот. Э, потому что, ну, как бы лучше пополам, если действительно это бы лучше пополам, если действительно это бы лучше пополам, если действительно это монотонно, как вы знаете, да, из там монотонно, как вы знаете, да, из там монотонно, как вы знаете, да, из там условно бинарного поиска. Э только здесь условно бинарного поиска. Э только здесь условно бинарного поиска. Э только здесь это будет по сути как Gold search поиск. это будет по сути как Gold search поиск.

01:32:30это будет по сути как Gold search поиск. Вот, ээ, похожая история. Ээ алгоритм Вот, ээ, похожая история. Ээ алгоритм Вот, ээ, похожая история. Ээ алгоритм line Search, допустим, сделаем пополам, line Search, допустим, сделаем пополам, line Search, допустим, сделаем пополам, здесь посчитаем, ну, и дальше поймём, в здесь посчитаем, ну, и дальше поймём, в здесь посчитаем, ну, и дальше поймём, в какую сторону двигаться. И так несколько какую сторону двигаться. И так несколько какую сторону двигаться. И так несколько раз двинемся, ну, и надеемся, что найдём раз двинемся, ну, и надеемся, что найдём раз двинемся, ну, и надеемся, что найдём какое-то какое-то более хорошее

01:32:43какое-то какое-то более хорошее какое-то какое-то более хорошее приближение. Ещё раз, почему мы хотим приближение. Ещё раз, почему мы хотим приближение. Ещё раз, почему мы хотим это так делать? Потому что дельта у нас это так делать? Потому что дельта у нас это так делать? Потому что дельта у нас какая-то гиперпараметр не оптимальный. какая-то гиперпараметр не оптимальный. какая-то гиперпараметр не оптимальный. Мы говорим, что не больше дельты, но, Мы говорим, что не больше дельты, но, Мы говорим, что не больше дельты, но, допустим, где-то внутри у нас есть наше допустим, где-то внутри у нас есть наше допустим, где-то внутри у нас есть наше улучшение. Ну, естественно, может так

01:32:54улучшение. Ну, естественно, может так улучшение. Ну, естественно, может так получиться, да, что наш максимум он получиться, да, что наш максимум он получиться, да, что наш максимум он будет вот в этой жёлтой точке. Ну, и будет вот в этой жёлтой точке. Ну, и будет вот в этой жёлтой точке. Ну, и тогда мы, я имею в виду, вот в этой тогда мы, я имею в виду, вот в этой тогда мы, я имею в виду, вот в этой последней точке можем и там остаться. То последней точке можем и там остаться. То последней точке можем и там остаться. То есть, соответственно, мы просто есть, соответственно, мы просто есть, соответственно, мы просто переберём несколько точек, в какую-то переберём несколько точек, в какую-то

01:33:06переберём несколько точек, в какую-то сторону улучшимся. Ну, и это будет чуть сторону улучшимся. Ну, и это будет чуть сторону улучшимся. Ну, и это будет чуть лучше сходимо за счёт того, что дельта лучше сходимо за счёт того, что дельта лучше сходимо за счёт того, что дельта не оптимальная. Вот. Теперь давайте не оптимальная. Вот. Теперь давайте не оптимальная. Вот. Теперь давайте соберём всё воедино. соберём всё воедино. соберём всё воедино. >> А можно вопрос по предыдущим? >> А можно вопрос по предыдущим? >> А можно вопрос по предыдущим? >> Конечно, конечно. Давайте. А когда мы >> Конечно, конечно. Давайте. А когда мы >> Конечно, конечно. Давайте. А когда мы останавливаем, останавливаем,

01:33:21останавливаем, то есть мы останавливаемся, когда мы до то есть мы останавливаемся, когда мы до то есть мы останавливаемся, когда мы до края дошли или когда мы через несколько края дошли или когда мы через несколько края дошли или когда мы через несколько степов перестали?

01:33:32>> Нет, смотрите, мы не останавливаемся, >> Нет, смотрите, мы не останавливаемся, когда дошли до края. Наоборот, край - когда дошли до края. Наоборот, край - когда дошли до края. Наоборот, край - это наша первая точка. То есть вот мы это наша первая точка. То есть вот мы это наша первая точка. То есть вот мы были в нулевой, наши изначальные были в нулевой, наши изначальные были в нулевой, наши изначальные параметры. Мы говорим сразу шагнём в ээ параметры. Мы говорим сразу шагнём в ээ параметры. Мы говорим сразу шагнём в ээ наш максимум. И если у нас какая-то наш максимум. И если у нас какая-то наш максимум. И если у нас какая-то функция монотонная посередине, то мы

01:33:45функция монотонная посередине, то мы функция монотонная посередине, то мы будем искать как-то внутри неё. Вот будем искать как-то внутри неё. Вот будем искать как-то внутри неё. Вот такая идея, когда мы останавливаемся. такая идея, когда мы останавливаемся. такая идея, когда мы останавливаемся. Стандартный критерий остановы либо через Стандартный критерий остановы либо через Стандартный критерий остановы либо через сколько-то итераций, либо, сколько-то итераций, либо, сколько-то итераций, либо, соответственно, когда действительно там соответственно, когда действительно там соответственно, когда действительно там слишком мало меняется политика. Обычно слишком мало меняется политика. Обычно

01:33:57слишком мало меняется политика. Обычно просто количество итераций. Ещё раз. Мы просто количество итераций. Ещё раз. Мы просто количество итераций. Ещё раз. Мы могли бы сразу шагать просто в точку могли бы сразу шагать просто в точку могли бы сразу шагать просто в точку максимальную, и было бы всё хорошо. Мы максимальную, и было бы всё хорошо. Мы максимальную, и было бы всё хорошо. Мы просто считаем то, что за счёт того, что просто считаем то, что за счёт того, что просто считаем то, что за счёт того, что чем дальше мы шагнули от изначальной чем дальше мы шагнули от изначальной чем дальше мы шагнули от изначальной политики, тем хуже наша аппроксимация, политики, тем хуже наша аппроксимация,

01:34:11политики, тем хуже наша аппроксимация, мы эту дельту никак, ну, идейно не мы эту дельту никак, ну, идейно не мы эту дельту никак, ну, идейно не знаем, как задать, да. Вот какая должна знаем, как задать, да. Вот какая должна знаем, как задать, да. Вот какая должна быть дельта 001 001, мы не знаем. быть дельта 001 001, мы не знаем. быть дельта 001 001, мы не знаем. Поэтому это способ такой немножко эту Поэтому это способ такой немножко эту Поэтому это способ такой немножко эту проблему побороть. Естественно, он тоже проблему побороть. Естественно, он тоже проблему побороть. Естественно, он тоже всё ещё на апроксимации. Это всё ещё на апроксимации. Это

01:34:22всё ещё на апроксимации. Это эвристическая штука. эвристическая штука. эвристическая штука. >> Вот. >> Вот. >> Вот. >> Спасибо. >> Спасибо. >> Спасибо. >> Спасибо большое за вопрос. Давайте >> Спасибо большое за вопрос. Давайте >> Спасибо большое за вопрос. Давайте теперь посмотрим на алгоритм в итоге, теперь посмотрим на алгоритм в итоге, теперь посмотрим на алгоритм в итоге, что мы, чего мы тут добились. что мы, чего мы тут добились. что мы, чего мы тут добились. И как раз будет хорошее время ээ для И как раз будет хорошее время ээ для И как раз будет хорошее время ээ для перерыва. перерыва. перерыва. Что мы делаем? У нас есть какая-то Что мы делаем? У нас есть какая-то

01:34:40Что мы делаем? У нас есть какая-то политика. Пит - это old. Да, на каждой, политика. Пит - это old. Да, на каждой, политика. Пит - это old. Да, на каждой, на каждой итерации какая-то политика. Мы на каждой итерации какая-то политика. Мы на каждой итерации какая-то политика. Мы берём этой политикой собираем берём этой политикой собираем берём этой политикой собираем траектории, траектории, траектории, фризим политику. Вот эти траектории - фризим политику. Вот эти траектории - фризим политику. Вот эти траектории - это просто что-то собранное. И политика, это просто что-то собранное. И политика, это просто что-то собранное. И политика, которая была, она нам понадобится для

01:34:57которая была, она нам понадобится для которая была, она нам понадобится для вейта. Мы её детачим. То есть никакие, вейта. Мы её детачим. То есть никакие, вейта. Мы её детачим. То есть никакие, естественно, градиенты по ней мы не естественно, градиенты по ней мы не естественно, градиенты по ней мы не прокидываем. Дальше берём, считаем прокидываем. Дальше берём, считаем прокидываем. Дальше берём, считаем градиент. Напомню, что, э, градиент градиент. Напомню, что, э, градиент градиент. Напомню, что, э, градиент реально очень тесно связан с тем, что мы реально очень тесно связан с тем, что мы реально очень тесно связан с тем, что мы видели в A2C. То есть это реально как бы

01:35:11видели в A2C. То есть это реально как бы видели в A2C. То есть это реально как бы по сути тот же самый объжектив. Вот. И по сути тот же самый объжектив. Вот. И по сути тот же самый объжектив. Вот. И мы как обычно, что мы тут делаем? Мы мы как обычно, что мы тут делаем? Мы мы как обычно, что мы тут делаем? Мы пытаемся увеличить вероятность действий, пытаемся увеличить вероятность действий, пытаемся увеличить вероятность действий, которые приводят к лучшему адвантаджу. которые приводят к лучшему адвантаджу. которые приводят к лучшему адвантаджу. Ну, соответственно, как вы помните, если Ну, соответственно, как вы помните, если

01:35:24Ну, соответственно, как вы помните, если адван положительный, значит, действие адван положительный, значит, действие адван положительный, значит, действие вот это выбрать лучше, чем в среднем, то вот это выбрать лучше, чем в среднем, то вот это выбрать лучше, чем в среднем, то есть чем нам говорит value функция, то есть чем нам говорит value функция, то есть чем нам говорит value функция, то есть чем мы по политике, по текущей в есть чем мы по политике, по текущей в есть чем мы по политике, по текущей в среднем бы выбирали действия. Поэтому среднем бы выбирали действия. Поэтому среднем бы выбирали действия. Поэтому мы, соответственно, берём и ээ даём мы, соответственно, берём и ээ даём

01:35:37мы, соответственно, берём и ээ даём большую вероятность этому экшену. Ну, большую вероятность этому экшену. Ну, большую вероятность этому экшену. Ну, естественно, не забываю сделать поправку естественно, не забываю сделать поправку естественно, не забываю сделать поправку на то, что вероятность detection она на то, что вероятность detection она на то, что вероятность detection она немножко другая за счёт того, что мы немножко другая за счёт того, что мы немножко другая за счёт того, что мы собрали по PT old, а делаем апдейт по собрали по PT old, а делаем апдейт по собрали по PT old, а делаем апдейт по питета, соответственно, питета, соответственно,

01:35:51питета, соответственно, это посчитали градиент. Дальше точно так это посчитали градиент. Дальше точно так это посчитали градиент. Дальше точно так же взяли, посчитали коль дивергенцию. же взяли, посчитали коль дивергенцию. же взяли, посчитали коль дивергенцию. Если у нас дискретная политика, её Если у нас дискретная политика, её Если у нас дискретная политика, её посчитать несложно. Если у нас какая-то посчитать несложно. Если у нас какая-то посчитать несложно. Если у нас какая-то непрерывная политика, то мы дивергенцию непрерывная политика, то мы дивергенцию непрерывная политика, то мы дивергенцию можем посчитать. Ну, на самом деле, мы можем посчитать. Ну, на самом деле, мы

01:36:04можем посчитать. Ну, на самом деле, мы её посчитаем просто по сэмплам, но мы её посчитаем просто по сэмплам, но мы её посчитаем просто по сэмплам, но мы даже формульно можем посчитать. Если ещё даже формульно можем посчитать. Если ещё даже формульно можем посчитать. Если ещё раз, допустим, вот вы то, что будете раз, допустим, вот вы то, что будете раз, допустим, вот вы то, что будете Сергеем смотреть в на следующей лекции. Сергеем смотреть в на следующей лекции. Сергеем смотреть в на следующей лекции. Если у вас continuous control, то вы Если у вас continuous control, то вы Если у вас continuous control, то вы можете параметризовать вот так вот можете параметризовать вот так вот

01:36:16можете параметризовать вот так вот политику. И точно так же вы можете, зная политику. И точно так же вы можете, зная политику. И точно так же вы можете, зная формульно, посчитать кальди дивергенцию. формульно, посчитать кальди дивергенцию. формульно, посчитать кальди дивергенцию. Естественно, вы можете, ну, просто как Естественно, вы можете, ну, просто как Естественно, вы можете, ну, просто как бы взять, ээ, автоградом два раза бы взять, ээ, автоградом два раза бы взять, ээ, автоградом два раза пройтись и получить к. Ну, то есть пройтись и получить к. Ну, то есть пройтись и получить к. Ну, то есть это, естественно, будет наш стандартный это, естественно, будет наш стандартный

01:36:29это, естественно, будет наш стандартный способ. Дальше мы применяем этот метод способ. Дальше мы применяем этот метод способ. Дальше мы применяем этот метод сопряжённых градиентов для того, чтобы сопряжённых градиентов для того, чтобы сопряжённых градиентов для того, чтобы найти наше направление. Ещё раз, это найти наше направление. Ещё раз, это найти наше направление. Ещё раз, это просто не какой-то нереальный метод, просто не какой-то нереальный метод, просто не какой-то нереальный метод, просто оптимизационный метод для решения просто оптимизационный метод для решения просто оптимизационный метод для решения таких вот линейных систем, где у нас таких вот линейных систем, где у нас

01:36:42таких вот линейных систем, где у нас положительно положительно положительно где у нас симметрично положительная где у нас симметрично положительная где у нас симметрично положительная определённая матрица. Ну и дальше за определённая матрица. Ну и дальше за определённая матрица. Ну и дальше за счёт того, что дельта какая-то не счёт того, что дельта какая-то не счёт того, что дельта какая-то не идеальная, мы делаем линейный поиск. идеальная, мы делаем линейный поиск. идеальная, мы делаем линейный поиск. Делаем линейный поиск и таким образом Делаем линейный поиск и таким образом Делаем линейный поиск и таким образом получили апдейт. Сделали так несколько получили апдейт. Сделали так несколько

01:36:59получили апдейт. Сделали так несколько раз. То есть ещё раз, мы как бы снова раз. То есть ещё раз, мы как бы снова раз. То есть ещё раз, мы как бы снова собираем политикой, да, то есть одной собираем политикой, да, то есть одной собираем политикой, да, то есть одной политикой собрали и сделали как бы политикой собрали и сделали как бы политикой собрали и сделали как бы апдейт и снова пошли собирать политикой. апдейт и снова пошли собирать политикой. апдейт и снова пошли собирать политикой. Но внутри этого апдейта мы лучше учли Но внутри этого апдейта мы лучше учли Но внутри этого апдейта мы лучше учли параметры учли, как как надо поменять параметры учли, как как надо поменять

01:37:14параметры учли, как как надо поменять параметры, я имею в виду. Вот. Но здесь параметры, я имею в виду. Вот. Но здесь параметры, я имею в виду. Вот. Но здесь заметьте, что такое альфа J. Альфа J - заметьте, что такое альфа J. Альфа J - заметьте, что такое альфа J. Альфа J - это не фиксированная альфа, альфа, это не фиксированная альфа, альфа, это не фиксированная альфа, альфа, которая зависит от того, как мы её которая зависит от того, как мы её которая зависит от того, как мы её подобрали здесь, да? Ну, соответственно, подобрали здесь, да? Ну, соответственно, подобрали здесь, да? Ну, соответственно, как бы она могла бы, может, быть как бы она могла бы, может, быть

01:37:27как бы она могла бы, может, быть фиксированнай, если бы мы сказали, что фиксированнай, если бы мы сказали, что фиксированнай, если бы мы сказали, что мы сразу идём к концу, но мы пытаемся мы сразу идём к концу, но мы пытаемся мы сразу идём к концу, но мы пытаемся сделать получше. Поэтому это вот сделать получше. Поэтому это вот сделать получше. Поэтому это вот какой-то какая-то длина отрезка, которую какой-то какая-то длина отрезка, которую какой-то какая-то длина отрезка, которую мы подобрали линейным поиском. мы подобрали линейным поиском. мы подобрали линейным поиском. Вот. Мм, соответственно, давайте мы Вот. Мм, соответственно, давайте мы

01:37:40Вот. Мм, соответственно, давайте мы подумаем, э-э, подумаем, э-э, подумаем, э-э, над разницей, и как раз будет хороший над разницей, и как раз будет хороший над разницей, и как раз будет хороший повод нам сделать перерыв. Подумаем над повод нам сделать перерыв. Подумаем над повод нам сделать перерыв. Подумаем над разницей в таком формате, что мы в разницей в таком формате, что мы в разницей в таком формате, что мы в случае A2C мы собрали не очень большой случае A2C мы собрали не очень большой случае A2C мы собрали не очень большой батч, сделали апдейт с помощью SGD и батч, сделали апдейт с помощью SGD и батч, сделали апдейт с помощью SGD и снова собрали новый батч. Здесь, к

01:38:04снова собрали новый батч. Здесь, к снова собрали новый батч. Здесь, к сожалению, есть проблема. то, что K, для сожалению, есть проблема. то, что K, для сожалению, есть проблема. то, что K, для того, чтобы хорошо оценить K, нам нужно того, чтобы хорошо оценить K, нам нужно того, чтобы хорошо оценить K, нам нужно довольно много сенлов. То есть бач у нас довольно много сенлов. То есть бач у нас довольно много сенлов. То есть бач у нас должен быть побольше, то есть мы должны должен быть побольше, то есть мы должны должен быть побольше, то есть мы должны траектории собрать побольше, и это траектории собрать побольше, и это траектории собрать побольше, и это небольшое ограничение. Но зато из этих

01:38:17небольшое ограничение. Но зато из этих небольшое ограничение. Но зато из этих траекторий мы можем лучше вычленить траекторий мы можем лучше вычленить траекторий мы можем лучше вычленить информацию для того, чтобы сделать информацию для того, чтобы сделать информацию для того, чтобы сделать апдейт. И за счёт этого лучшего апдейт. И за счёт этого лучшего апдейт. И за счёт этого лучшего вычленения у нас в ТРПО будет вот таких вычленения у нас в ТРПО будет вот таких вычленения у нас в ТРПО будет вот таких вот шагов будет, как правило, вот шагов будет, как правило, вот шагов будет, как правило, сильно-сильно меньше. То есть есть сильно-сильно меньше. То есть есть

01:38:35сильно-сильно меньше. То есть есть многоментов, где такая штука сойётся за многоментов, где такая штука сойётся за многоментов, где такая штука сойётся за 10 итераций. Вот мы на семинаре увидим, 10 итераций. Вот мы на семинаре увидим, 10 итераций. Вот мы на семинаре увидим, что она что она что она ну там я входа не помню, и вместе ну там я входа не помню, и вместе ну там я входа не помню, и вместе напишем, увидим, но за 1020 точно должна напишем, увидим, но за 1020 точно должна напишем, увидим, но за 1020 точно должна сойтись. Ну за 20, я думаю, точно должна сойтись. Ну за 20, я думаю, точно должна сойтись. Ну за 20, я думаю, точно должна сойтись. Но поэтому, но но при этом,

01:38:49сойтись. Но поэтому, но но при этом, сойтись. Но поэтому, но но при этом, естественно, собрать траекторию нужно естественно, собрать траекторию нужно естественно, собрать траекторию нужно больше. Поэтому вот как обычно такой больше. Поэтому вот как обычно такой больше. Поэтому вот как обычно такой трейф, естественно, никогда нет silver трейф, естественно, никогда нет silver трейф, естественно, никогда нет silver булд у нас. Вот это основное, что я булд у нас. Вот это основное, что я булд у нас. Вот это основное, что я хотел рассказать по поводу РПО. Двинемся хотел рассказать по поводу РПО. Двинемся хотел рассказать по поводу РПО. Двинемся на следующий сейчас на следующий

01:39:03на следующий сейчас на следующий на следующий сейчас на следующий алгоритм. Задавайте вопросы, пожалуйста. алгоритм. Задавайте вопросы, пожалуйста. алгоритм. Задавайте вопросы, пожалуйста. >> Да, >> Да, >> Да, >> я правильно понимаю, что ключевое >> я правильно понимаю, что ключевое >> я правильно понимаю, что ключевое различие в Sample Efficiency? различие в Sample Efficiency? различие в Sample Efficiency? >> Да. Ключевое различие в Sample >> Да. Ключевое различие в Sample >> Да. Ключевое различие в Sample Efficiency, это абсолютно верно Efficiency, это абсолютно верно Efficiency, это абсолютно верно подмечено. Как помните, вот тут вот мы подмечено. Как помните, вот тут вот мы

01:39:17подмечено. Как помните, вот тут вот мы вспомним мотивацию. Мотивация у нас и вспомним мотивацию. Мотивация у нас и вспомним мотивацию. Мотивация у нас и началась с Sample Efficiency, потому что началась с Sample Efficiency, потому что началась с Sample Efficiency, потому что нам как бы не нравилось, что нам нам как бы не нравилось, что нам нам как бы не нравилось, что нам приходится собирать много сэмплов каждый приходится собирать много сэмплов каждый приходится собирать много сэмплов каждый раз и сойтись за кучу-кучу траекторий. раз и сойтись за кучу-кучу траекторий. раз и сойтись за кучу-кучу траекторий. Здесь нам каждый раз надо собрать всё Здесь нам каждый раз надо собрать всё

01:39:31Здесь нам каждый раз надо собрать всё равно побольше семплов, чем до этого. Но равно побольше семплов, чем до этого. Но равно побольше семплов, чем до этого. Но при этом итераций нам нужно меньше, при этом итераций нам нужно меньше, при этом итераций нам нужно меньше, поэтому в общем это будет более sample поэтому в общем это будет более sample поэтому в общем это будет более sample efficient алгоритм. efficient алгоритм. efficient алгоритм. >> А какие-то теоретические доказательства >> А какие-то теоретические доказательства >> А какие-то теоретические доказательства того, что нам нужно будет меньших ходов того, что нам нужно будет меньших ходов

01:39:44того, что нам нужно будет меньших ходов степов, есть? степов, есть? степов, есть? >> Смотрите, есть асимптотические >> Смотрите, есть асимптотические >> Смотрите, есть асимптотические результаты не совсем э про то, что мы результаты не совсем э про то, что мы результаты не совсем э про то, что мы сейчас обсуждали, а про очень близко сейчас обсуждали, а про очень близко сейчас обсуждали, а про очень близко связанную историю. То есть вот этот связанную историю. То есть вот этот связанную историю. То есть вот этот алгоритм ТРP, его можно вывести через алгоритм ТРP, его можно вывести через алгоритм ТРP, его можно вывести через natural policy Gradient. И вот для natural policy Gradient. И вот для

01:40:00natural policy Gradient. И вот для natural policy gradient, где матрица natural policy gradient, где матрица natural policy gradient, где матрица информации фишера будет супер тесно информации фишера будет супер тесно информации фишера будет супер тесно связана с дивергенции и то, как мы связана с дивергенции и то, как мы связана с дивергенции и то, как мы делаем апдейты, там есть прям вывод, делаем апдейты, там есть прям вывод, делаем апдейты, там есть прям вывод, почему будет более sample efficient. Но почему будет более sample efficient. Но почему будет более sample efficient. Но здесь, вы видите, мы ввели несколько здесь, вы видите, мы ввели несколько

01:40:15здесь, вы видите, мы ввели несколько хаков, потому что, ну, как бы с ходу, хаков, потому что, ну, как бы с ходу, хаков, потому что, ну, как бы с ходу, естественно, эта история не будет естественно, эта история не будет естественно, эта история не будет работать. И вот за счёт хаков, за счёт работать. И вот за счёт хаков, за счёт работать. И вот за счёт хаков, за счёт того, что мы тут не так, ну, то есть нам того, что мы тут не так, ну, то есть нам того, что мы тут не так, ну, то есть нам надо как-то посчитать К, нам надо как-то надо как-то посчитать К, нам надо как-то надо как-то посчитать К, нам надо как-то сделать это line search, гарантии, сделать это line search, гарантии,

01:40:28сделать это line search, гарантии, естественно, на конкретно этот алгоритм, естественно, на конкретно этот алгоритм, естественно, на конкретно этот алгоритм, они отпадают, но вот именно на базовую они отпадают, но вот именно на базовую они отпадают, но вот именно на базовую идею того, что нам надо собрать побольше идею того, что нам надо собрать побольше идею того, что нам надо собрать побольше смплов, но сделать более хороший апдейт, смплов, но сделать более хороший апдейт, смплов, но сделать более хороший апдейт, да, гарантии есть через natural policy да, гарантии есть через natural policy да, гарантии есть через natural policy гради. гради. гради. >> Хорошо, спасибо. >> Хорошо, спасибо.

01:40:42>> Хорошо, спасибо. >> Да, у меня тоже есть вопрос. >> Да, у меня тоже есть вопрос. >> Да, у меня тоже есть вопрос. >> Ага. >> Ага. >> Ага. >> А вот я не могу какую-то интуицию >> А вот я не могу какую-то интуицию >> А вот я не могу какую-то интуицию поймать? Э, то есть у нас задача такая, поймать? Э, то есть у нас задача такая, поймать? Э, то есть у нас задача такая, чтобы у нас как бы новая и старая чтобы у нас как бы новая и старая чтобы у нас как бы новая и старая политика не сильно отличались, а потому политика не сильно отличались, а потому политика не сильно отличались, а потому что мы хотим старой политикой собирать что мы хотим старой политикой собирать

01:40:58что мы хотим старой политикой собирать траектории. И вот траектории. И вот траектории. И вот почему для такого условия просто не почему для такого условия просто не почему для такого условия просто не включить какой-то дополнительный тёрм, включить какой-то дополнительный тёрм, включить какой-то дополнительный тёрм, типа, ну, той же дивергенции и типа, ну, той же дивергенции и типа, ну, той же дивергенции и получается ограничиться градиентом по получается ограничиться градиентом по получается ограничиться градиентом по ней. А зачем нам вот уходить в эти ней. А зачем нам вот уходить в эти ней. А зачем нам вот уходить в эти методы второго порядка и там сопряжённые

01:41:16методы второго порядка и там сопряжённые методы второго порядка и там сопряжённые градиенты и вот это всё? градиенты и вот это всё? градиенты и вот это всё? Спасибо за вопрос. Это очень хороший Спасибо за вопрос. Это очень хороший Спасибо за вопрос. Это очень хороший вопрос. Это вот то сейчас мы после вопрос. Это вот то сейчас мы после вопрос. Это вот то сейчас мы после перерыва разберём алгоритм, который и перерыва разберём алгоритм, который и перерыва разберём алгоритм, который и пытается сделать поправку эту, да, пытается сделать поправку эту, да, пытается сделать поправку эту, да, вместо строгого ограничения добавить вместо строгого ограничения добавить

01:41:28вместо строгого ограничения добавить пенальти и действительно сильно проще пенальти и действительно сильно проще пенальти и действительно сильно проще сделать оптимизацию. Это вот алгоритм сделать оптимизацию. Это вот алгоритм сделать оптимизацию. Это вот алгоритм PPO, который есть сото, который реально PPO, который есть сото, который реально PPO, который есть сото, который реально сложный бейзлайн. Но отвечу, для чего сложный бейзлайн. Но отвечу, для чего сложный бейзлайн. Но отвечу, для чего это сделать? Вот это вопрос Александра, это сделать? Вот это вопрос Александра, это сделать? Вот это вопрос Александра, который был до этого про теоретические который был до этого про теоретические

01:41:41который был до этого про теоретические гарантии в случае ППО и вот этого того, гарантии в случае ППО и вот этого того, гарантии в случае ППО и вот этого того, что мы можем ээ как вы понимаете, если у что мы можем ээ как вы понимаете, если у что мы можем ээ как вы понимаете, если у нас будет unconstraint проблема, да, то нас будет unconstraint проблема, да, то нас будет unconstraint проблема, да, то есть если мы не жёстко пытаемся быть в есть если мы не жёстко пытаемся быть в есть если мы не жёстко пытаемся быть в регионе, а добавить какую-то поправку, регионе, а добавить какую-то поправку, регионе, а добавить какую-то поправку, то если нам будет супер- супер хорошо

01:41:55то если нам будет супер- супер хорошо то если нам будет супер- супер хорошо уйти далеко, мы всё равно можем уйти далеко, мы всё равно можем уйти далеко, мы всё равно можем позволить уйти далеко. Тогда позволить уйти далеко. Тогда позволить уйти далеко. Тогда теоретические гарантии пропадают, потому теоретические гарантии пропадают, потому теоретические гарантии пропадают, потому что приближение может быть сколько что приближение может быть сколько что приближение может быть сколько угодно плохим. И то, как у нас угодно плохим. И то, как у нас угодно плохим. И то, как у нас мотожидание вот нашем этом, давайте мотожидание вот нашем этом, давайте

01:42:05мотожидание вот нашем этом, давайте сейчас покажу, помните, где мы заменяли сейчас покажу, помните, где мы заменяли сейчас покажу, помните, где мы заменяли это вот здесь вот, да, в суррогатной это вот здесь вот, да, в суррогатной это вот здесь вот, да, в суррогатной суррогатной таргетной функции, которые суррогатной таргетной функции, которые суррогатной таргетной функции, которые мы оптимизируем, у нас мотожидание уже мы оптимизируем, у нас мотожидание уже мы оптимизируем, у нас мотожидание уже перестаёт хорошо приближать, поэтому мы перестаёт хорошо приближать, поэтому мы перестаёт хорошо приближать, поэтому мы гарантии теряем таким образом. Но гарантии теряем таким образом. Но

01:42:18гарантии теряем таким образом. Но работать действительно будет лучше. работать действительно будет лучше. работать действительно будет лучше. Поэтому, да, спасибо, очень крутая Поэтому, да, спасибо, очень крутая Поэтому, да, спасибо, очень крутая интуиция.

01:42:27>> Вячеслав, а можно небольшой вопрос про >> Вячеслав, а можно небольшой вопрос про алгоритм? Сам алгоритм? Сам алгоритм? Сам >> можно слайд алгоритмам? Вот мы >> можно слайд алгоритмам? Вот мы >> можно слайд алгоритмам? Вот мы инициализировали инициализировали инициализировали >> инициализировали веса политики. Вот это >> инициализировали веса политики. Вот это >> инициализировали веса политики. Вот это у нас получается ta old, да? у нас получается ta old, да? у нас получается ta old, да? >> Дальше мы хотим посчитать G, >> Дальше мы хотим посчитать G, >> Дальше мы хотим посчитать G, >> но тут у нас уже тета нам нужны новые, >> но тут у нас уже тета нам нужны новые,

01:42:46>> но тут у нас уже тета нам нужны новые, правильно я понимаю или нет? Где мы их? правильно я понимаю или нет? Где мы их? правильно я понимаю или нет? Где мы их? >> Нет, нет, смотрите. >> Нет, нет, смотрите. >> Нет, нет, смотрите. Да-дада. А тут в этом история, что мы же Да-дада. А тут в этом история, что мы же Да-дада. А тут в этом история, что мы же градиент посчитали. Ну, это как бы будет градиент посчитали. Ну, это как бы будет градиент посчитали. Ну, это как бы будет в этом случае градиент, который, ну, в этом случае градиент, который, ну, в этом случае градиент, который, ну, э-э, мы считаем в нашем этом случае мы э-э, мы считаем в нашем этом случае мы

01:43:03э-э, мы считаем в нашем этом случае мы считаем, соответственно, вот advantage и считаем, соответственно, вот advantage и считаем, соответственно, вот advantage и pta old. Мы считаем, какие они были, а pta old. Мы считаем, какие они были, а pta old. Мы считаем, какие они были, а те - это то, что мы как бы пытаемся те - это то, что мы как бы пытаемся те - это то, что мы как бы пытаемся прибили, да. То есть поэтому, прибили, да. То есть поэтому, прибили, да. То есть поэтому, естественно, это как, ну, естественно, естественно, это как, ну, естественно, естественно, это как, ну, естественно, обычный градиент, да, вот как бы мы его обычный градиент, да, вот как бы мы его

01:43:17обычный градиент, да, вот как бы мы его будем считать от тетты. Ну, и, будем считать от тетты. Ну, и, будем считать от тетты. Ну, и, соответственно, он будет в точке соответственно, он будет в точке соответственно, он будет в точке параметров та old сам градиент. Ну, параметров та old сам градиент. Ну, параметров та old сам градиент. Ну, естественно, мы будем брать производно естественно, мы будем брать производно естественно, мы будем брать производно от вот этого выражения. Ну, потому что помните, откуда он взялся Ну, потому что помните, откуда он взялся это градиент? Вот от вот такого вывода, это градиент? Вот от вот такого вывода,

01:43:33это градиент? Вот от вот такого вывода, от максимума. Ну, естественно, как бы от максимума. Ну, естественно, как бы от максимума. Ну, естественно, как бы вот у нас будет вот такая разница и вот у нас будет вот такая разница и вот у нас будет вот такая разница и такое изменение. Ну, то есть как бы мы такое изменение. Ну, то есть как бы мы такое изменение. Ну, то есть как бы мы по сути градиент, естественно, мы по сути градиент, естественно, мы по сути градиент, естественно, мы посчитаем вот смотрите, посчитаем вот смотрите, посчитаем вот смотрите, в параметрах та old. То есть мы берём, в параметрах та old. То есть мы берём,

01:43:46в параметрах та old. То есть мы берём, ну, как обычно, да, берём градиент и ну, как обычно, да, берём градиент и ну, как обычно, да, берём градиент и потом подставляем Old для того, чтобы у потом подставляем Old для того, чтобы у потом подставляем Old для того, чтобы у нас был внутри параметров.

01:43:55Понятно стало? Да, да, да, понятно. Понятно стало? Да, да, да, понятно. Спасибо. Спасибо. Спасибо. >> Ну и то же самое, естественно, для >> Ну и то же самое, естественно, для >> Ну и то же самое, естественно, для корывергенции. корывергенции. корывергенции. Вот Вот Вот так. Ну что, я предлагаю, да? Или вопрос так. Ну что, я предлагаю, да? Или вопрос так. Ну что, я предлагаю, да? Или вопрос ещё есть? ещё есть? ещё есть? >> Да, ещё один вопрос. >> Да, ещё один вопрос. >> Да, ещё один вопрос. Можете откатиться на, ну, вот этот слайд Можете откатиться на, ну, вот этот слайд Можете откатиться на, ну, вот этот слайд со стрелочками и ээ сэмплами. Вот это Вот это не сэмплами, там, где эти

01:44:24не сэмплами, там, где эти не сэмплами, там, где эти стейки сэмплов, там стрелочки, вот это стейки сэмплов, там стрелочки, вот это стейки сэмплов, там стрелочки, вот это всё. всё. всё. >> А вы проleiciency >> А вы проleiciency >> А вы проleiciency слайд или про сравнение? Просто их два слайд или про сравнение? Просто их два слайд или про сравнение? Просто их два было, я поэтому проlecy, да. было, я поэтому проlecy, да. было, я поэтому проlecy, да. >> Ага. Вот этот вот. Да.

01:44:46Ани, мы не можем вообще как-то совсем Ани, мы не можем вообще как-то совсем по-другому добиваться Sample Efficiency. по-другому добиваться Sample Efficiency. по-другому добиваться Sample Efficiency. Просто, Просто, Просто, а, сэмплить не всё, например, сэмплить а, сэмплить не всё, например, сэмплить а, сэмплить не всё, например, сэмплить не все траектории, а куские траектории. не все траектории, а куские траектории. не все траектории, а куские траектории. Мы же можем понимать, а-а, Мы же можем понимать, а-а, Мы же можем понимать, а-а, от каких кусков траекторий, от каких от каких кусков траекторий, от каких от каких кусков траекторий, от каких траекторий, даже от каких частей

01:45:05траекторий, даже от каких частей траекторий, даже от каких частей траекторий ээ у нас был наибольший траекторий ээ у нас был наибольший траекторий ээ у нас был наибольший сигнал в градиенте. сигнал в градиенте. сигнал в градиенте. Ну, а как мы это можем понимать, если мы Ну, а как мы это можем понимать, если мы Ну, а как мы это можем понимать, если мы до конца не пройдём? Ну, то есть как бы до конца не пройдём? Ну, то есть как бы до конца не пройдём? Ну, то есть как бы смотрите, мы же траектория, мы начинаем смотрите, мы же траектория, мы начинаем смотрите, мы же траектория, мы начинаем с какого-то нулевого стейта. Ну, то есть с какого-то нулевого стейта. Ну, то есть

01:45:17с какого-то нулевого стейта. Ну, то есть мы можем когда-то её ограничить, мы можем когда-то её ограничить, мы можем когда-то её ограничить, естественно. Но при этом представьте, естественно. Но при этом представьте, естественно. Но при этом представьте, если у нас есть какой-то реворт где-то если у нас есть какой-то реворт где-то если у нас есть какой-то реворт где-то впереди, вот мы на семинаре с вами будем впереди, вот мы на семинаре с вами будем впереди, вот мы на семинаре с вами будем смотреть как раз на envirймент, где нам смотреть как раз на envirймент, где нам смотреть как раз на envirймент, где нам нужно будет раскачать маятник так, чтобы нужно будет раскачать маятник так, чтобы

01:45:29нужно будет раскачать маятник так, чтобы он пересёк верхнюю линию. он пересёк верхнюю линию. он пересёк верхнюю линию. Соответственно, представьте, если мы Соответственно, представьте, если мы Соответственно, представьте, если мы будем качаться, качаться и траекторию будем качаться, качаться и траекторию будем качаться, качаться и траекторию ограничивать, тогда мы никогда не ограничивать, тогда мы никогда не ограничивать, тогда мы никогда не поймём, что там есть награда за за поймём, что там есть награда за за поймём, что там есть награда за за что-то в конце. Поэтому, к сожалению, что-то в конце. Поэтому, к сожалению,

01:45:39что-то в конце. Поэтому, к сожалению, именно придумать, как сэмпли траектории именно придумать, как сэмпли траектории именно придумать, как сэмпли траектории не супер хорошая история. Помните, мы с не супер хорошая история. Помните, мы с не супер хорошая история. Помните, мы с вами на второй лекции для табличных идей вами на второй лекции для табличных идей вами на второй лекции для табличных идей обсуждали, что можно иногда из нашего обсуждали, что можно иногда из нашего обсуждали, что можно иногда из нашего реплейбуфера реплейбуфера реплейбуфера да и вы в декене тоже это обсуждали, да и вы в декене тоже это обсуждали,

01:45:53да и вы в декене тоже это обсуждали, сэмплить, вы в домаке даже это делаете, сэмплить, вы в домаке даже это делаете, сэмплить, вы в домаке даже это делаете, смлинг делать. Это одна идея. Другая смлинг делать. Это одна идея. Другая смлинг делать. Это одна идея. Другая идея, что можно как бы здесь, когда мы идея, что можно как бы здесь, когда мы идея, что можно как бы здесь, когда мы собираем траектории в онлайн политикой, собираем траектории в онлайн политикой, собираем траектории в онлайн политикой, тоже как бы давать больше веса для тоже как бы давать больше веса для тоже как бы давать больше веса для эксплорейшна каким-то экшеном. Но это эксплорейшна каким-то экшеном. Но это

01:46:05эксплорейшна каким-то экшеном. Но это всё такие немножко евристические всё такие немножко евристические всё такие немножко евристические способы, и мы, ну, как бы нам всё ещё способы, и мы, ну, как бы нам всё ещё способы, и мы, ну, как бы нам всё ещё нужно как-то играть траектории. Когда мы нужно как-то играть траектории. Когда мы нужно как-то играть траектории. Когда мы говорим SLE efficiency, это скорее про говорим SLE efficiency, это скорее про говорим SLE efficiency, это скорее про то, что мы собираем какие-то то, что мы собираем какие-то то, что мы собираем какие-то репрезентативные смплы, но хотим делать репрезентативные смплы, но хотим делать

01:46:15репрезентативные смплы, но хотим делать их не супер много таких смплов за всё их не супер много таких смплов за всё их не супер много таких смплов за всё время обучения. время обучения. время обучения. >> Угу. Окей. Окей. >> Потому что если мы когда-то обрубим >> Потому что если мы когда-то обрубим >> Потому что если мы когда-то обрубим обрубим нашу траекторию, то мы можем вот обрубим нашу траекторию, то мы можем вот обрубим нашу траекторию, то мы можем вот не не увидеть какую-то хорошую награду не не увидеть какую-то хорошую награду не не увидеть какую-то хорошую награду впереди и ни к всему хорошему не впереди и ни к всему хорошему не впереди и ни к всему хорошему не сойдёмся. сойдёмся.

01:46:33сойдёмся. Я скорее не про то, чтобы их обрубать, а Я скорее не про то, чтобы их обрубать, а Я скорее не про то, чтобы их обрубать, а про то, что нам не весь про то, что нам не весь про то, что нам не весь не весь этот набор надо менять, не весь этот набор надо менять, не весь этот набор надо менять, например. например. например. >> Нет, меняем мы политику. То есть как бы >> Нет, меняем мы политику. То есть как бы >> Нет, меняем мы политику. То есть как бы мы мы мы >> Ну, а что значит меньше смлить? Меньше >> Ну, а что значит меньше смлить? Меньше >> Ну, а что значит меньше смлить? Меньше траекторий, меньше бач делать разных траекторий, меньше бач делать разных

01:46:50траекторий, меньше бач делать разных траекторий. Ну, можно так качество траекторий. Ну, можно так качество траекторий. Ну, можно так качество поменять. поменять. поменять. >> Не весь бач менять. Просто не весь бач >> Не весь бач менять. Просто не весь бач >> Не весь бач менять. Просто не весь бач менять. менять. менять. >> Так, смотрите, я может не до конца >> Так, смотрите, я может не до конца >> Так, смотрите, я может не до конца понимаю. Вот смотрите, батч - это набор понимаю. Вот смотрите, батч - это набор понимаю. Вот смотрите, батч - это набор каких-то траекторий в нашем случае, да, каких-то траекторий в нашем случае, да,

01:47:05каких-то траекторий в нашем случае, да, которые мы засмплировали, и мы меняем которые мы засмплировали, и мы меняем которые мы засмплировали, и мы меняем нашу политику. А что значит не весь бач нашу политику. А что значит не весь бач нашу политику. А что значит не весь бач менять? менять? менять? >> Ну, у нас у нас есть, э, набор >> Ну, у нас у нас есть, э, набор >> Ну, у нас у нас есть, э, набор траекторий старой политики. Мы с помощью траекторий старой политики. Мы с помощью траекторий старой политики. Мы с помощью вот этих всех ээ замен - э- можем вот этих всех ээ замен - э- можем вот этих всех ээ замен - э- можем считать advantage -э по по новой считать advantage -э по по новой

01:47:26считать advantage -э по по новой политике, по старым. Мы знаем, а это же политике, по старым. Мы знаем, а это же политике, по старым. Мы знаем, а это же у нас, ээ, у нас, ээ, у нас, ээ, какая-то статистика, да? Мы знаем, от какая-то статистика, да? Мы знаем, от какая-то статистика, да? Мы знаем, от каких э сэмплов из этого бача у нас там каких э сэмплов из этого бача у нас там каких э сэмплов из этого бача у нас там у новой политики больше advantage. Мы у новой политики больше advantage. Мы у новой политики больше advantage. Мы знаем, у каких меньше. Мы мы просто знаем, у каких меньше. Мы мы просто знаем, у каких меньше. Мы мы просто ну мы всё обновили политику и сэмплим ой

01:47:50ну мы всё обновили политику и сэмплим ой ну мы всё обновили политику и сэмплим ой и потом сэмплим не весь новый бач, а вот и потом сэмплим не весь новый бач, а вот и потом сэмплим не весь новый бач, а вот там, где у нас был наименьший сигнал там, где у нас был наименьший сигнал там, где у нас был наименьший сигнал на обновление, да, мы их Давайте новые на обновление, да, мы их Давайте новые на обновление, да, мы их Давайте новые возьмём. возьмём. возьмём. >> Так, смотрите, когда будете брать, >> Так, смотрите, когда будете брать, >> Так, смотрите, когда будете брать, >> да? Вот смотрите, вы же когда смплите >> да? Вот смотрите, вы же когда смплите

01:48:09>> да? Вот смотрите, вы же когда смплите новую политику и всё новую политику и всё новую политику и всё >> не сэмплит новая политика. Так, >> не сэмплит новая политика. Так, >> не сэмплит новая политика. Так, смотрите, вы же смплите траектории. Вот смотрите, вы же смплите траектории. Вот смотрите, вы же смплите траектории. Вот смотрите, я вам говорю, давайте засмплим смотрите, я вам говорю, давайте засмплим смотрите, я вам говорю, давайте засмплим 10 траекторий. Вы смплите 10 траекторий, 10 траекторий. Вы смплите 10 траекторий, 10 траекторий. Вы смплите 10 траекторий, начиная с какого-то нулевого стейта. начиная с какого-то нулевого стейта.

01:48:23начиная с какого-то нулевого стейта. Соответственно, вы знаете advantage Соответственно, вы знаете advantage Соответственно, вы знаете advantage того, что произошло внутри. Но дальше того, что произошло внутри. Но дальше того, что произошло внутри. Но дальше вы, когда будете сэмплить траекторию, вы вы, когда будете сэмплить траекторию, вы вы, когда будете сэмплить траекторию, вы как бы внутри адвантеджа, вы же должны как бы внутри адвантеджа, вы же должны как бы внутри адвантеджа, вы же должны что учитывать? Что у вас advantage, он что учитывать? Что у вас advantage, он что учитывать? Что у вас advantage, он показывает нельзя взять advantage по показывает нельзя взять advantage по

01:48:35показывает нельзя взять advantage по каким-то state action парам, да? Вам каким-то state action парам, да? Вам каким-то state action парам, да? Вам надо по всем. Потому что когда вы надо по всем. Потому что когда вы надо по всем. Потому что когда вы поменяете тетта, поменяете параметры поменяете тетта, поменяете параметры поменяете тетта, поменяете параметры нейронки, вы поменяете для всего. нейронки, вы поменяете для всего. нейронки, вы поменяете для всего. Представьте, вы поменяли для какого-то Представьте, вы поменяли для какого-то Представьте, вы поменяли для какого-то подмножества, но за счёт этого всё подмножества, но за счёт этого всё

01:48:45подмножества, но за счёт этого всё остальное стало плохим, поэтому такая остальное стало плохим, поэтому такая остальное стало плохим, поэтому такая штука, к сожалению, не уверен, что штука, к сожалению, не уверен, что штука, к сожалению, не уверен, что сработает. сработает. сработает. >> А, о'кей. >> А, о'кей. >> А, о'кей. >> То есть потому что вы вы же не можете >> То есть потому что вы вы же не можете >> То есть потому что вы вы же не можете поменять параметры таким образом, чтобы поменять параметры таким образом, чтобы поменять параметры таким образом, чтобы вот тут вот для этого стейт экшена у вас вот тут вот для этого стейт экшена у вас

01:49:00вот тут вот для этого стейт экшена у вас стало лучше, а для другого вдруг резко э стало лучше, а для другого вдруг резко э стало лучше, а для другого вдруг резко э хуже не стало, не зная этот adвантадж. хуже не стало, не зная этот adвантадж. хуже не стало, не зная этот adвантадж. Единственный, ну, как бы вот способ, как Единственный, ну, как бы вот способ, как Единственный, ну, как бы вот способ, как это сделать - это учитывая всю это сделать - это учитывая всю это сделать - это учитывая всю информацию про весь MDP. Вот. информацию про весь MDP. Вот. информацию про весь MDP. Вот. >> О'кей. Но я скорее не про не про часть >> О'кей. Но я скорее не про не про часть

01:49:16>> О'кей. Но я скорее не про не про часть траектории, а про вот у нас 10 траектории, а про вот у нас 10 траектории, а про вот у нас 10 траекторий. Мы по десяти траекториям э траекторий. Мы по десяти траекториям э траекторий. Мы по десяти траекториям э как бы посчитали. Мы можем э менять их как бы посчитали. Мы можем э менять их как бы посчитали. Мы можем э менять их не все. Сэмплить не вся траектории на не все. Сэмплить не вся траектории на не все. Сэмплить не вся траектории на следующем шаге. следующем шаге. следующем шаге. >> Так, смотрите. Вот вы же на следующем >> Так, смотрите. Вот вы же на следующем >> Так, смотрите. Вот вы же на следующем шаге вы будете сэмплить. Ну то есть что

01:49:38шаге вы будете сэмплить. Ну то есть что шаге вы будете сэмплить. Ну то есть что такое засмплить траектории? взять такое засмплить траектории? взять такое засмплить траектории? взять политику и отправить её поиграть в нашу политику и отправить её поиграть в нашу политику и отправить её поиграть в нашу среду, начиная всегда с S0. Вы не можете среду, начиная всегда с S0. Вы не можете среду, начиная всегда с S0. Вы не можете начать где-то с серединки, да? Вы начать где-то с серединки, да? Вы начать где-то с серединки, да? Вы начинаете всегда с S0, да, потому что вы начинаете всегда с S0, да, потому что вы начинаете всегда с S0, да, потому что вы не можете начать с серединки, потому что

01:49:49не можете начать с серединки, потому что не можете начать с серединки, потому что вам надо учитывать, как вас политика вам надо учитывать, как вас политика вам надо учитывать, как вас политика новая туда приведёт, иначе вы откинете новая туда приведёт, иначе вы откинете новая туда приведёт, иначе вы откинете эту логику и можете никогда не прийти в эту логику и можете никогда не прийти в эту логику и можете никогда не прийти в этот стейт, для которого вы этот стейт, для которого вы этот стейт, для которого вы переоптимизировались. Соответственно, переоптимизировались. Соответственно, переоптимизировались. Соответственно, новые траектории, они, каждая траектория

01:50:00новые траектории, они, каждая траектория новые траектории, они, каждая траектория не зависит от другой траектории. Она не зависит от другой траектории. Она не зависит от другой траектории. Она зависит, имеется в виду, через политику, зависит, имеется в виду, через политику, зависит, имеется в виду, через политику, но в плане, что то, как мы её проиграли, но в плане, что то, как мы её проиграли, но в плане, что то, как мы её проиграли, не зависит от того, как мы сыграли не зависит от того, как мы сыграли не зависит от того, как мы сыграли другую политику. И что значит? Мы не все другую политику. И что значит? Мы не все

01:50:09другую политику. И что значит? Мы не все новые траектории будем брать. Ну, мы новые траектории будем брать. Ну, мы новые траектории будем брать. Ну, мы брали 10 траекторий, можем взять пять. У брали 10 траекторий, можем взять пять. У брали 10 траекторий, можем взять пять. У нас просто статистики станут хуже, нас просто статистики станут хуже, нас просто статистики станут хуже, потому что минибач будет меньше, да, потому что минибач будет меньше, да, потому что минибач будет меньше, да, будет больше варианс у него. будет больше варианс у него. будет больше варианс у него. >> Нет, мы пять, мы пять старые оставляем, >> Нет, мы пять, мы пять старые оставляем,

01:50:23>> Нет, мы пять, мы пять старые оставляем, пять берём новые. пять берём новые. пять берём новые. >> Так, смотрите, вот в этом и проблема. >> Так, смотрите, вот в этом и проблема. >> Так, смотрите, вот в этом и проблема. Помните, мы её как раз на этом слайде и Помните, мы её как раз на этом слайде и Помните, мы её как раз на этом слайде и обсуждали, что если вы будете старые обсуждали, что если вы будете старые обсуждали, что если вы будете старые оставлять, то, э, вы взяли, оставили не оставлять, то, э, вы взяли, оставили не оставлять, то, э, вы взяли, оставили не суперрелевантные для вас траектории, и у суперрелевантные для вас траектории, и у

01:50:35суперрелевантные для вас траектории, и у вас политика может сильно сдвинуться. То вас политика может сильно сдвинуться. То вас политика может сильно сдвинуться. То есть вы не можете взять прошлые старые есть вы не можете взять прошлые старые есть вы не можете взять прошлые старые траектории, потому что, ээ, вернее, вы траектории, потому что, ээ, вернее, вы траектории, потому что, ээ, вернее, вы можете, допустим, взять сейчас я можете, допустим, взять сейчас я можете, допустим, взять сейчас я обновляюсь, могу взять там два шага обновляюсь, могу взять там два шага обновляюсь, могу взять там два шага назад, две эпохи назад траектории, да, назад, две эпохи назад траектории, да,

01:50:46назад, две эпохи назад траектории, да, но я не могу взять условно, ну, это как но я не могу взять условно, ну, это как но я не могу взять условно, ну, это как пример, пять эпох назад, потому что уже пример, пять эпох назад, потому что уже пример, пять эпох назад, потому что уже политика сдвинулась, у вас приближение политика сдвинулась, у вас приближение политика сдвинулась, у вас приближение плохое. плохое. плохое. >> Угу. >> Угу. >> Угу. То есть в этом важная история, что вот То есть в этом важная история, что вот То есть в этом важная история, что вот эта вся красивость, она не настолько эта вся красивость, она не настолько

01:51:01эта вся красивость, она не настолько лёгкая, потому что вот то, что вы лёгкая, потому что вот то, что вы лёгкая, потому что вот то, что вы предлагаете - это опоси история, да, что предлагаете - это опоси история, да, что предлагаете - это опоси история, да, что мы используем какие-то старые траектории мы используем какие-то старые траектории мы используем какие-то старые траектории и новые генерим только какие нам нужно. и новые генерим только какие нам нужно. и новые генерим только какие нам нужно. К сожалению, мы так не можем, потому что К сожалению, мы так не можем, потому что К сожалению, мы так не можем, потому что старый сгенерены другой пит - это old. И

01:51:13старый сгенерены другой пит - это old. И старый сгенерены другой пит - это old. И вот мы тут очень много сделали трюков, вот мы тут очень много сделали трюков, вот мы тут очень много сделали трюков, но всё ещё не смогли избавиться от того но всё ещё не смогли избавиться от того но всё ещё не смогли избавиться от того факта, что нам надо быть близко к факта, что нам надо быть близко к факта, что нам надо быть близко к прошлой. То есть мы уже в отличие от ACC прошлой. То есть мы уже в отличие от ACC прошлой. То есть мы уже в отличие от ACC не требуем, чтобы они были одни и те же. не требуем, чтобы они были одни и те же.

01:51:24не требуем, чтобы они были одни и те же. новая политика и старая политика, то новая политика и старая политика, то новая политика и старая политика, то есть той, которую мы собрали и той, есть той, которую мы собрали и той, есть той, которую мы собрали и той, которую мы оптимизируем, но они всё ещё которую мы оптимизируем, но они всё ещё которую мы оптимизируем, но они всё ещё должны быть близки.

01:51:34>> Ну, мы можем это бы А всё, я понял. То >> Ну, мы можем это бы А всё, я понял. То есть просто шагом есть просто шагом есть просто шагом шагом апдейта мы не можем гарантировать шагом апдейта мы не можем гарантировать шагом апдейта мы не можем гарантировать близость политик. Ээ ну мы можем близость политик. Ээ ну мы можем близость политик. Ээ ну мы можем гарантировать с точки зрения близости по гарантировать с точки зрения близости по гарантировать с точки зрения близости по параметрам, да, но мы не можем параметрам, да, но мы не можем параметрам, да, но мы не можем гарантировать близости с точки зрения гарантировать близости с точки зрения

01:51:48гарантировать близости с точки зрения политик. Ну, это полиции. политик. Ну, это полиции. политик. Ну, это полиции. Вот смотрите, мы для для этого и сделали Вот смотрите, мы для для этого и сделали Вот смотрите, мы для для этого и сделали Кэльди дивергенцию. То есть мы раньше по Кэльди дивергенцию. То есть мы раньше по Кэльди дивергенцию. То есть мы раньше по сути то, что делали вдумеду без этого, сути то, что делали вдумеду без этого, сути то, что делали вдумеду без этого, без того, что мы сейчас сделали без того, что мы сейчас сделали без того, что мы сейчас сделали мы не можем, мы не можем так. Всё, мы не можем, мы не можем так. Всё, мы не можем, мы не можем так. Всё, теперь понятно,

01:52:06теперь понятно, теперь понятно, >> да? Без того, вот это очень хороший >> да? Без того, вот это очень хороший >> да? Без того, вот это очень хороший поинт. Я я понял ваш последний поинт, поинт. Я я понял ваш последний поинт, поинт. Я я понял ваш последний поинт, что мы до этого не могли это сделать, что мы до этого не могли это сделать, что мы до этого не могли это сделать, потому что мы говорим, что мы потому что мы говорим, что мы потому что мы говорим, что мы ограничиваем наше движение в ограничиваем наше движение в ограничиваем наше движение в пространстве параметров. Может быть, мы пространстве параметров. Может быть, мы

01:52:19пространстве параметров. Может быть, мы шагнём на 01. Это мало в пространстве шагнём на 01. Это мало в пространстве шагнём на 01. Это мало в пространстве параметров, а политика развалится, да, параметров, а политика развалится, да, параметров, а политика развалится, да, потому что, ну, как бы это какая-то потому что, ну, как бы это какая-то потому что, ну, как бы это какая-то сложная нейронка, которую мы с ходу не сложная нейронка, которую мы с ходу не сложная нейронка, которую мы с ходу не знаем влияния. Поэтому мы ввели, перешли знаем влияния. Поэтому мы ввели, перешли знаем влияния. Поэтому мы ввели, перешли вот в пространство, пространство политик вот в пространство, пространство политик

01:52:31вот в пространство, пространство политик уже и сделали ограничение для того, уже и сделали ограничение для того, уже и сделали ограничение для того, чтобы можно было более хорошо чтобы можно было более хорошо чтобы можно было более хорошо использовать прошлой сэмпл, понимая, что использовать прошлой сэмпл, понимая, что использовать прошлой сэмпл, понимая, что политика сильно не сдвинулась. политика сильно не сдвинулась. политика сильно не сдвинулась. Вот. Надеюсь, стало всем понятнее. Вот. Надеюсь, стало всем понятнее. Вот. Надеюсь, стало всем понятнее. Хорошие были вопросы. Хорошие были вопросы. Хорошие были вопросы. >> Спасибо большое. Да, очень хорошее

01:52:47>> Спасибо большое. Да, очень хорошее >> Спасибо большое. Да, очень хорошее объяснение. Теперь стало понятно. объяснение. Теперь стало понятно. объяснение. Теперь стало понятно. Спасибо за вопрос. Почему мы почему мы Спасибо за вопрос. Почему мы почему мы Спасибо за вопрос. Почему мы почему мы не не не просто процедуру сэмплинга как-то просто процедуру сэмплинга как-то просто процедуру сэмплинга как-то пересобрать и сделать её классной, типа? пересобрать и сделать её классной, типа? пересобрать и сделать её классной, типа? >> Угу. >> Угу. >> Угу. Дада. Ну вот это вот то, что вы как раз Дада. Ну вот это вот то, что вы как раз

01:53:02Дада. Ну вот это вот то, что вы как раз домашки сейчас дкэном делаете, да, в домашки сейчас дкэном делаете, да, в домашки сейчас дкэном делаете, да, в реплейбуфере. И вот это, к сожалению, реплейбуфере. И вот это, к сожалению, реплейбуфере. И вот это, к сожалению, ломает историю. Всё ещё мы в нполисе. ломает историю. Всё ещё мы в нполисе. ломает историю. Всё ещё мы в нполисе. Всё ещё мы не можем это делать ополисе и Всё ещё мы не можем это делать ополисе и Всё ещё мы не можем это делать ополисе и какие-то старые смплы переиспользуют. какие-то старые смплы переиспользуют. какие-то старые смплы переиспользуют. Да, спасибо, хорошие были вопросы. Да, спасибо, хорошие были вопросы.

01:53:15Да, спасибо, хорошие были вопросы. Давайте сейчас настало время перерыва. Давайте сейчас настало время перерыва. Давайте сейчас настало время перерыва. Мы тут немножко потратили времени на Мы тут немножко потратили времени на Мы тут немножко потратили времени на объяснение, объяснение, объяснение, которое, я считаю, всем было суперважно которое, я считаю, всем было суперважно которое, я считаю, всем было суперважно и были классные очень вопросы. Но я и были классные очень вопросы. Но я и были классные очень вопросы. Но я предлагаю, чтобы мы сильно много времени предлагаю, чтобы мы сильно много времени предлагаю, чтобы мы сильно много времени не тратили, давайте, если вы не против,

01:53:30не тратили, давайте, если вы не против, не тратили, давайте, если вы не против, сделаем перерыв на 10 всё-таки минут, но сделаем перерыв на 10 всё-таки минут, но сделаем перерыв на 10 всё-таки минут, но если не хватит, то мы можем ещё сделать если не хватит, то мы можем ещё сделать если не хватит, то мы можем ещё сделать там на 5 минут перед семинаром, потому там на 5 минут перед семинаром, потому там на 5 минут перед семинаром, потому что 20 минут, ну, всё-таки хочется что 20 минут, ну, всё-таки хочется что 20 минут, ну, всё-таки хочется немножко немножко немножко поподробнее обсудить. Нормально или поподробнее обсудить. Нормально или поподробнее обсудить. Нормально или прямо надо 20 минут?

01:53:49Всё, договорились. Спасибо. Давайте Всё, договорились. Спасибо. Давайте тогда в 03 минуты мы встречаемся дальше. тогда в 03 минуты мы встречаемся дальше. тогда в 03 минуты мы встречаемся дальше. >> Слушайте, можно ещё один вопрос? Я себе >> Слушайте, можно ещё один вопрос? Я себе >> Слушайте, можно ещё один вопрос? Я себе записал, просто забыл спросить про записал, просто забыл спросить про записал, просто забыл спросить про реваршейпинг. реваршейпинг. реваршейпинг. А можно этот слайд? А можно этот слайд? А можно этот слайд? >> Нам же >> Нам же >> Нам же >> можно. >> можно. >> можно. >> Я так, да, давайте только мы, если вы не

01:54:08да, давайте только мы, если вы не против, договоримся сейчас, что Ну против, договоримся сейчас, что Ну против, договоримся сейчас, что Ну давайте сдвинем начало следующей лекции. давайте сдвинем начало следующей лекции. давайте сдвинем начало следующей лекции. Ну, вернее, второй части лекции на 04, Ну, вернее, второй части лекции на 04, Ну, вернее, второй части лекции на 04, но сейчас вот вопросы, если не сложно, но сейчас вот вопросы, если не сложно, но сейчас вот вопросы, если не сложно, давайте я в перерыве с удовольствием давайте я в перерыве с удовольствием давайте я в перерыве с удовольствием поотвечаю, а кому нужно отдохнуть, поотвечаю, а кому нужно отдохнуть,

01:54:20поотвечаю, а кому нужно отдохнуть, отдохните, потому что, ну, тоже не отдохните, потому что, ну, тоже не отдохните, потому что, ну, тоже не хочется тратить ээ времени на перерыв хочется тратить ээ времени на перерыв хочется тратить ээ времени на перерыв так много. Если вы не против, давайте так много. Если вы не против, давайте так много. Если вы не против, давайте так. Вопрос задавайте, пожалуйста. Я так. Вопрос задавайте, пожалуйста. Я так. Вопрос задавайте, пожалуйста. Я тут. тут. тут. >> Да-дада. Про ревортшейпинга. Можно этот >> Да-дада. Про ревортшейпинга. Можно этот >> Да-дада. Про ревортшейпинга. Можно этот слайд показать? слайд показать?

01:54:34слайд показать? >> Угу. Сейчас секунду. Как будто была >> Угу. Сейчас секунду. Как будто была >> Угу. Сейчас секунду. Как будто была такая проходящая вроде мысль, но

01:54:45я просто в общем сторитейле не понял, я просто в общем сторитейле не понял, какая мысль, ну как, какое место у этой какая мысль, ну как, какое место у этой какая мысль, ну как, какое место у этой мысли, мысли, мысли, >> да? Место этой мысли то, что нам >> да? Место этой мысли то, что нам >> да? Место этой мысли то, что нам reвошепинг, вот эта вот история, тот reвошепинг, вот эта вот история, тот reвошепинг, вот эта вот история, тот факт, что мы можем сделать факт, что мы можем сделать факт, что мы можем сделать телескопическую сумму и немножко телескопическую сумму и немножко телескопическую сумму и немножко поменять реворды. Нам это помогает вот поменять реворды. Нам это помогает вот

01:55:01поменять реворды. Нам это помогает вот здесь вот в relative performance здесь вот в relative performance здесь вот в relative performance improvement, да, потому что мы делаем improvement, да, потому что мы делаем improvement, да, потому что мы делаем вот эту всю историю, мы её делаем вот вот эту всю историю, мы её делаем вот вот эту всю историю, мы её делаем вот здесь вот, вот в этой части. То есть мы здесь вот, вот в этой части. То есть мы здесь вот, вот в этой части. То есть мы здесь по сути применили rewardше shaping здесь по сути применили rewardше shaping здесь по сути применили rewardше shaping shaping теорему. А relative performance shaping теорему. А relative performance

01:55:16shaping теорему. А relative performance improvement нам позволяет вот так вот improvement нам позволяет вот так вот improvement нам позволяет вот так вот сделать и записать траекторию, то есть сделать и записать траекторию, то есть сделать и записать траекторию, то есть взять здесь траекторию по какой-то одной взять здесь траекторию по какой-то одной взять здесь траекторию по какой-то одной политике, а advantage по другой. И это политике, а advantage по другой. И это политике, а advantage по другой. И это нам помогло как раз-таки смениться на нам помогло как раз-таки смениться на нам помогло как раз-таки смениться на advantage от PTA old.

01:55:40Понятно, да? Что? Что тут произошло? Понятно, да? Что? Что тут произошло? >> Да, да, понял. >> Да, да, понял. >> Да, да, понял. >> То есть мы здесь здесь по сути reвопин >> То есть мы здесь здесь по сути reвопин >> То есть мы здесь здесь по сути reвопин взяли, что наша функция потенциала - это взяли, что наша функция потенциала - это взяли, что наша функция потенциала - это value функция,

01:55:53>> да? Ну да, я понял. Это теоретическое >> да? Ну да, я понял. Это теоретическое обоснование было. Угу. Всё. обоснование было. Угу. Всё. обоснование было. Угу. Всё. >> Да, да. Ну, что, чтобы мы могли вот так >> Да, да. Ну, что, чтобы мы могли вот так >> Да, да. Ну, что, чтобы мы могли вот так вот это сделать, да, потому что, но я вот это сделать, да, потому что, но я вот это сделать, да, потому что, но я считаю, что это тоже послед последний считаю, что это тоже послед последний считаю, что это тоже послед последний комментарий перед перерывом, что мне комментарий перед перерывом, что мне комментарий перед перерывом, что мне кажется, на это важно посмотреть, потому

01:56:03кажется, на это важно посмотреть, потому кажется, на это важно посмотреть, потому что прикольная идея с Relative что прикольная идея с Relative что прикольная идея с Relative Performance Improvement, что мы можем Performance Improvement, что мы можем Performance Improvement, что мы можем собирать одной политикой, а, оценивать собирать одной политикой, а, оценивать собирать одной политикой, а, оценивать другой политикой, и разность будет всё другой политикой, и разность будет всё другой политикой, и разность будет всё ещё верной. Всё, давайте, как договорились, 04 Всё, давайте, как договорились, 04 минуты продолжаем. Спасибо большое всем минуты продолжаем. Спасибо большое всем

01:56:17минуты продолжаем. Спасибо большое всем за крутые вопросы. Очень интересно.

02:04:02Так, ну что, я предлагаю продолжать. 0,4 Так, ну что, я предлагаю продолжать. 0,4 минуты, как мы договорились. Подскажите, минуты, как мы договорились. Подскажите, минуты, как мы договорились. Подскажите, пожалуйста, меня видно, слышно?

02:04:14>> Ага, спасибо большое. Да, ещё раз прошу >> Ага, спасибо большое. Да, ещё раз прошу прощения, если 10 минут недостаточно прощения, если 10 минут недостаточно прощения, если 10 минут недостаточно перерыва, давайте продолжим. Вот, ээ, перерыва, давайте продолжим. Вот, ээ, перерыва, давайте продолжим. Вот, ээ, семинар у нас будет недолгий, но мне семинар у нас будет недолгий, но мне семинар у нас будет недолгий, но мне хочется побольше времени ещё потратить хочется побольше времени ещё потратить хочется побольше времени ещё потратить на наш как раз-таки сотоалгоритм, на наш как раз-таки сотоалгоритм, на наш как раз-таки сотоалгоритм, поэтому надеюсь, что 10 минут хватило.

02:04:26поэтому надеюсь, что 10 минут хватило. поэтому надеюсь, что 10 минут хватило. Давайте продолжать. Мм, давайте Давайте продолжать. Мм, давайте Давайте продолжать. Мм, давайте вспомним, что мы, соответственно, вспомним, что мы, соответственно, вспомним, что мы, соответственно, получили до перерыва. Мы получили получили до перерыва. Мы получили получили до перерыва. Мы получили алгоритм, который может более хорошо алгоритм, который может более хорошо алгоритм, который может более хорошо использовать нашу ээ наши данные, использовать нашу ээ наши данные, использовать нашу ээ наши данные, которые собрали мы какой-то старой которые собрали мы какой-то старой

02:04:41которые собрали мы какой-то старой политикой, то есть политикой до политикой, то есть политикой до политикой, то есть политикой до обновления, и по вот этим данным сделать обновления, и по вот этим данным сделать обновления, и по вот этим данным сделать более хороший апдейт. То есть более хороший апдейт. То есть более хороший апдейт. То есть использовать все эти данные и сдвинуться использовать все эти данные и сдвинуться использовать все эти данные и сдвинуться относительно достаточно далеко. То есть относительно достаточно далеко. То есть относительно достаточно далеко. То есть ещё раз, мы делаем constст, чтобы ещё раз, мы делаем constст, чтобы

02:04:53ещё раз, мы делаем constст, чтобы политика не была супер далеко, но политика не была супер далеко, но политика не была супер далеко, но относительно ACC алгоритма и реинфорса относительно ACC алгоритма и реинфорса относительно ACC алгоритма и реинфорса мы сдвигаемся дальше, да? То есть потому мы сдвигаемся дальше, да? То есть потому мы сдвигаемся дальше, да? То есть потому что мы быстрее сдвинемся к оптимальной что мы быстрее сдвинемся к оптимальной что мы быстрее сдвинемся к оптимальной политике. Ну или, может быть, политике. Ну или, может быть, политике. Ну или, может быть, естественно, от дельты зависит, естественно, от дельты зависит,

02:05:05естественно, от дельты зависит, насколько далеко мы двигаемся, но в насколько далеко мы двигаемся, но в насколько далеко мы двигаемся, но в общем случае мы будем быстрее приходить общем случае мы будем быстрее приходить общем случае мы будем быстрее приходить к оптимуму, потому что эти апдейты будут к оптимуму, потому что эти апдейты будут к оптимуму, потому что эти апдейты будут как бы более логичны. Ну давайте как бы более логичны. Ну давайте как бы более логичны. Ну давайте посмотрим, э что можно сделать ещё. Э, посмотрим, э что можно сделать ещё. Э, посмотрим, э что можно сделать ещё. Э, как вы правильно заметили, ну, как вы правильно заметили, ну,

02:05:19как вы правильно заметили, ну, оптимизация получилась тяжеловесной. То оптимизация получилась тяжеловесной. То оптимизация получилась тяжеловесной. То есть вроде как хорошо и красиво, но есть вроде как хорошо и красиво, но есть вроде как хорошо и красиво, но оптимизация получилась тяжеловесной. И оптимизация получилась тяжеловесной. И оптимизация получилась тяжеловесной. И хочется вместо того, что мы видели вот хочется вместо того, что мы видели вот хочется вместо того, что мы видели вот здесь вот, где у нас, да, мы делаем здесь вот, где у нас, да, мы делаем здесь вот, где у нас, да, мы делаем большой шаг в политике, то есть в плане, большой шаг в политике, то есть в плане,

02:05:32большой шаг в политике, то есть в плане, что мы делаем крутой шаг ближе к что мы делаем крутой шаг ближе к что мы делаем крутой шаг ближе к оптимуму, но шаг сам по себе тяжёлый, мы оптимуму, но шаг сам по себе тяжёлый, мы оптимуму, но шаг сам по себе тяжёлый, мы хотим попытаться сделать что-то другое. хотим попытаться сделать что-то другое. хотим попытаться сделать что-то другое. Давайте вернёмся к истории, которую мы Давайте вернёмся к истории, которую мы Давайте вернёмся к истории, которую мы посмотрели в начале. Самая простая идея посмотрели в начале. Самая простая идея посмотрели в начале. Самая простая идея была бы сделать на одном и том же баче была бы сделать на одном и том же баче

02:05:46была бы сделать на одном и том же баче сделать несколько апдейтов градиентного сделать несколько апдейтов градиентного сделать несколько апдейтов градиентного спуска, э, да, или градиентного подъёма спуска, э, да, или градиентного подъёма спуска, э, да, или градиентного подъёма в случае реинфорса какого-нибудь. Мы, э, в случае реинфорса какого-нибудь. Мы, э, в случае реинфорса какого-нибудь. Мы, э, просто как пример reinforce, мы, просто как пример reinforce, мы, просто как пример reinforce, мы, соответственно, соответственно, соответственно, в таком случае приобучились. в таком случае приобучились. в таком случае приобучились. PPO - это алгоритм, который мы сейчас

02:06:02PPO - это алгоритм, который мы сейчас PPO - это алгоритм, который мы сейчас будем обсуждать. Это тот, который я будем обсуждать. Это тот, который я будем обсуждать. Это тот, который я прорекламировал, как до сих пор это прорекламировал, как до сих пор это прорекламировал, как до сих пор это реально до сих пор сото. Ээ, ну, может реально до сих пор сото. Ээ, ну, может реально до сих пор сото. Ээ, ну, может быть, не прямо сото. И некоторые есть быть, не прямо сото. И некоторые есть быть, не прямо сото. И некоторые есть алгоритмы, которые его побивают, но он алгоритмы, которые его побивают, но он алгоритмы, которые его побивают, но он прямо супер близок. Это крутой бейзлайн,

02:06:14прямо супер близок. Это крутой бейзлайн, прямо супер близок. Это крутой бейзлайн, э, который реально сложно побить. И э, который реально сложно побить. И э, который реально сложно побить. И вообще алгоритм, который, ну, вот, вообще алгоритм, который, ну, вот, вообще алгоритм, который, ну, вот, наверное, из всех, который мы обсуждали, наверное, из всех, который мы обсуждали, наверное, из всех, который мы обсуждали, тот, который реально часто можно в тот, который реально часто можно в тот, который реально часто можно в каком-то сложном проде увидеть. И он и каком-то сложном проде увидеть. И он и каком-то сложном проде увидеть. И он и для лмок использовался. Допустим, то,

02:06:26для лмок использовался. Допустим, то, для лмок использовался. Допустим, то, когда начиналась вся история с чат GPT, когда начиналась вся история с чат GPT, когда начиналась вся история с чат GPT, насколько я помню, первый тюнинг как насколько я помню, первый тюнинг как насколько я помню, первый тюнинг как раз-таки был вотence learning, насколько раз-таки был вотence learning, насколько раз-таки был вотence learning, насколько я помню, он был с помощью PPO. Вот. Ээ, я помню, он был с помощью PPO. Вот. Ээ, я помню, он был с помощью PPO. Вот. Ээ, поэтому такой алгоритм, который поэтому такой алгоритм, который поэтому такой алгоритм, который действительно достоин того, чтобы мы с

02:06:41действительно достоин того, чтобы мы с действительно достоин того, чтобы мы с вами его хорошо, подробно обсудили и вы вами его хорошо, подробно обсудили и вы вами его хорошо, подробно обсудили и вы его заколи потом домашки. его заколи потом домашки. его заколи потом домашки. Соответственно, мм, что мы ээ тут можем Соответственно, мм, что мы ээ тут можем Соответственно, мм, что мы ээ тут можем заметить? Может быть, нам имеет смысл заметить? Может быть, нам имеет смысл заметить? Может быть, нам имеет смысл как-то придумать таким образом, чтобы мы как-то придумать таким образом, чтобы мы как-то придумать таким образом, чтобы мы вместо нашей оптимизации сложной с

02:06:59вместо нашей оптимизации сложной с вместо нашей оптимизации сложной с ограничениями ограничениями ограничениями делали много легковесных шагов с помощью делали много легковесных шагов с помощью делали много легковесных шагов с помощью СГД СГД СГД в перед тем, как собрать следующие в перед тем, как собрать следующие в перед тем, как собрать следующие данные. Но при этом важный момент, что данные. Но при этом важный момент, что данные. Но при этом важный момент, что мы будем делать не на одном баче, а как мы будем делать не на одном баче, а как мы будем делать не на одном баче, а как бы несколько эпох на разных бочах. бы несколько эпох на разных бочах.

02:07:13бы несколько эпох на разных бочах. каждая эпоха, как обычно, как в обычном каждая эпоха, как обычно, как в обычном каждая эпоха, как обычно, как в обычном диплординге, разные бачи мы самплируем, диплординге, разные бачи мы самплируем, диплординге, разные бачи мы самплируем, но при этом мы как бы попытаемся их но при этом мы как бы попытаемся их но при этом мы как бы попытаемся их несколько раз использовать именно за несколько раз использовать именно за несколько раз использовать именно за счёт того, что мы хотим сделать счёт того, что мы хотим сделать счёт того, что мы хотим сделать легковесную оптимизацию. Как вы уже легковесную оптимизацию. Как вы уже

02:07:25легковесную оптимизацию. Как вы уже правильно заметили, но можно перейти к правильно заметили, но можно перейти к правильно заметили, но можно перейти к чему-то суперблизкому, то есть перейти к чему-то суперблизкому, то есть перейти к чему-то суперблизкому, то есть перейти к неограниченной задаче. То есть неограниченной задаче. То есть неограниченной задаче. То есть интуитивно посмотрите на картинку здесь. интуитивно посмотрите на картинку здесь. интуитивно посмотрите на картинку здесь. Здесь мы видим то, что градиенты Здесь мы видим то, что градиенты Здесь мы видим то, что градиенты указывают, что надо двигаться вправо, то указывают, что надо двигаться вправо, то

02:07:40указывают, что надо двигаться вправо, то есть вправо сдвигать политику. И при есть вправо сдвигать политику. И при есть вправо сдвигать политику. И при этом у нас вот эта красная линия теперь этом у нас вот эта красная линия теперь этом у нас вот эта красная линия теперь пунктерная, потому что мы не говорим, пунктерная, потому что мы не говорим, пунктерная, потому что мы не говорим, что обязательно надо оставаться внутри что обязательно надо оставаться внутри что обязательно надо оставаться внутри по кльдивергенции, внутри вот этого по кльдивергенции, внутри вот этого по кльдивергенции, внутри вот этого пузырика ээ по политикам, а надо, пузырика ээ по политикам, а надо,

02:07:56пузырика ээ по политикам, а надо, соответственно, как бы сдвигаться. Мы соответственно, как бы сдвигаться. Мы соответственно, как бы сдвигаться. Мы можем сдвинуться дальше, если понимаем, можем сдвинуться дальше, если понимаем, можем сдвинуться дальше, если понимаем, что нам как бы advantage, то есть наша что нам как бы advantage, то есть наша что нам как бы advantage, то есть наша наш таргет вот этот вот, да, то он нам наш таргет вот этот вот, да, то он нам наш таргет вот этот вот, да, то он нам это всё компенсирует. То есть, если это всё компенсирует. То есть, если это всё компенсирует. То есть, если настолько крутой гейн по адвантеджу настолько крутой гейн по адвантеджу

02:08:09настолько крутой гейн по адвантеджу взвешенному, да, настолько мы классно взвешенному, да, настолько мы классно взвешенному, да, настолько мы классно перезвзвесим адванджи, что получим ещё перезвзвесим адванджи, что получим ещё перезвзвесим адванджи, что получим ещё лучшее улучшение, то, ну, лучшее улучшение, то, ну, лучшее улучшение, то, ну, соответственно, как бы мы получим соответственно, как бы мы получим соответственно, как бы мы получим оптимизацию, что мы можем уйти далеко, оптимизацию, что мы можем уйти далеко, оптимизацию, что мы можем уйти далеко, потому что мы считаем, что так это так потому что мы считаем, что так это так

02:08:24потому что мы считаем, что так это так это нужно. Здесь оговорюсь, важный это нужно. Здесь оговорюсь, важный это нужно. Здесь оговорюсь, важный момент, что мы сейчас разбираем ППО и в момент, что мы сейчас разбираем ППО и в момент, что мы сейчас разбираем ППО и в отличие от РПО, тут мы, можно сказать, отличие от РПО, тут мы, можно сказать, отличие от РПО, тут мы, можно сказать, все теоретические гарантии потеряли. Ну, все теоретические гарантии потеряли. Ну, все теоретические гарантии потеряли. Ну, вернее, как бы пока что никто не изобрёл вернее, как бы пока что никто не изобрёл вернее, как бы пока что никто не изобрёл теоретических гарантий для этого всего.

02:08:36теоретических гарантий для этого всего. теоретических гарантий для этого всего. Вот, э, скорее всего, они какие-то есть, Вот, э, скорее всего, они какие-то есть, Вот, э, скорее всего, они какие-то есть, просто пока мы до этого не дошли, но просто пока мы до этого не дошли, но просто пока мы до этого не дошли, но алгоритм, который работает круто, и мы с алгоритм, который работает круто, и мы с алгоритм, который работает круто, и мы с вами обсудим тоже, почему. Так вот, вами обсудим тоже, почему. Так вот, вами обсудим тоже, почему. Так вот, делаем теперь с какой-то бетой, которая делаем теперь с какой-то бетой, которая делаем теперь с какой-то бетой, которая с новый киперпараметр, делаем нашу,

02:08:51с новый киперпараметр, делаем нашу, с новый киперпараметр, делаем нашу, соответственно, оптимизацию. И что мы соответственно, оптимизацию. И что мы соответственно, оптимизацию. И что мы здесь получаем? Ну, если мы сделаем вот здесь получаем? Ну, если мы сделаем вот здесь получаем? Ну, если мы сделаем вот просто в таком виде, и это единственное, просто в таком виде, и это единственное, просто в таком виде, и это единственное, что мы заменим, то снова будет плохо. что мы заменим, то снова будет плохо. что мы заменим, то снова будет плохо. Просто потому, что мы можем уйти слишком Просто потому, что мы можем уйти слишком Просто потому, что мы можем уйти слишком далеко, где наш state visitation

02:09:05далеко, где наш state visitation далеко, где наш state visitation distribution уже супер нерелевантен. И distribution уже супер нерелевантен. И distribution уже супер нерелевантен. И мы скажем: "О, давайте мы поменяем мы скажем: "О, давайте мы поменяем мы скажем: "О, давайте мы поменяем параметры таким образом, чтобы делать параметры таким образом, чтобы делать параметры таким образом, чтобы делать действие один, допустим, в 100% случае". действие один, допустим, в 100% случае". действие один, допустим, в 100% случае". Но при этом мы не поймём то, что сейчас Но при этом мы не поймём то, что сейчас Но при этом мы не поймём то, что сейчас мы делали это действие только 30%

02:09:20мы делали это действие только 30% мы делали это действие только 30% времени. А если будем делать действие времени. А если будем делать действие времени. А если будем делать действие 100% времени, то мы не придём никогда в 100% времени, то мы не придём никогда в 100% времени, то мы не придём никогда в тот стейт, когда выгодно его делать. тот стейт, когда выгодно его делать. тот стейт, когда выгодно его делать. Соответственно, ну вот этот такой Соответственно, ну вот этот такой Соответственно, ну вот этот такой пример, что мы можем настолько далеко пример, что мы можем настолько далеко пример, что мы можем настолько далеко сдвинуться, что наш visitation сдвинуться, что наш visitation

02:09:31сдвинуться, что наш visitation distribution будет настолько distribution будет настолько distribution будет настолько нерелевантен, что мы просто advantage нерелевантен, что мы просто advantage нерелевантен, что мы просто advantage неправильно улучшим. То есть мы его неправильно улучшим. То есть мы его неправильно улучшим. То есть мы его улучшим по отношению к прошлой политике. улучшим по отношению к прошлой политике. улучшим по отношению к прошлой политике. Но за счёт того, что наш вот эта вот Но за счёт того, что наш вот эта вот Но за счёт того, что наш вот эта вот главная часть, с которой мы боролись, главная часть, с которой мы боролись,

02:09:42главная часть, с которой мы боролись, вот это вот, которое всё ещё наше вот это вот, которое всё ещё наше вот это вот, которое всё ещё наше приближение приближение приближение будет далеко, у нас всё сломается. будет далеко, у нас всё сломается. будет далеко, у нас всё сломается. Поэтому придумали ак более простой. Поэтому придумали ак более простой. Поэтому придумали ак более простой. Давайте наш important, да, который вот Давайте наш important, да, который вот Давайте наш important, да, который вот здесь вот мы используем. Вот эту вот здесь вот мы используем. Вот эту вот здесь вот мы используем. Вот эту вот штуку. Давайте другим цветом покрашу. штуку. Давайте другим цветом покрашу.

02:09:58штуку. Давайте другим цветом покрашу. Вот таким вот. Давайте его обозначим как Вот таким вот. Давайте его обозначим как Вот таким вот. Давайте его обозначим как арттет. Ну, просто для того, чтобы арттет. Ну, просто для того, чтобы арттет. Ну, просто для того, чтобы попроще было это всё писать. попроще было это всё писать. попроще было это всё писать. И введём то же самое, только клипнутый И введём то же самое, только клипнутый И введём то же самое, только клипнутый ртетта. Как вы помните, вот этот вот ртетта. Как вы помните, вот этот вот ртетта. Как вы помните, вот этот вот вес, он может быть каким-то огромным, вес, он может быть каким-то огромным,

02:10:13вес, он может быть каким-то огромным, каким-то маленьким. И мы вводим клиппинг каким-то маленьким. И мы вводим клиппинг каким-то маленьким. И мы вводим клиппинг для того, чтобы, э, сейчас мы увидим, для того, чтобы, э, сейчас мы увидим, для того, чтобы, э, сейчас мы увидим, почему мы это делаем. Но идея клиппинга почему мы это делаем. Но идея клиппинга почему мы это делаем. Но идея клиппинга - это не про то, чтобы вес ограничить, - это не про то, чтобы вес ограничить, - это не про то, чтобы вес ограничить, то есть это не про стабильность веса то есть это не про стабильность веса то есть это не про стабильность веса самого, а для того, чтобы ограничить, в

02:10:27самого, а для того, чтобы ограничить, в самого, а для того, чтобы ограничить, в какую сторону мы можем делать апдейты, в какую сторону мы можем делать апдейты, в какую сторону мы можем делать апдейты, в какую сторону не можем делать апдейты. Я какую сторону не можем делать апдейты. Я какую сторону не можем делать апдейты. Я сейчас расскажу и покажу, и будет сейчас расскажу и покажу, и будет сейчас расскажу и покажу, и будет понятнее. Но просто пока важно понимать, понятнее. Но просто пока важно понимать, понятнее. Но просто пока важно понимать, что мы сначала делаем клиппинг для что мы сначала делаем клиппинг для что мы сначала делаем клиппинг для нашего вот этого вейта. Мы говорим, что

02:10:40нашего вот этого вейта. Мы говорим, что нашего вот этого вейта. Мы говорим, что он не может быть меньше, чем 1 - больше, он не может быть меньше, чем 1 - больше, он не может быть меньше, чем 1 - больше, чем 1 +. Иначе мы заменяем на это число. чем 1 +. Иначе мы заменяем на это число. чем 1 +. Иначе мы заменяем на это число. Соответственно, - это наш снова какой-то Соответственно, - это наш снова какой-то Соответственно, - это наш снова какой-то гиперпараметр, который, ну, давайте для гиперпараметр, который, ну, давайте для гиперпараметр, который, ну, давайте для примера в статье и в том, что мы будем примера в статье и в том, что мы будем

02:10:53примера в статье и в том, что мы будем смотреть с вами на семинаре, равен 0,2. смотреть с вами на семинаре, равен 0,2. смотреть с вами на семинаре, равен 0,2. То есть как бы вот эту штуку мы То есть как бы вот эту штуку мы То есть как бы вот эту штуку мы ограничиваем от 0,8 до 1.2, ограничиваем от 0,8 до 1.2, ограничиваем от 0,8 до 1.2, да? Ну, как бы просто хак. Теперь, ну, да? Ну, как бы просто хак. Теперь, ну, да? Ну, как бы просто хак. Теперь, ну, соответственно, мы как были до этого с соответственно, мы как были до этого с соответственно, мы как были до этого с ртеттой, ртеттой, ртеттой, так и остались с ртеттой только так и остались с ртеттой только

02:11:10так и остались с ртеттой только клипнутой. клипнутой. клипнутой. Это первое, что мы заменили, да? А здесь Это первое, что мы заменили, да? А здесь Это первое, что мы заменили, да? А здесь мы оставили тету и то есть это вот мы оставили тету и то есть это вот мы оставили тету и то есть это вот второе, что мы заменили. Мы говорим: "А второе, что мы заменили. Мы говорим: "А второе, что мы заменили. Мы говорим: "А давайте возьмём ещё минимум из давайте возьмём ещё минимум из давайте возьмём ещё минимум из rтета". Это вот то, что у нас было до rтета". Это вот то, что у нас было до rтета". Это вот то, что у нас было до этого, и нашего клипнутого. Давайте, этого, и нашего клипнутого. Давайте,

02:11:26этого, и нашего клипнутого. Давайте, чтобы было получше видно, я раскрашу вот чтобы было получше видно, я раскрашу вот чтобы было получше видно, я раскрашу вот таким вот образом. Вот так вот. А это мы таким вот образом. Вот так вот. А это мы таким вот образом. Вот так вот. А это мы сделаем так. Вот. Вот сюда его сделаем так. Вот. Вот сюда его сделаем так. Вот. Вот сюда его подставим. И говорим, что это наш новый подставим. И говорим, что это наш новый подставим. И говорим, что это наш новый лосс. Пока я понимаю, что звучит, а лосс. Пока я понимаю, что звучит, а лосс. Пока я понимаю, что звучит, а что-то мы позаменяли, а зачем? Как бы что-то мы позаменяли, а зачем? Как бы

02:11:40что-то мы позаменяли, а зачем? Как бы никто ничего не понимает. Вот. Мм. никто ничего не понимает. Вот. Мм. никто ничего не понимает. Вот. Мм. У этой штуки есть такое интуитивное У этой штуки есть такое интуитивное У этой штуки есть такое интуитивное объяснение, что он поддерживает, вот эта объяснение, что он поддерживает, вот эта объяснение, что он поддерживает, вот эта штука, она как бы поддерживает Кэль штука, она как бы поддерживает Кэль штука, она как бы поддерживает Кэль дивергенцию в каждом состоянии, потому дивергенцию в каждом состоянии, потому дивергенцию в каждом состоянии, потому что он говорит, что новый апдейт, он не что он говорит, что новый апдейт, он не

02:11:53что он говорит, что новый апдейт, он не может быть слишком далеко от прослого, может быть слишком далеко от прослого, может быть слишком далеко от прослого, но это вот прямо в жёстком виде делает, но это вот прямо в жёстком виде делает, но это вот прямо в жёстком виде делает, подставляя вместо какой-то теоретической подставляя вместо какой-то теоретической подставляя вместо какой-то теоретической истории, прямо напрямую это требую истории, прямо напрямую это требую истории, прямо напрямую это требую просто потому, что так проще просто потому, что так проще просто потому, что так проще алгоритмически. Давайте увидим, что алгоритмически. Давайте увидим, что

02:12:05алгоритмически. Давайте увидим, что здесь происходит. Здесь происходит не не здесь происходит. Здесь происходит не не здесь происходит. Здесь происходит не не такая штука, не просто мы там что-то такая штука, не просто мы там что-то такая штука, не просто мы там что-то позаменяли, а здесь, на самом деле, есть позаменяли, а здесь, на самом деле, есть позаменяли, а здесь, на самом деле, есть довольно прикольный смысл, э который довольно прикольный смысл, э который довольно прикольный смысл, э который позволяет этот алгоритм понять и понять, позволяет этот алгоритм понять и понять, позволяет этот алгоритм понять и понять, почему он хорошо работает. Давайте почему он хорошо работает. Давайте

02:12:15почему он хорошо работает. Давайте посмотрим. Вот, э, левый графичек - это посмотрим. Вот, э, левый графичек - это посмотрим. Вот, э, левый графичек - это для случая, если где-то мы смотрим на для случая, если где-то мы смотрим на для случая, если где-то мы смотрим на пару состояния действия, где adвантаж пару состояния действия, где adвантаж пару состояния действия, где adвантаж положительный и справа, где adвантаж положительный и справа, где adвантаж положительный и справа, где adвантаж отрицательный. Логика симметричная, отрицательный. Логика симметричная, отрицательный. Логика симметричная, поэтому давайте посмотрим на один из поэтому давайте посмотрим на один из

02:12:27поэтому давайте посмотрим на один из них. Давайте посмотрим, когда advantage них. Давайте посмотрим, когда advantage них. Давайте посмотрим, когда advantage положительный. Если advantage положительный. Если advantage положительный. Если advantage положительный, давайте посмотрим, что у положительный, давайте посмотрим, что у положительный, давайте посмотрим, что у нас будет. Если advantage положительный, нас будет. Если advantage положительный, нас будет. Если advantage положительный, у нас может быть два случая у нас может быть два случая у нас может быть два случая дополнительных, дополнительных, дополнительных, что у нас вот это вот шоу больше, чем 1

02:12:43что у нас вот это вот шоу больше, чем 1 что у нас вот это вот шоу больше, чем 1 + + + и то, что он и то, что он и то, что он меньше либо равен 1 + меньше либо равен 1 + меньше либо равен 1 + включая случай, даже если он меньше, чем включая случай, даже если он меньше, чем включая случай, даже если он меньше, чем 1 ми в этом случае нам это не будет 1 ми в этом случае нам это не будет 1 ми в этом случае нам это не будет нужно. Сейчас мы это увидим. Тогда нужно. Сейчас мы это увидим. Тогда нужно. Сейчас мы это увидим. Тогда давайте разберём для каждого случая вот давайте разберём для каждого случая вот давайте разберём для каждого случая вот этот наш лос. То есть ещё раз вверху то,

02:13:01этот наш лос. То есть ещё раз вверху то, этот наш лос. То есть ещё раз вверху то, что стоит, это наш новый лосс. Мы что стоит, это наш новый лосс. Мы что стоит, это наш новый лосс. Мы заменили наш обжектив. Ээ обжектив заменили наш обжектив. Ээ обжектив заменили наш обжектив. Ээ обжектив заменили вместо прошлого, который был в заменили вместо прошлого, который был в заменили вместо прошлого, который был в ТРПО. Да, давайте вот так напишу.Трпо ТРПО. Да, давайте вот так напишу.Трпо ТРПО. Да, давайте вот так напишу.Трпо это ппоjective.

02:13:19Мы его заменили. И мы пытаемся это всё Мы его заменили. И мы пытаемся это всё сделать, чтобы нам не страшно было сделать, чтобы нам не страшно было сделать, чтобы нам не страшно было откидывать вот эту KL дивергенцию, откидывать вот эту KL дивергенцию, откидывать вот эту KL дивергенцию, да? Здесь, соответственно, что у нас да? Здесь, соответственно, что у нас да? Здесь, соответственно, что у нас получается? Вот это есть этот лос, получается? Вот это есть этот лос, получается? Вот это есть этот лос, который мы используем PPO. Давайте который мы используем PPO. Давайте который мы используем PPO. Давайте посмотрим, что происходит. Если у нас посмотрим, что происходит. Если у нас

02:13:33посмотрим, что происходит. Если у нас наша артета больше, чем наша артета больше, чем наша артета больше, чем 1 + 1 + 1 + то мы, соответственно, клипнем, чем 1 +. то мы, соответственно, клипнем, чем 1 +. то мы, соответственно, клипнем, чем 1 +. Ну и когда мы возьмём минимум, смотрите, Ну и когда мы возьмём минимум, смотрите, Ну и когда мы возьмём минимум, смотрите, адванжи и слева, и справа одни и те же. адванжи и слева, и справа одни и те же. адванжи и слева, и справа одни и те же. Возьмём минимум, естественно, минимум Возьмём минимум, естественно, минимум Возьмём минимум, естественно, минимум будет правая часть. То есть вот это будет правая часть. То есть вот это

02:13:48будет правая часть. То есть вот это будет наш минимум. Теперь давайте будет наш минимум. Теперь давайте будет наш минимум. Теперь давайте посмотрим. Мы клипнули каким-то посмотрим. Мы клипнули каким-то посмотрим. Мы клипнули каким-то значением клипнули, но имеется в виду, значением клипнули, но имеется в виду, значением клипнули, но имеется в виду, естественно, у нас нет никакого от этого естественно, у нас нет никакого от этого естественно, у нас нет никакого от этого градиента. И advantage у нас не зависит градиента. И advantage у нас не зависит градиента. И advantage у нас не зависит от параметров никак. Соответственно, в от параметров никак. Соответственно, в

02:14:02от параметров никак. Соответственно, в этом случае, сейчас, извините, вот так этом случае, сейчас, извините, вот так этом случае, сейчас, извините, вот так вот в этом случае градиент будет равен вот в этом случае градиент будет равен вот в этом случае градиент будет равен нулю от этого волос, нулю от этого волос, нулю от этого волос, да, потому что, ну, как бы вот потому да, потому что, ну, как бы вот потому да, потому что, ну, как бы вот потому что мы клипаем, потому что что мы клипаем, потому что что мы клипаем, потому что вот это это константа. О'кей, посмотрим в другом случае, что О'кей, посмотрим в другом случае, что происходит. И сейчас мы поймём за этим

02:14:29происходит. И сейчас мы поймём за этим происходит. И сейчас мы поймём за этим логику. Я специально расписываю логику. Я специально расписываю логику. Я специально расписываю подробнее, чтобы нам было попонятнее. В подробнее, чтобы нам было попонятнее. В подробнее, чтобы нам было попонятнее. В случае, если меньше, чем 1 - 1 +, у нас случае, если меньше, чем 1 - 1 +, у нас случае, если меньше, чем 1 - 1 +, у нас будет артета. Ну и здесь, будет артета. Ну и здесь, будет артета. Ну и здесь, соответственно, тоже будет -э артета. И соответственно, тоже будет -э артета. И соответственно, тоже будет -э артета. И у нас минимум будет в левой части, у нас минимум будет в левой части,

02:14:44у нас минимум будет в левой части, потому что отватож положительный. потому что отватож положительный. потому что отватож положительный. Отватыч положительный минимум будет в Отватыч положительный минимум будет в Отватыч положительный минимум будет в левой части. И тогда наш градиент левой части. И тогда наш градиент левой части. И тогда наш градиент это на самом деле довольно простая это на самом деле довольно простая это на самом деле довольно простая штука, и нам это важно. Аэ давайте вот штука, и нам это важно. Аэ давайте вот штука, и нам это важно. Аэ давайте вот так на следующем слайде напишу. Тут так на следующем слайде напишу. Тут

02:14:57так на следующем слайде напишу. Тут места не так много. Когда у нас артета, места не так много. Когда у нас артета, места не так много. Когда у нас артета, наш градиент, это градиент от артеты.

02:15:12Сейчас допишу. Давайте вот так вот. Pocy Сейчас допишу. Давайте вот так вот. Pocy SA. Что то же самое, да? то же самое, SA. Что то же самое, да? то же самое, SA. Что то же самое, да? то же самое, что градиент от питекта, который вверху что градиент от питекта, который вверху что градиент от питекта, который вверху у нас стоит, у нас стоит, у нас стоит, делить на пи, которая не зависит от этой делить на пи, которая не зависит от этой делить на пи, которая не зависит от этой AP old, которая тоже не зависит от этой. AP old, которая тоже не зависит от этой. AP old, которая тоже не зависит от этой. И мы получили реально простойпростой И мы получили реально простойпростой

02:15:30И мы получили реально простойпростой градиент. То есть как бы мы вот взяли градиент. То есть как бы мы вот взяли градиент. То есть как бы мы вот взяли это всё придумали так, что в одном это всё придумали так, что в одном это всё придумали так, что в одном случае мы получаем ноль, а в другом случае мы получаем ноль, а в другом случае мы получаем ноль, а в другом случае мы получаем положительный случае мы получаем положительный случае мы получаем положительный в другом случае мы получаем какой-то в другом случае мы получаем какой-то в другом случае мы получаем какой-то градиент, да, соответственно, который градиент, да, соответственно, который

02:15:43градиент, да, соответственно, который простой, который зависит, ну, по сути, простой, который зависит, ну, по сути, простой, который зависит, ну, по сути, только от политики. И зачем нам это только от политики. И зачем нам это только от политики. И зачем нам это нужно? И зачем этот клик? Мне кажется, нужно? И зачем этот клик? Мне кажется, нужно? И зачем этот клик? Мне кажется, сейчас вот будет понятнее. Мы понимаем, сейчас вот будет понятнее. Мы понимаем, сейчас вот будет понятнее. Мы понимаем, что если advantage положительный, то для что если advantage положительный, то для что если advantage положительный, то для этого state action, для этой state этого state action, для этой state

02:15:57этого state action, для этой state action пары нам хочется увеличить action пары нам хочется увеличить action пары нам хочется увеличить вероятность этого действия, да, потому вероятность этого действия, да, потому вероятность этого действия, да, потому что advantage положительный. Мы говорим: что advantage положительный. Мы говорим: что advantage положительный. Мы говорим: "Круто, давайте-ка будем делать это "Круто, давайте-ка будем делать это "Круто, давайте-ка будем делать это чаще". Но при этом за счёт того, что как чаще". Но при этом за счёт того, что как чаще". Но при этом за счёт того, что как бы мы не хотим ухотить уходить далеко от бы мы не хотим ухотить уходить далеко от

02:16:11бы мы не хотим ухотить уходить далеко от политики, мы хотим ограничить таким политики, мы хотим ограничить таким политики, мы хотим ограничить таким образом, чтобы когда адванж образом, чтобы когда адванж образом, чтобы когда адванж положительный, мы не были положительный, мы не были положительный, мы не были супероптимистичны. супероптимистичны. супероптимистичны. То есть, чего мы пытаемся добиться? То есть, чего мы пытаемся добиться? То есть, чего мы пытаемся добиться? Когда мы делали ограничение на КЛ Когда мы делали ограничение на КЛ Когда мы делали ограничение на КЛ дивергенцию напрямую, то мы брали и, дивергенцию напрямую, то мы брали и,

02:16:29дивергенцию напрямую, то мы брали и, соответственно, в соответственно, в соответственно, в ограничили, чтобы не уйти далеко, потому ограничили, чтобы не уйти далеко, потому ограничили, чтобы не уйти далеко, потому что мы на самом деле боялись, что у нас, что мы на самом деле боялись, что у нас, что мы на самом деле боялись, что у нас, как я уже сказал, нерепрезентативные как я уже сказал, нерепрезентативные как я уже сказал, нерепрезентативные смплы, нерепрезентативные state смплы, нерепрезентативные state смплы, нерепрезентативные state visitation distribution. И поэтому мы visitation distribution. И поэтому мы visitation distribution. И поэтому мы можем начать делать какие-то действия,

02:16:44можем начать делать какие-то действия, можем начать делать какие-то действия, которые нам покажутся хорошими, а в которые нам покажутся хорошими, а в которые нам покажутся хорошими, а в реальности потом окажется, что это реальности потом окажется, что это реальности потом окажется, что это плохие действия. И вот тут примерно та плохие действия. И вот тут примерно та плохие действия. И вот тут примерно та же идея с этим, ну, вернее, ровно та же же идея с этим, ну, вернее, ровно та же же идея с этим, ну, вернее, ровно та же идея, что мы хотим положительную сторону идея, что мы хотим положительную сторону идея, что мы хотим положительную сторону ограничить наш слос плато. То есть, если

02:16:58ограничить наш слос плато. То есть, если ограничить наш слос плато. То есть, если мы говорим, что у нас advantage мы говорим, что у нас advantage мы говорим, что у нас advantage положительный, то мы не хотим слишком положительный, то мы не хотим слишком положительный, то мы не хотим слишком сильно увеличить действия, потому что мы сильно увеличить действия, потому что мы сильно увеличить действия, потому что мы можем ошибиться и можем сильно можем ошибиться и можем сильно можем ошибиться и можем сильно промахнуться. Но при этом важный момент, промахнуться. Но при этом важный момент, промахнуться. Но при этом важный момент, то, что мы делаем это асимметрично, что

02:17:11то, что мы делаем это асимметрично, что то, что мы делаем это асимметрично, что если у нас advantage положительный и если у нас advantage положительный и если у нас advantage положительный и ухудшить этот лос, мы позволяем без ухудшить этот лос, мы позволяем без ухудшить этот лос, мы позволяем без ограничений. Почему? Ну, тут есть два ограничений. Почему? Ну, тут есть два ограничений. Почему? Ну, тут есть два объяснения. Объяснение номер один - это объяснения. Объяснение номер один - это объяснения. Объяснение номер один - это более простое. Смотрите, если мы сделали более простое. Смотрите, если мы сделали более простое. Смотрите, если мы сделали бы 1 мину здесь и сделали бы вот такую

02:17:29бы 1 мину здесь и сделали бы вот такую бы 1 мину здесь и сделали бы вот такую вот вот такую вот штуку, да, то есть это вот вот такую вот штуку, да, то есть это вот вот такую вот штуку, да, то есть это было бы эквивалентно, было бы эквивалентно, было бы эквивалентно, как будто бы мы не взяли минимум. Как как будто бы мы не взяли минимум. Как как будто бы мы не взяли минимум. Как будто бы мы не взяли минимум, а взяли будто бы мы не взяли минимум, а взяли будто бы мы не взяли минимум, а взяли бы, ну, не взяли эту часть, взяли бы бы, ну, не взяли эту часть, взяли бы бы, ну, не взяли эту часть, взяли бы только клипнутый обжектив. Была бы только клипнутый обжектив. Была бы

02:17:42только клипнутый обжектив. Была бы проблема в том, что мы начали бы проблема в том, что мы начали бы проблема в том, что мы начали бы застревать вот в таком вот, застревать вот в таком вот, застревать вот в таком вот, соответственно, нашем плато. Мы бы соответственно, нашем плато. Мы бы соответственно, нашем плато. Мы бы начали прямо в нём постоянно крутиться, начали прямо в нём постоянно крутиться, начали прямо в нём постоянно крутиться, крутиться, и он бы был слишком вернее, крутиться, и он бы был слишком вернее, крутиться, и он бы был слишком вернее, не в плато, извините, в единственной не в плато, извините, в единственной

02:17:54не в плато, извините, в единственной части, которая не плато, мы бы постоянно части, которая не плато, мы бы постоянно части, которая не плато, мы бы постоянно ходили и мы бы, ну, застряли в каком-то ходили и мы бы, ну, застряли в каком-то ходили и мы бы, ну, застряли в каком-то локальном, скорее всего, оптимуме. Это локальном, скорее всего, оптимуме. Это локальном, скорее всего, оптимуме. Это как бы эмпирически, иристический то, что как бы эмпирически, иристический то, что как бы эмпирически, иристический то, что люди нашли. Более интересное объяснение люди нашли. Более интересное объяснение люди нашли. Более интересное объяснение в том плане, то что мы позволяем сделать

02:18:09в том плане, то что мы позволяем сделать в том плане, то что мы позволяем сделать ограничено действие на улучшение. То ограничено действие на улучшение. То ограничено действие на улучшение. То есть мы не хотим улучшения делать есть мы не хотим улучшения делать есть мы не хотим улучшения делать слишком хорошими, потому что мы можем слишком хорошими, потому что мы можем слишком хорошими, потому что мы можем ошибиться, но при этом не ограничиваем, ошибиться, но при этом не ограничиваем, ошибиться, но при этом не ограничиваем, насколько плохо можем сделать, потому насколько плохо можем сделать, потому насколько плохо можем сделать, потому что мы должны дать нашей нашему агенту

02:18:23что мы должны дать нашей нашему агенту что мы должны дать нашей нашему агенту понять, что если мы сделаем какие-то мы понять, что если мы сделаем какие-то мы понять, что если мы сделаем какие-то мы же обновляем параметры для всех state же обновляем параметры для всех state же обновляем параметры для всех state action пар, которые только возможны. То action пар, которые только возможны. То action пар, которые только возможны. То есть параметры обновляются для всего есть параметры обновляются для всего есть параметры обновляются для всего сразу. Соответственно, если мы где-то сразу. Соответственно, если мы где-то сразу. Соответственно, если мы где-то улучшили, мы должны увидеть, что где-то

02:18:36улучшили, мы должны увидеть, что где-то улучшили, мы должны увидеть, что где-то сильно ухудшилось, чтобы у нас была сильно ухудшилось, чтобы у нас была сильно ухудшилось, чтобы у нас была какая-то сила, которая нас притянет какая-то сила, которая нас притянет какая-то сила, которая нас притянет обратно. Потом поэтому, если мы обратно. Потом поэтому, если мы обратно. Потом поэтому, если мы ограничим, то мы будем где-то улучшать, ограничим, то мы будем где-то улучшать, ограничим, то мы будем где-то улучшать, а где-то, ну, как бы делать сколько а где-то, ну, как бы делать сколько а где-то, ну, как бы делать сколько угодно плохо, и это не заметим, и угодно плохо, и это не заметим, и

02:18:47угодно плохо, и это не заметим, и поэтому не сойдёмся. Вот такие два поэтому не сойдёмся. Вот такие два поэтому не сойдёмся. Вот такие два объяснения. Надеюсь, тут стало объяснения. Надеюсь, тут стало объяснения. Надеюсь, тут стало попонятнее. Давайте задержимся и, ну, попонятнее. Давайте задержимся и, ну, попонятнее. Давайте задержимся и, ну, да, и, соответственно, проговорю, что да, и, соответственно, проговорю, что да, и, соответственно, проговорю, что когда адванты всё отрицательные, то всё когда адванты всё отрицательные, то всё когда адванты всё отрицательные, то всё то же самое просто в обратную сторону, то же самое просто в обратную сторону,

02:18:59то же самое просто в обратную сторону, да, там снижаем вероятность и вся идея да, там снижаем вероятность и вся идея да, там снижаем вероятность и вся идея такая же. Скажите, пожалуйста, давайте такая же. Скажите, пожалуйста, давайте такая же. Скажите, пожалуйста, давайте тут, наверное, есть какие-нибудь тут, наверное, есть какие-нибудь тут, наверное, есть какие-нибудь вопросы. Так, ну, если вопросов нет, давайте Так, ну, если вопросов нет, давайте двинемся дальше. Э, надеюсь, что двинемся дальше. Э, надеюсь, что двинемся дальше. Э, надеюсь, что понятно. Здесь есть ещё такая понятно. Здесь есть ещё такая понятно. Здесь есть ещё такая визуализация. визуализация.

02:19:17визуализация. Вот, э, визуализация такого рода, что, Вот, э, визуализация такого рода, что, Вот, э, визуализация такого рода, что, э, соответственно, давайте по порядку. э, соответственно, давайте по порядку. э, соответственно, давайте по порядку. Синее, то, что растёт - это наша кль Синее, то, что растёт - это наша кль Синее, то, что растёт - это наша кль дивергенция. Понимаем, что точка ноль, дивергенция. Понимаем, что точка ноль, дивергенция. Понимаем, что точка ноль, точка ноль - это наши текущие параметры. точка ноль - это наши текущие параметры. точка ноль - это наши текущие параметры. Вот то, что написано linear Вот то, что написано linear

02:19:31Вот то, что написано linear interpolation factor - это как бы interpolation factor - это как бы interpolation factor - это как бы насколько мы далеко шагнули от ta old до насколько мы далеко шагнули от ta old до насколько мы далеко шагнули от ta old до тета, ну, новых, которые мы обновляем. тета, ну, новых, которые мы обновляем. тета, ну, новых, которые мы обновляем. Давайте я скажу та New Давайте я скажу та New Давайте я скажу та New дивергенция. Ну, понятно, что как-то дивергенция. Ну, понятно, что как-то дивергенция. Ну, понятно, что как-то монотонно возрастает. Чем дальше, тем монотонно возрастает. Чем дальше, тем

02:19:45монотонно возрастает. Чем дальше, тем больше дивергенция. Теперь посмотрим на больше дивергенция. Теперь посмотрим на больше дивергенция. Теперь посмотрим на наш изначальный обжектив без какого-либо наш изначальный обжектив без какого-либо наш изначальный обжектив без какого-либо клипания. Это оранжевая штука. Он у нас клипания. Это оранжевая штука. Он у нас клипания. Это оранжевая штука. Он у нас тоже будет, ну, вот в этом случае тоже будет, ну, вот в этом случае тоже будет, ну, вот в этом случае представим, что он тоже растёт, как бы представим, что он тоже растёт, как бы представим, что он тоже растёт, как бы не ограниченно как-то в будущее. В не ограниченно как-то в будущее. В

02:19:58не ограниченно как-то в будущее. В будущее растёт. То есть как бы мы будущее растёт. То есть как бы мы будущее растёт. То есть как бы мы от интерполяции, если у нас advantage от интерполяции, если у нас advantage от интерполяции, если у нас advantage положительный, то у нас получится, что положительный, то у нас получится, что положительный, то у нас получится, что чем больше мы увеличим наш, чем больше мы увеличим наш, чем больше мы увеличим наш, соответственно, экшн, который соответственно, экшн, который соответственно, экшн, который вероятность экшена, который привёл к вероятность экшена, который привёл к вероятность экшена, который привёл к этому положительному обжективу, тем мы,

02:20:13этому положительному обжективу, тем мы, этому положительному обжективу, тем мы, соответственно, больше увеличим этот соответственно, больше увеличим этот соответственно, больше увеличим этот лос. Ну, кажется, наверное, так себе лос. Ну, кажется, наверное, так себе лос. Ну, кажется, наверное, так себе история, да, в бесконечность уходить из история, да, в бесконечность уходить из история, да, в бесконечность уходить из неуверенных каких-то самплей. Когда мы неуверенных каких-то самплей. Когда мы неуверенных каких-то самплей. Когда мы применим клиппинг первый, получится применим клиппинг первый, получится применим клиппинг первый, получится зелёная линия. Вот эта. То есть мы

02:20:26зелёная линия. Вот эта. То есть мы зелёная линия. Вот эта. То есть мы ограничим, чтобы мы слишком далеко не ограничим, чтобы мы слишком далеко не ограничим, чтобы мы слишком далеко не уходили, но при этом у нас здесь уходили, но при этом у нас здесь уходили, но при этом у нас здесь получится плато. Если мы не будем получится плато. Если мы не будем получится плато. Если мы не будем минимум брать вот это, то, что я красным минимум брать вот это, то, что я красным минимум брать вот это, то, что я красным зачеркнул и то, что красным слева зачеркнул и то, что красным слева зачеркнул и то, что красным слева нарисовал, это вот ровно этот случай. нарисовал, это вот ровно этот случай.

02:20:37нарисовал, это вот ровно этот случай. Если мы вниз тоже будем клипать, не Если мы вниз тоже будем клипать, не Если мы вниз тоже будем клипать, не будем брать по сути минимум, то мы будем брать по сути минимум, то мы будем брать по сути минимум, то мы зависнем на плато всё ещё увеличение зависнем на плато всё ещё увеличение зависнем на плато всё ещё увеличение факторов, и нам как бы о'кей, не будет факторов, и нам как бы о'кей, не будет факторов, и нам как бы о'кей, не будет важно расти дальше, но при этом мы и на важно расти дальше, но при этом мы и на важно расти дальше, но при этом мы и на этом уровне будем говорить, что нам этом уровне будем говорить, что нам

02:20:51этом уровне будем говорить, что нам одинаково везде хорошо. А мы этого не одинаково везде хорошо. А мы этого не одинаково везде хорошо. А мы этого не хотим. Мы как бы хотим шагнуть, где у хотим. Мы как бы хотим шагнуть, где у хотим. Мы как бы хотим шагнуть, где у нас улучшение. А дальше, как только мы нас улучшение. А дальше, как только мы нас улучшение. А дальше, как только мы шагаем слишком далеко, мы хотим как бы в шагаем слишком далеко, мы хотим как бы в шагаем слишком далеко, мы хотим как бы в функции делать пеналти. Иначе вся функции делать пеналти. Иначе вся функции делать пеналти. Иначе вся история, которую мы обсуждали с вами про история, которую мы обсуждали с вами про

02:21:02история, которую мы обсуждали с вами про кльдивергенцию, не сработает. То есть кльдивергенцию, не сработает. То есть кльдивергенцию, не сработает. То есть иначе история про то, что мы добавили иначе история про то, что мы добавили иначе история про то, что мы добавили soft pти, да, то есть добавили вместо soft pти, да, то есть добавили вместо soft pти, да, то есть добавили вместо жёсткого ограничения, как вы предложили, жёсткого ограничения, как вы предложили, жёсткого ограничения, как вы предложили, как раз добавили именно просто ээ как раз добавили именно просто ээ как раз добавили именно просто ээ пенальти в нашу objective не сработает, пенальти в нашу objective не сработает,

02:21:18пенальти в нашу objective не сработает, потому что мы всё ещё позволим, давай потому что мы всё ещё позволим, давай потому что мы всё ещё позволим, давай уходить как-то слишком далеко от уходить как-то слишком далеко от уходить как-то слишком далеко от политики, где у нас какие-то нереаable политики, где у нас какие-то нереаable политики, где у нас какие-то нереаable сэмплы. Поэтому мы делаем красный. Это сэмплы. Поэтому мы делаем красный. Это сэмплы. Поэтому мы делаем красный. Это наш как бы как раз-таки финальный наш как бы как раз-таки финальный наш как бы как раз-таки финальный таргетный лосс. Мы его делаем как раз таргетный лосс. Мы его делаем как раз

02:21:29таргетный лосс. Мы его делаем как раз для того, чтобы, как вы видите, вот для того, чтобы, как вы видите, вот для того, чтобы, как вы видите, вот здесь была оптимальная точка, а дальше здесь была оптимальная точка, а дальше здесь была оптимальная точка, а дальше уходить было не оптимально. Надеюсь, уходить было не оптимально. Надеюсь, уходить было не оптимально. Надеюсь, тоже стало попонятнее. тоже стало попонятнее. тоже стало попонятнее. Теперь что мы таким образом достиг? Да, Теперь что мы таким образом достиг? Да, Теперь что мы таким образом достиг? Да, конечно, конечно. Давайте. конечно, конечно. Давайте. конечно, конечно. Давайте. >> Но вот у нас РТ получается это

02:21:43>> Но вот у нас РТ получается это >> Но вот у нас РТ получается это единственное, через что у нас текут единственное, через что у нас текут единственное, через что у нас текут градиенты, правильно? градиенты, правильно? градиенты, правильно? >> Да. И и получается, что если мы >> Да. И и получается, что если мы >> Да. И и получается, что если мы используем этот клипинг, то на тех используем этот клипинг, то на тех используем этот клипинг, то на тех сэмплах, где у нас сильная разница в сэмплах, где у нас сильная разница в сэмплах, где у нас сильная разница в распределениях наших политик, то там распределениях наших политик, то там

02:21:57распределениях наших политик, то там вообще не происходит обучение, вообще не происходит обучение, вообще не происходит обучение, правильно? правильно? правильно? >> Смотрите, важно понимать, что мы имеем в >> Смотрите, важно понимать, что мы имеем в >> Смотрите, важно понимать, что мы имеем в виду под сен. То есть, если мы говорим виду под сен. То есть, если мы говорим виду под сен. То есть, если мы говорим про state экшн пары, то у нас получается про state экшн пары, то у нас получается про state экшн пары, то у нас получается не то, что не происходит ээ обновления, не то, что не происходит ээ обновления, не то, что не происходит ээ обновления, а мы не позволяем, э, если у нас для

02:22:13а мы не позволяем, э, если у нас для а мы не позволяем, э, если у нас для этой state экшн пары у нас э слишком э этой state экшн пары у нас э слишком э этой state экшн пары у нас э слишком э advantage положительный, и вот эта вот advantage положительный, и вот эта вот advantage положительный, и вот эта вот вероятность и так уже слишком большая, вероятность и так уже слишком большая, вероятность и так уже слишком большая, мы не даём её больше увеличивать. То мы не даём её больше увеличивать. То мы не даём её больше увеличивать. То есть, что значит вероятность большая, есть, что значит вероятность большая, есть, что значит вероятность большая, что мы взяли сейчас питета, которая у

02:22:27что мы взяли сейчас питета, которая у что мы взяли сейчас питета, которая у нас вот, ну, сейчас получилось, да, ээ, нас вот, ну, сейчас получилось, да, ээ, нас вот, ну, сейчас получилось, да, ээ, после какого-то обновления по другим после какого-то обновления по другим после какого-то обновления по другим state action парам. Мы получили то, что state action парам. Мы получили то, что state action парам. Мы получили то, что оно сильно больше, чем P old, да, оно оно сильно больше, чем P old, да, оно оно сильно больше, чем P old, да, оно больше, чем 1,2. И мы заклипали. И мы больше, чем 1,2. И мы заклипали. И мы больше, чем 1,2. И мы заклипали. И мы говорили, что вот больше, чем 1,2 мы не

02:22:41говорили, что вот больше, чем 1,2 мы не говорили, что вот больше, чем 1,2 мы не готовы увеличить, поэтому градиент ноль. готовы увеличить, поэтому градиент ноль. готовы увеличить, поэтому градиент ноль. То есть мы там всё ещё обновили, потому То есть мы там всё ещё обновили, потому То есть мы там всё ещё обновили, потому что ещё раз мы параметры обновляем для что ещё раз мы параметры обновляем для что ещё раз мы параметры обновляем для всех политик сразу. То есть мы обновили всех политик сразу. То есть мы обновили всех политик сразу. То есть мы обновили в одном месте, и от этого поменялось всё в одном месте, и от этого поменялось всё

02:22:50в одном месте, и от этого поменялось всё остальное. И мы смотрим, ага, поменялось остальное. И мы смотрим, ага, поменялось остальное. И мы смотрим, ага, поменялось вот в этом, в этом случае поменялось вот в этом, в этом случае поменялось вот в этом, в этом случае поменялось слишком сильно уже. Больше менять не слишком сильно уже. Больше менять не слишком сильно уже. Больше менять не будем, иначе как бы мы ещё больше будем, иначе как бы мы ещё больше будем, иначе как бы мы ещё больше поменяем и ещё больше больше сдвинемся в поменяем и ещё больше больше сдвинемся в поменяем и ещё больше больше сдвинемся в политики. политики. политики. Короче, мы не делаем вероятности так

02:23:04Короче, мы не делаем вероятности так Короче, мы не делаем вероятности так хороших экшенов ещё больше чрезмерно. хороших экшенов ещё больше чрезмерно. хороших экшенов ещё больше чрезмерно. >> Да. Да. Вот именно, именно такая идея, >> Да. Да. Вот именно, именно такая идея, >> Да. Да. Вот именно, именно такая идея, что мы не не делаем их слишком большими. что мы не не делаем их слишком большими. что мы не не делаем их слишком большими. То есть мы говорим условно вот в этом То есть мы говорим условно вот в этом То есть мы говорим условно вот в этом случае на 20% больше, ну, то есть случае на 20% больше, ну, то есть случае на 20% больше, ну, то есть умножить на 1,2, да, на 20% больше, чем

02:23:19умножить на 1,2, да, на 20% больше, чем умножить на 1,2, да, на 20% больше, чем раньше была вероятность это норм, а раньше была вероятность это норм, а раньше была вероятность это норм, а больше это страшно, потому что как бы мы больше это страшно, потому что как бы мы больше это страшно, потому что как бы мы можем переобучиться, можем переобучиться, можем переобучиться, но при этом в меньшую сторону позволяем. но при этом в меньшую сторону позволяем. но при этом в меньшую сторону позволяем. Просто потому, что мы должны увидеть на Просто потому, что мы должны увидеть на Просто потому, что мы должны увидеть на следующем смпле: ага, мы слишком снизили следующем смпле: ага, мы слишком снизили

02:23:31следующем смпле: ага, мы слишком снизили вероятность и от этого получили плохую вероятность и от этого получили плохую вероятность и от этого получили плохую плохую политику. Ага. Давайте плохую политику. Ага. Давайте плохую политику. Ага. Давайте подниматься обратно. подниматься обратно. подниматься обратно. >> Вот. >> Вот. >> Вот. >> Угу. Спасибо. >> Угу. Спасибо. >> Угу. Спасибо. >> Спасибо большое. >> Спасибо большое. >> Спасибо большое. >> Да. Не можешь ли в таком случае >> Да. Не можешь ли в таком случае >> Да. Не можешь ли в таком случае оказаться, что мы никогда какие-то оказаться, что мы никогда какие-то оказаться, что мы никогда какие-то области и какие-то политики не можем

02:23:48области и какие-то политики не можем области и какие-то политики не можем открыть? открыть? открыть? >> Нет. Ну почему? Потому что, смотрите, вы >> Нет. Ну почему? Потому что, смотрите, вы >> Нет. Ну почему? Потому что, смотрите, вы же в любом случае позволяете политике же в любом случае позволяете политике же в любом случае позволяете политике поменяться. Вот оно бы было так, если бы поменяться. Вот оно бы было так, если бы поменяться. Вот оно бы было так, если бы мы, допустим, ограничили единицей. Мы мы, допустим, ограничили единицей. Мы мы, допустим, ограничили единицей. Мы просто здесь ограничиваем, чтобы мы просто здесь ограничиваем, чтобы мы

02:23:59просто здесь ограничиваем, чтобы мы слишком быстро не ушли. Ну, то есть как слишком быстро не ушли. Ну, то есть как слишком быстро не ушли. Ну, то есть как бы представьте, есть какая-то политика. бы представьте, есть какая-то политика. бы представьте, есть какая-то политика. Вот вы начали неудачи с неудачной Вот вы начали неудачи с неудачной Вот вы начали неудачи с неудачной вероятности, да, допустим, она там 01. И вероятности, да, допустим, она там 01. И вероятности, да, допустим, она там 01. И для того, чтобы прийти в хорошую для того, чтобы прийти в хорошую для того, чтобы прийти в хорошую вероятность, хороший там будет 0,1. Вам вероятность, хороший там будет 0,1. Вам

02:24:11вероятность, хороший там будет 0,1. Вам нужно в 10 раз увеличить. Ну, вы не нужно в 10 раз увеличить. Ну, вы не нужно в 10 раз увеличить. Ну, вы не сможете увеличить за один раз, но вы же сможете увеличить за один раз, но вы же сможете увеличить за один раз, но вы же делаете много, соответственно, итераций делаете много, соответственно, итераций делаете много, соответственно, итераций нашего PPO, и вы когда-то до этого нашего PPO, и вы когда-то до этого нашего PPO, и вы когда-то до этого дойдёте. Просто вы не позволяете за раз дойдёте. Просто вы не позволяете за раз дойдёте. Просто вы не позволяете за раз слишком сильно увеличить. Вот. То есть слишком сильно увеличить. Вот. То есть

02:24:24слишком сильно увеличить. Вот. То есть главное, что вы всегда итеративно можете главное, что вы всегда итеративно можете главное, что вы всегда итеративно можете до этого дойти. Просто, возможно, в до этого дойти. Просто, возможно, в до этого дойти. Просто, возможно, в таком случае потребуется больше больше таком случае потребуется больше больше таком случае потребуется больше больше времени, и мы как раз обсудим, что ПО он времени, и мы как раз обсудим, что ПО он времени, и мы как раз обсудим, что ПО он очень чувствителен к разным хакам. очень чувствителен к разным хакам. очень чувствителен к разным хакам. >> Ну у нас же, когда Т-Та больше одного и >> Ну у нас же, когда Т-Та больше одного и

02:24:38>> Ну у нас же, когда Т-Та больше одного и двух, мы же вообще не обновляем. двух, мы же вообще не обновляем. двух, мы же вообще не обновляем. Градиент же ноль. Нет, Градиент же ноль. Нет, Градиент же ноль. Нет, >> смотрите, вот тот важный момент, который >> смотрите, вот тот важный момент, который >> смотрите, вот тот важный момент, который только что говорил, да, что только что говорил, да, что только что говорил, да, что мы мы же не смотрим на обновление мы мы же не смотрим на обновление мы мы же не смотрим на обновление параметров по отдельности для каждого параметров по отдельности для каждого параметров по отдельности для каждого артеты. То есть это пример здесь, да,

02:24:55артеты. То есть это пример здесь, да, артеты. То есть это пример здесь, да, для того, чтобы это было понятнее на для того, чтобы это было понятнее на для того, чтобы это было понятнее на каком-то одном артетте. Но при этом мы, каком-то одном артетте. Но при этом мы, каком-то одном артетте. Но при этом мы, когда сменили, поменяли тетту, поменяли когда сменили, поменяли тетту, поменяли когда сменили, поменяли тетту, поменяли политику, поменялось всё вместе сразу. политику, поменялось всё вместе сразу. политику, поменялось всё вместе сразу. То есть вы как бы сначала у вас P old, То есть вы как бы сначала у вас P old, То есть вы как бы сначала у вас P old, соответственно, всё это равно единице,

02:25:07соответственно, всё это равно единице, соответственно, всё это равно единице, вы начинаете это сдвигать. Вы сдвинули вы начинаете это сдвигать. Вы сдвинули вы начинаете это сдвигать. Вы сдвинули для одной стоит экшн пары, да, у вас для одной стоит экшн пары, да, у вас для одной стоит экшн пары, да, у вас стала вероятность больше, но от этого стала вероятность больше, но от этого стала вероятность больше, но от этого сдвинулись другие вероятности. То есть сдвинулись другие вероятности. То есть сдвинулись другие вероятности. То есть вы как бы в любом случае их как-то вы как бы в любом случае их как-то вы как бы в любом случае их как-то обновили за счёт обновления. Вот

02:25:19обновили за счёт обновления. Вот обновили за счёт обновления. Вот представьте, это чисто интуитивно. представьте, это чисто интуитивно. представьте, это чисто интуитивно. Понятно, что это происходит неровно так, Понятно, что это происходит неровно так, Понятно, что это происходит неровно так, но мне кажется так интуитивнее понятно но мне кажется так интуитивнее понятно но мне кажется так интуитивнее понятно понятно будет. Представьте, что вы понятно будет. Представьте, что вы понятно будет. Представьте, что вы обновили только для одного state action обновили только для одного state action обновили только для одного state action пары, обновили параметры, но остальные

02:25:30пары, обновили параметры, но остальные пары, обновили параметры, но остальные тоже, естественно, от этого сдвинулись. тоже, естественно, от этого сдвинулись. тоже, естественно, от этого сдвинулись. И вот вы говорите: "Хорошо, после И вот вы говорите: "Хорошо, после И вот вы говорите: "Хорошо, после первого я типа сдвинулся во в во второй первого я типа сдвинулся во в во второй первого я типа сдвинулся во в во второй stт action". Смотрю, ага, за счёт stт action". Смотрю, ага, за счёт stт action". Смотрю, ага, за счёт первого обновления у меня уже слишком первого обновления у меня уже слишком первого обновления у меня уже слишком вероятность далеко сдвинулась, больше

02:25:43вероятность далеко сдвинулась, больше вероятность далеко сдвинулась, больше сдвигать не буду. То есть вот как бы сдвигать не буду. То есть вот как бы сдвигать не буду. То есть вот как бы из-за первого обновления у вас всё равно из-за первого обновления у вас всё равно из-за первого обновления у вас всё равно будет какой-то сдвиг.

02:25:59То есть мы именно То есть мы именно не будем обновлять, но за счёт не будем обновлять, но за счёт не будем обновлять, но за счёт обновления других стейт экшенов у нас обновления других стейт экшенов у нас обновления других стейт экшенов у нас всё равно повысится вероятность этого всё равно повысится вероятность этого всё равно повысится вероятность этого хорошего действия, потому что мы просто хорошего действия, потому что мы просто хорошего действия, потому что мы просто других вероятностей уменьшим, других вероятностей уменьшим, других вероятностей уменьшим, >> да? То есть вот эта классная интуиция >> да? То есть вот эта классная интуиция

02:26:13>> да? То есть вот эта классная интуиция как раз-таки именно, что она уже как раз-таки именно, что она уже как раз-таки именно, что она уже увеличилась за счёт других других стейт увеличилась за счёт других других стейт увеличилась за счёт других других стейт экшенов, потому что если бы она не экшенов, потому что если бы она не экшенов, потому что если бы она не увеличилась, то мы бы 1,2 не клипнули, у увеличилась, то мы бы 1,2 не клипнули, у увеличилась, то мы бы 1,2 не клипнули, у нас был бы градиент. То есть как бы если нас был бы градиент. То есть как бы если нас был бы градиент. То есть как бы если у нас артта больше, чем 1 + чем 1, и 2, у нас артта больше, чем 1 + чем 1, и 2,

02:26:28у нас артта больше, чем 1 + чем 1, и 2, то тогда мы только не обновляем. Но она то тогда мы только не обновляем. Но она то тогда мы только не обновляем. Но она же не может, э, изначально такой быть, же не может, э, изначально такой быть, же не может, э, изначально такой быть, да? Она из-за чего-то сдвинулась и, да? Она из-за чего-то сдвинулась и, да? Она из-за чего-то сдвинулась и, соответственно, как бы из-за того, что соответственно, как бы из-за того, что соответственно, как бы из-за того, что она сдвинулась, потому что изначально она сдвинулась, потому что изначально она сдвинулась, потому что изначально всё, все эти вероятности равны единице. всё, все эти вероятности равны единице.

02:26:39всё, все эти вероятности равны единице. Но это же распределение какое-то на Но это же распределение какое-то на Но это же распределение какое-то на симплексе, да? То есть где-то симплексе, да? То есть где-то симплексе, да? То есть где-то увеличилось, где-то уменьшилось, ну или увеличилось, где-то уменьшилось, ну или увеличилось, где-то уменьшилось, ну или где-то там в одном месте уменьшили, в где-то там в одном месте уменьшили, в где-то там в одном месте уменьшили, в другом увеличили. За счёт того, что уже другом увеличили. За счёт того, что уже другом увеличили. За счёт того, что уже увеличили, у нас артта, то есть вот увеличили, у нас артта, то есть вот

02:26:50увеличили, у нас артта, то есть вот апдейт, он стал каким-то другим. Поете апдейт, он стал каким-то другим. Поете апдейт, он стал каким-то другим. Поете вот тут, вот тут вот может будет видно, вот тут, вот тут вот может будет видно, вот тут, вот тут вот может будет видно, да? То есть мы изначально-то вот эта да? То есть мы изначально-то вот эта да? То есть мы изначально-то вот эта штука равна единице, а после того, как штука равна единице, а после того, как штука равна единице, а после того, как мы, допустим, для первой state action мы, допустим, для первой state action мы, допустим, для первой state action пары обновили, тогда у нас это пары обновили, тогда у нас это

02:27:04пары обновили, тогда у нас это увеличилось. Но я это, естественно, я увеличилось. Но я это, естественно, я увеличилось. Но я это, естественно, я интуитивно объясняю просто как бы по интуитивно объясняю просто как бы по интуитивно объясняю просто как бы по порядку, потому что в реальности, порядку, потому что в реальности, порядку, потому что в реальности, конечно, вы градиенты просто, ну, конечно, вы градиенты просто, ну, конечно, вы градиенты просто, ну, естественно, они будут по сумме естественно, они будут по сумме естественно, они будут по сумме считаться, не для каждого отдельного. считаться, не для каждого отдельного.

02:27:16считаться, не для каждого отдельного. >> То есть, по сути, для каждой пары стейт >> То есть, по сути, для каждой пары стейт >> То есть, по сути, для каждой пары стейт экшена мы либо немного увеличиваем экшена мы либо немного увеличиваем экшена мы либо немного увеличиваем увеличиваем вероятность, либо уменьшаем увеличиваем вероятность, либо уменьшаем увеличиваем вероятность, либо уменьшаем насколько хотим. насколько хотим. насколько хотим. >> А, да, смотрите, э для случая, если >> А, да, смотрите, э для случая, если >> А, да, смотрите, э для случая, если advantage положительный. для если она advantage положительный. для если она

02:27:32advantage положительный. для если она отрицательный, мы делаем как бы всё в отрицательный, мы делаем как бы всё в отрицательный, мы делаем как бы всё в обратную сторону, что мы уменьшаем обратную сторону, что мы уменьшаем обратную сторону, что мы уменьшаем >> ээ ограничено, а увеличиваем сколько >> ээ ограничено, а увеличиваем сколько >> ээ ограничено, а увеличиваем сколько хотим.

02:27:44>> Угу. >> Угу. >> Спасибо большое за вопрос. Да, ещё есть >> Спасибо большое за вопрос. Да, ещё есть >> Спасибо большое за вопрос. Да, ещё есть тут вопросы. тут вопросы. тут вопросы. >> А скажите, а значит ли это, что если мы, >> А скажите, а значит ли это, что если мы, >> А скажите, а значит ли это, что если мы, допустим, клипуем ну сильно много допустим, клипуем ну сильно много допустим, клипуем ну сильно много градиентов, то это повод обновить как бы градиентов, то это повод обновить как бы градиентов, то это повод обновить как бы нашу политику старую, нашу политику старую, нашу политику старую, ну, сделать копию. ну, сделать копию. ну, сделать копию. Смотрите, мы Смотрите, мы

02:28:03Смотрите, мы скорее будем в немножко другом формате скорее будем в немножко другом формате скорее будем в немножко другом формате рассуждать, но это примерно в ту же рассуждать, но это примерно в ту же рассуждать, но это примерно в ту же сторону. Мы за счёт того, что мы не сторону. Мы за счёт того, что мы не сторону. Мы за счёт того, что мы не делаем здесь никакой конкретной делаем здесь никакой конкретной делаем здесь никакой конкретной энтропийной поправки, в отличие от того, энтропийной поправки, в отличие от того, энтропийной поправки, в отличие от того, что мы делали в прошлый раз, мы будем за что мы делали в прошлый раз, мы будем за

02:28:14что мы делали в прошлый раз, мы будем за энтропией следить. То есть смотри, энтропией следить. То есть смотри, энтропией следить. То есть смотри, следить, чтобы она слишком быстро не следить, чтобы она слишком быстро не следить, чтобы она слишком быстро не стала детерминированной стратегия, да? стала детерминированной стратегия, да? стала детерминированной стратегия, да? Количество апдейтов не совсем про Количество апдейтов не совсем про Количество апдейтов не совсем про энтропию, но вы, как вы понимаете, это энтропию, но вы, как вы понимаете, это энтропию, но вы, как вы понимаете, это именно идейно близкая история в том именно идейно близкая история в том

02:28:26именно идейно близкая история в том плане, то что если у нас много не плане, то что если у нас много не плане, то что если у нас много не обновляется политика, да, то значит она обновляется политика, да, то значит она обновляется политика, да, то значит она куда-то скатилась какой-то вот, ну, куда-то скатилась какой-то вот, ну, куда-то скатилась какой-то вот, ну, политика она может быть стастическая, политика она может быть стастическая, политика она может быть стастическая, да, но она какой-то скатилась и больше да, но она какой-то скатилась и больше да, но она какой-то скатилась и больше типа ничего не происходит, если типа ничего не происходит, если

02:28:39типа ничего не происходит, если градиенты не обновляются. Поэтому если градиенты не обновляются. Поэтому если градиенты не обновляются. Поэтому если много из них ноль, ну, как бы смотрите, много из них ноль, ну, как бы смотрите, много из них ноль, ну, как бы смотрите, оно не может быть само по себе много оно не может быть само по себе много оно не может быть само по себе много ноль, да? Потому что вы же начали, когда ноль, да? Потому что вы же начали, когда ноль, да? Потому что вы же начали, когда вот питет вот это вверху в том, что я вот питет вот это вверху в том, что я вот питет вот это вверху в том, что я зелёным обвёл, вы когда только начали, зелёным обвёл, вы когда только начали,

02:28:53зелёным обвёл, вы когда только начали, вот только собрали данные, всё равно вот только собрали данные, всё равно вот только собрали данные, всё равно единицы. И вы как бы ещё раз, это тоже единицы. И вы как бы ещё раз, это тоже единицы. И вы как бы ещё раз, это тоже только интуитивно говорю по порядку, как только интуитивно говорю по порядку, как только интуитивно говорю по порядку, как будто вы обновляете, естественно, вы будто вы обновляете, естественно, вы будто вы обновляете, естественно, вы обновляете всю фразу для суммы, но вот обновляете всю фразу для суммы, но вот обновляете всю фразу для суммы, но вот идейно, если бы вы обновляли по порядку, идейно, если бы вы обновляли по порядку,

02:29:06идейно, если бы вы обновляли по порядку, то у вас первое сдвинулось э от то у вас первое сдвинулось э от то у вас первое сдвинулось э от изначального на какое-то число и дальше изначального на какое-то число и дальше изначального на какое-то число и дальше все остальные, допустим, ээ у всех все остальные, допустим, ээ у всех все остальные, допустим, ээ у всех градиенты ноль, но при этом у первого градиенты ноль, но при этом у первого градиенты ноль, но при этом у первого он, естественно, не ноль, потому что вы он, естественно, не ноль, потому что вы он, естественно, не ноль, потому что вы его сдвинули. Вот. То есть у какого-то его сдвинули. Вот. То есть у какого-то

02:29:21его сдвинули. Вот. То есть у какого-то будет не ноль, потому что если у всех не будет не ноль, потому что если у всех не будет не ноль, потому что если у всех не ноль, то все понемножку будут двигаться, ноль, то все понемножку будут двигаться, ноль, то все понемножку будут двигаться, и тогда клипинг не будет применён.

02:29:31>> Угу. Я понял. Спасибо. >> Угу. Я понял. Спасибо. >> Угу. Спасибо большое за вопросы. Так, ну >> Угу. Спасибо большое за вопросы. Так, ну >> Угу. Спасибо большое за вопросы. Так, ну что, давайте немножко двинемся дальше, что, давайте немножко двинемся дальше, что, давайте немножко двинемся дальше, но мы уже на финишной прямой, на самом но мы уже на финишной прямой, на самом но мы уже на финишной прямой, на самом деле, про алгоритм. Соответственно, деле, про алгоритм. Соответственно, деле, про алгоритм. Соответственно, это, ну, ещё раз тоже, что мы смотрели, это, ну, ещё раз тоже, что мы смотрели, это, ну, ещё раз тоже, что мы смотрели, мы по сути что смогли таким образом

02:29:45мы по сути что смогли таким образом мы по сути что смогли таким образом добиться. добиться. добиться. Мы как бы убрали КLди дивергенцию из Мы как бы убрали КLди дивергенцию из Мы как бы убрали КLди дивергенцию из жёсткого ограничения и сделали софт жёсткого ограничения и сделали софт жёсткого ограничения и сделали софт ограничение. То есть мы просто добавили ограничение. То есть мы просто добавили ограничение. То есть мы просто добавили это как какое-то какой-то какой-то штраф это как какое-то какой-то какой-то штраф это как какое-то какой-то какой-то штраф в наш лос, да? Это вот как бы всё всё, в наш лос, да? Это вот как бы всё всё,

02:30:00в наш лос, да? Это вот как бы всё всё, что мы по сути сделали. Но за счёт того, что мы по сути сделали. Но за счёт того, что мы по сути сделали. Но за счёт того, что мы его добавили, нам нужно сделать что мы его добавили, нам нужно сделать что мы его добавили, нам нужно сделать этот вот клипинг для того, чтобы вся эта этот вот клипинг для того, чтобы вся эта этот вот клипинг для того, чтобы вся эта история работала, чтобы мы всё ещё, если история работала, чтобы мы всё ещё, если история работала, чтобы мы всё ещё, если хотим сдвинуться далеко, нам наша хотим сдвинуться далеко, нам наша хотим сдвинуться далеко, нам наша система не позволяла это сделать. Вот. И

02:30:14система не позволяла это сделать. Вот. И система не позволяла это сделать. Вот. И за счёт этого как раз получилось, что мы за счёт этого как раз получилось, что мы за счёт этого как раз получилось, что мы заменили нашу констint оптимизацию, заменили нашу констint оптимизацию, заменили нашу констint оптимизацию, которая сложная. Вот вы на семинаре которая сложная. Вот вы на семинаре которая сложная. Вот вы на семинаре увидите, как бы как она там реализована, увидите, как бы как она там реализована, увидите, как бы как она там реализована, да, ночку потом посмотрите. Вот мы да, ночку потом посмотрите. Вот мы да, ночку потом посмотрите. Вот мы заменили на что-то более простое,

02:30:25заменили на что-то более простое, заменили на что-то более простое, которое можно обучать уже знакомыми нам которое можно обучать уже знакомыми нам которое можно обучать уже знакомыми нам методами. И потому что, заметьте, в методами. И потому что, заметьте, в методами. И потому что, заметьте, в случае, когда градиент не ноль, по сути, случае, когда градиент не ноль, по сути, случае, когда градиент не ноль, по сути, просто вы берёте градиент от политики, а просто вы берёте градиент от политики, а просто вы берёте градиент от политики, а всё остальное выносите как всё остальное выносите как всё остальное выносите как как константу, что довольно просто и как константу, что довольно просто и

02:30:37как константу, что довольно просто и довольно легковесно ээ ээ обновлять. Ну, довольно легковесно ээ ээ обновлять. Ну, довольно легковесно ээ ээ обновлять. Ну, ещё раз, когда мы говорим тут несколько ещё раз, когда мы говорим тут несколько ещё раз, когда мы говорим тут несколько эпох, это именно, что мы несколько раз эпох, это именно, что мы несколько раз эпох, это именно, что мы несколько раз бочи бочи бочи сэмплим и очень легко на них обновляем. сэмплим и очень легко на них обновляем. сэмплим и очень легко на них обновляем. За счёт того, что мы их ресмплим, тоже За счёт того, что мы их ресмплим, тоже За счёт того, что мы их ресмплим, тоже нам эта история помогает более хорошо

02:30:51нам эта история помогает более хорошо нам эта история помогает более хорошо обучаться, да, потому что мы, ну, как бы обучаться, да, потому что мы, ну, как бы обучаться, да, потому что мы, ну, как бы делаем такой небольшой бутстрапинг делаем такой небольшой бутстрапинг делаем такой небольшой бутстрапинг каждый раз. каждый раз. каждый раз. Давайте сравним, что же мы получили. То Давайте сравним, что же мы получили. То Давайте сравним, что же мы получили. То есть, ещё раз, мы рассмотрели сегодня есть, ещё раз, мы рассмотрели сегодня есть, ещё раз, мы рассмотрели сегодня два алгоритма, которые пытаются более два алгоритма, которые пытаются более

02:31:04два алгоритма, которые пытаются более эффективно использовать смплы, которые эффективно использовать смплы, которые эффективно использовать смплы, которые мы собираем, и за счёт этого реально мы собираем, и за счёт этого реально мы собираем, и за счёт этого реально побивают часто A2C reinforce. Ну, как бы побивают часто A2C reinforce. Ну, как бы побивают часто A2C reinforce. Ну, как бы я был бы удивлён, если в каком-томенте, я был бы удивлён, если в каком-томенте, я был бы удивлён, если в каком-томенте, где Трпочилось завести, он бы не побил где Трпочилось завести, он бы не побил где Трпочилось завести, он бы не побил эти две вещи. Ну и ППО тем более. То эти две вещи. Ну и ППО тем более. То

02:31:21эти две вещи. Ну и ППО тем более. То есть PP - это такая супермощная штука. есть PP - это такая супермощная штука. есть PP - это такая супермощная штука. Соответственно, давайте их сравним. ТРПО Соответственно, давайте их сравним. ТРПО Соответственно, давайте их сравним. ТРПО за счёт вот этой вот реально за счёт вот этой вот реально за счёт вот этой вот реально теоретически обоснованной ограниченной теоретически обоснованной ограниченной теоретически обоснованной ограниченной оптимизации и что мы реально жёстко не оптимизации и что мы реально жёстко не оптимизации и что мы реально жёстко не не шагаем далеко, он очень стабилен. То не шагаем далеко, он очень стабилен. То

02:31:35не шагаем далеко, он очень стабилен. То есть вот вы увидите прямо на семинаре, есть вот вы увидите прямо на семинаре, есть вот вы увидите прямо на семинаре, что у вас впервые за всё время, сколько что у вас впервые за всё время, сколько что у вас впервые за всё время, сколько мы сейчас работаем с вами с Арелем, мы сейчас работаем с вами с Арелем, мы сейчас работаем с вами с Арелем, кроме, ну, соответственно, табличных кроме, ну, соответственно, табличных кроме, ну, соответственно, табличных методов, где мы всё знали, первой методов, где мы всё знали, первой методов, где мы всё знали, первой лекции, начиная со второй лекции, у вас лекции, начиная со второй лекции, у вас

02:31:47лекции, начиная со второй лекции, у вас всегда было, что лос сильно скакал. Вот всегда было, что лос сильно скакал. Вот всегда было, что лос сильно скакал. Вот в ЦРПО вы увидите, что он прям прямо вот в ЦРПО вы увидите, что он прям прямо вот в ЦРПО вы увидите, что он прям прямо вот растёт ближе к тому, что мы привыкли растёт ближе к тому, что мы привыкли растёт ближе к тому, что мы привыкли кдиплернинге. И это как бы круто, он кдиплернинге. И это как бы круто, он кдиплернинге. И это как бы круто, он стабилен. И за ним есть теория, да, что, стабилен. И за ним есть теория, да, что, стабилен. И за ним есть теория, да, что, как я уже говорил, через Natural Policy

02:32:00как я уже говорил, через Natural Policy как я уже говорил, через Natural Policy Gradient, где у нас используется как бы Gradient, где у нас используется как бы Gradient, где у нас используется как бы квадратура через квадратура через квадратура через матрицу информации Фишера, мы получаем матрицу информации Фишера, мы получаем матрицу информации Фишера, мы получаем теоретические ограничения, которые теоретические ограничения, которые теоретические ограничения, которые реально близки к тому, что мы видели в реально близки к тому, что мы видели в реально близки к тому, что мы видели в РПО. Вот по, ну, на самом деле и начал РПО. Вот по, ну, на самом деле и начал

02:32:16РПО. Вот по, ну, на самом деле и начал посередин очень близки. Начало посередин очень близки. Начало посередин очень близки. Начало посереднен - это больше про теорию РПО - посереднен - это больше про теорию РПО - посереднен - это больше про теорию РПО - это какой-то конкретный алгоритм. Вот. это какой-то конкретный алгоритм. Вот. это какой-то конкретный алгоритм. Вот. Ну, идея такая. Но, соответственно, у Ну, идея такая. Но, соответственно, у Ну, идея такая. Но, соответственно, у него есть и проблемы. Проблема номер него есть и проблемы. Проблема номер него есть и проблемы. Проблема номер один - это то, что он работает только один - это то, что он работает только

02:32:29один - это то, что он работает только для маленьких моделей. Э, как вы для маленьких моделей. Э, как вы для маленьких моделей. Э, как вы понимаете, когда у нас количество понимаете, когда у нас количество понимаете, когда у нас количество параметров огромное, то даже тот фактор, параметров огромное, то даже тот фактор, параметров огромное, то даже тот фактор, что мы делаем что мы делаем что мы делаем обращение за квадрат на каждой обращение за квадрат на каждой обращение за квадрат на каждой итерации, итерации, итерации, это уже очень много, да, потому что это уже очень много, да, потому что это уже очень много, да, потому что когда у нас куча параметров, то есть для

02:32:47когда у нас куча параметров, то есть для когда у нас куча параметров, то есть для lm это в целом, ну, как бы не пытайтесь, lm это в целом, ну, как бы не пытайтесь, lm это в целом, ну, как бы не пытайтесь, как говорится, да, вот только какие-то как говорится, да, вот только какие-то как говорится, да, вот только какие-то жёсткие оптимизации, всякие жёсткие оптимизации, всякие жёсткие оптимизации, всякие аппроксимации к вот этой вот матрицы, аппроксимации к вот этой вот матрицы, аппроксимации к вот этой вот матрицы, да, Гисяна. да, Гисяна. да, Гисяна. дивергенции и что-то подобное. Но здесь дивергенции и что-то подобное. Но здесь

02:33:04дивергенции и что-то подобное. Но здесь ППО вместо ТРПО. И у нас, ППО вместо ТРПО. И у нас, ППО вместо ТРПО. И у нас, соответственно, есть проблема то, что, соответственно, есть проблема то, что, соответственно, есть проблема то, что, ну, не так просто это всё законить, ну, не так просто это всё законить, ну, не так просто это всё законить, потому что есть сопряжённые градиенты, потому что есть сопряжённые градиенты, потому что есть сопряжённые градиенты, есть поиск по линии, есть вот куча этих есть поиск по линии, есть вот куча этих есть поиск по линии, есть вот куча этих вещей, которые нужно трекать и правильно вещей, которые нужно трекать и правильно

02:33:17вещей, которые нужно трекать и правильно считать. Но мы с вами на семинаре, ну, считать. Но мы с вами на семинаре, ну, считать. Но мы с вами на семинаре, ну, заходим это громко сказано, потому что заходим это громко сказано, потому что заходим это громко сказано, потому что за нас многое уже сделано, но на это всё за нас многое уже сделано, но на это всё за нас многое уже сделано, но на это всё посмотрим. Что можно сказать про ПО? про посмотрим. Что можно сказать про ПО? про посмотрим. Что можно сказать про ПО? про PPO его, ну, по сравнению с РПО сильно PPO его, ну, по сравнению с РПО сильно PPO его, ну, по сравнению с РПО сильно проще имплементировать, как вы проще имплементировать, как вы

02:33:31проще имплементировать, как вы понимаете, да, апдейты довольно простые. понимаете, да, апдейты довольно простые. понимаете, да, апдейты довольно простые. После того, как вы написали этот После того, как вы написали этот После того, как вы написали этот клиппинг, дальше всё вам знакомое по клиппинг, дальше всё вам знакомое по клиппинг, дальше всё вам знакомое по сути как бы в в том, что вы уже делали сути как бы в в том, что вы уже делали сути как бы в в том, что вы уже делали для именно с точки зрения алгоритма, для именно с точки зрения алгоритма, для именно с точки зрения алгоритма, очень похоже на имплементацию какого-то очень похоже на имплементацию какого-то

02:33:45очень похоже на имплементацию какого-то диплодилингого алгоритма в плане, диплодилингого алгоритма в плане, диплодилингого алгоритма в плане, сколько вам нужно затратить времени для сколько вам нужно затратить времени для сколько вам нужно затратить времени для того, чтобы это сделать с помощью парча. того, чтобы это сделать с помощью парча. того, чтобы это сделать с помощью парча. работает для больших моделей, дляm, как работает для больших моделей, дляm, как работает для больших моделей, дляm, как я уже сказал, довольно часто он раньше я уже сказал, довольно часто он раньше я уже сказал, довольно часто он раньше был использован, наверное, до сих пор был использован, наверное, до сих пор

02:33:56был использован, наверное, до сих пор тоже пользуется. Сергей больше про это тоже пользуется. Сергей больше про это тоже пользуется. Сергей больше про это расскажет на десятой лекции, но вот ПО - расскажет на десятой лекции, но вот ПО - расскажет на десятой лекции, но вот ПО - это реально такая крутая сото штука. И, это реально такая крутая сото штука. И, это реально такая крутая сото штука. И, как правило, на практике работает лучше, как правило, на практике работает лучше, как правило, на практике работает лучше, чем ТПО. Лучше в том плане то, что за чем ТПО. Лучше в том плане то, что за чем ТПО. Лучше в том плане то, что за счёт того, что относительно легковесная

02:34:09счёт того, что относительно легковесная счёт того, что относительно легковесная оптимизация, мы довольно быстро можем оптимизация, мы довольно быстро можем оптимизация, мы довольно быстро можем сойтись. Но есть с PP одна важная штука. сойтись. Но есть с PP одна важная штука. сойтись. Но есть с PP одна важная штука. И если вы посмотрите оригинальную И если вы посмотрите оригинальную И если вы посмотрите оригинальную статью, то авторы много где не описывают статью, то авторы много где не описывают статью, то авторы много где не описывают то, что там много придумано хаков то, что там много придумано хаков то, что там много придумано хаков инженерных, без которых ПP не заводится.

02:34:27инженерных, без которых ПP не заводится. инженерных, без которых ПP не заводится. То есть, что это значит? То, что то, что То есть, что это значит? То, что то, что То есть, что это значит? То, что то, что мы сейчас посмотрели, вот эти вот мы сейчас посмотрели, вот эти вот мы сейчас посмотрели, вот эти вот клипинги, этого, к сожалению, клипинги, этого, к сожалению, клипинги, этого, к сожалению, недостаточно для того, чтобы PPO недостаточно для того, чтобы PPO недостаточно для того, чтобы PPO работал. Но если вы примените другие работал. Но если вы примените другие работал. Но если вы примените другие хаки, которые мы сейчас вкратце обсудим, хаки, которые мы сейчас вкратце обсудим,

02:34:38хаки, которые мы сейчас вкратце обсудим, то это начнёт работать. И вот как бы в то это начнёт работать. И вот как бы в то это начнёт работать. И вот как бы в статье, в оригинальной этого не было, но статье, в оригинальной этого не было, но статье, в оригинальной этого не было, но как только начали все смотреть как только начали все смотреть как только начали все смотреть имплементации в каких-то открытых имплементации в каких-то открытых имплементации в каких-то открытых источниках и имплементации, кто пытался источниках и имплементации, кто пытался источниках и имплементации, кто пытался это всё повторить, увидели, что, ну, и это всё повторить, увидели, что, ну, и

02:34:49это всё повторить, увидели, что, ну, и имплементацию от Open AI, увидели, что имплементацию от Open AI, увидели, что имплементацию от Open AI, увидели, что там реально много оптимизаций, э, там реально много оптимизаций, э, там реально много оптимизаций, э, каких-то вот именно на на уровне кода каких-то вот именно на на уровне кода каких-то вот именно на на уровне кода оптимизации в плане, что каких-то вещей, оптимизации в плане, что каких-то вещей, оптимизации в плане, что каких-то вещей, которые в оригинальной статье не указаны которые в оригинальной статье не указаны которые в оригинальной статье не указаны и без каких-то особо теоретических и без каких-то особо теоретических

02:35:02и без каких-то особо теоретических гарантий, а просто, ну, типа, работает и гарантий, а просто, ну, типа, работает и гарантий, а просто, ну, типа, работает и работает. Но при этом работает не только работает. Но при этом работает не только работает. Но при этом работает не только для узкого перечня задач. То есть после для узкого перечня задач. То есть после для узкого перечня задач. То есть после этого начали скелить на другие задачи. И этого начали скелить на другие задачи. И этого начали скелить на другие задачи. И с этими факами носо работает. Это вот с этими факами носо работает. Это вот с этими факами носо работает. Это вот про то, что не про то, что авторы

02:35:12про то, что не про то, что авторы про то, что не про то, что авторы переобучились на какой-то там датасет из переобучились на какой-то там датасет из переобучились на какой-то там датасет из сабми или paper, а реально метод сабми или paper, а реально метод сабми или paper, а реально метод работает. Просто как бы надо много всего работает. Просто как бы надо много всего работает. Просто как бы надо много всего сделать, чтобы он заработал прямо сделать, чтобы он заработал прямо сделать, чтобы он заработал прямо хорошо. Вот один из хаков, который мы с хорошо. Вот один из хаков, который мы с хорошо. Вот один из хаков, который мы с вами посмотрим - это клиппинг критика.

02:35:27вами посмотрим - это клиппинг критика. вами посмотрим - это клиппинг критика. То есть, смотрите, мы, когда будем То есть, смотрите, мы, когда будем То есть, смотрите, мы, когда будем считать advantage, в этом случае, мы на считать advantage, в этом случае, мы на считать advantage, в этом случае, мы на семинаре посмотрим, а почему я в начале семинаре посмотрим, а почему я в начале семинаре посмотрим, а почему я в начале сказал про то, что критик нам не совсем сказал про то, что критик нам не совсем сказал про то, что критик нам не совсем нужен, на семинаре мы посмотрим, что для нужен, на семинаре мы посмотрим, что для

02:35:36нужен, на семинаре мы посмотрим, что для достаточно простых энваронментов можно и достаточно простых энваронментов можно и достаточно простых энваронментов можно и без критика, можно advantage заменить без критика, можно advantage заменить без критика, можно advantage заменить просто на э как бы advantage в просто на э как бы advantage в просто на э как бы advantage в бесконечности или в степени n, то есть бесконечности или в степени n, то есть бесконечности или в степени n, то есть проигрывам до конца эпизоде, то есть проигрывам до конца эпизоде, то есть проигрывам до конца эпизоде, то есть реальных ревордах и будет обучаться, реальных ревордах и будет обучаться,

02:35:50реальных ревордах и будет обучаться, будет работать. Поэтому я говорю, что будет работать. Поэтому я говорю, что будет работать. Поэтому я говорю, что как бы критик, ну, строго говоря, не как бы критик, ну, строго говоря, не как бы критик, ну, строго говоря, не сказать, чтобы супер нужен, но без него, сказать, чтобы супер нужен, но без него, сказать, чтобы супер нужен, но без него, конечно, работает не так хорошо и на конечно, работает не так хорошо и на конечно, работает не так хорошо и на сложных инвайронментах уже работать не сложных инвайронментах уже работать не сложных инвайронментах уже работать не будет. Поэтому мы вводим критика. Ну, будет. Поэтому мы вводим критика. Ну,

02:36:01будет. Поэтому мы вводим критика. Ну, естественно, он в вводится в нашем естественно, он в вводится в нашем естественно, он в вводится в нашем случае с отдельным лоссом. То есть вот случае с отдельным лоссом. То есть вот случае с отдельным лоссом. То есть вот смотрите, когда мы здесь считаем смотрите, когда мы здесь считаем смотрите, когда мы здесь считаем advantage в этом лоссе, вот эта всё ещё advantage в этом лоссе, вот эта всё ещё advantage в этом лоссе, вот эта всё ещё история зафикшенная, то есть как бы история зафикшенная, то есть как бы история зафикшенная, то есть как бы критик там он по pol по pol поcy критик там он по pol по pol поcy

02:36:15критик там он по pol по pol поcy считается, но при этом он как бы не от считается, но при этом он как бы не от считается, но при этом он как бы не от наших параметров именно в этом лосе не наших параметров именно в этом лосе не наших параметров именно в этом лосе не меняется. Но при этом он меняется в меняется. Но при этом он меняется в меняется. Но при этом он меняется в своём отдельном лосе, как обычно. И он своём отдельном лосе, как обычно. И он своём отдельном лосе, как обычно. И он не просто меняется, а он меняется, ну, не просто меняется, а он меняется, ну, не просто меняется, а он меняется, ну, тут уже от новых параметров, тут уже от новых параметров,

02:36:29тут уже от новых параметров, естественно. И он тоже клипнут. естественно. И он тоже клипнут. естественно. И он тоже клипнут. Есть за этим клиппингом, ну, идейная Есть за этим клиппингом, ну, идейная Есть за этим клиппингом, ну, идейная история в том плане, то, что мы тоже не история в том плане, то, что мы тоже не история в том плане, то, что мы тоже не хотим слишком сильно сдвигать нашу хотим слишком сильно сдвигать нашу хотим слишком сильно сдвигать нашу оценку критика, потому что он может быть оценку критика, потому что он может быть оценку критика, потому что он может быть какой-то какой-то очень нерелевантный, какой-то какой-то очень нерелевантный,

02:36:44какой-то какой-то очень нерелевантный, да? Э-э, как бы мы можем найти этого да? Э-э, как бы мы можем найти этого да? Э-э, как бы мы можем найти этого критика, который мы хотим, чтобы мы критика, который мы хотим, чтобы мы критика, который мы хотим, чтобы мы безопасно как бы данные безопасно как бы данные безопасно как бы данные переиспользовали. И поэтому э мы этого переиспользовали. И поэтому э мы этого переиспользовали. И поэтому э мы этого критика тоже хотим ограничить в каком-то критика тоже хотим ограничить в каком-то критика тоже хотим ограничить в каком-то регионе, в котором мы ему доверяем. Да, регионе, в котором мы ему доверяем. Да,

02:36:59регионе, в котором мы ему доверяем. Да, но история в том, что как бы за этим нет но история в том, что как бы за этим нет но история в том, что как бы за этим нет какой-то такой логики прям прям ээ ну, какой-то такой логики прям прям ээ ну, какой-то такой логики прям прям ээ ну, скажем так, совсем совсем ээ скажем так, совсем совсем ээ скажем так, совсем совсем ээ теоретической. Но тут есть такие как бы теоретической. Но тут есть такие как бы теоретической. Но тут есть такие как бы соображения. Во-первых, что опять-таки соображения. Во-первых, что опять-таки соображения. Во-первых, что опять-таки критик, если мы уйдём слишком далеко от критик, если мы уйдём слишком далеко от

02:37:16критик, если мы уйдём слишком далеко от регионов, которым доверяем, он не будет регионов, которым доверяем, он не будет регионов, которым доверяем, он не будет консистент, то есть он как бы не будет консистент, то есть он как бы не будет консистент, то есть он как бы не будет супер хорошей оценкой. Но это то, что мы супер хорошей оценкой. Но это то, что мы супер хорошей оценкой. Но это то, что мы уже видели. Дальше надо понимать, что уже видели. Дальше надо понимать, что уже видели. Дальше надо понимать, что для критика может быть много аутлайнов, для критика может быть много аутлайнов, для критика может быть много аутлайнов, какие-то реворды, которые на самом деле

02:37:27какие-то реворды, которые на самом деле какие-то реворды, которые на самом деле нерепритивны для всей траектории и вот нерепритивны для всей траектории и вот нерепритивны для всей траектории и вот все подобные истории и просто даже все подобные истории и просто даже все подобные истории и просто даже аутлайны с точки зрения того, как мы до аутлайны с точки зрения того, как мы до аутлайны с точки зрения того, как мы до этого оценивали критика. Поэтому этого оценивали критика. Поэтому этого оценивали критика. Поэтому клипать, ну, естественно, помогает, да. клипать, ну, естественно, помогает, да. клипать, ну, естественно, помогает, да. Мы, по сути, как бы аутлаеров просто

02:37:38Мы, по сути, как бы аутлаеров просто Мы, по сути, как бы аутлаеров просто убираем и снижаем верианс не как-то убираем и снижаем верианс не как-то убираем и снижаем верианс не как-то теоретически, а прямо просто жёстко, да, теоретически, а прямо просто жёстко, да, теоретически, а прямо просто жёстко, да, как бы инженерно его снижаем. Вот. И ещё как бы инженерно его снижаем. Вот. И ещё как бы инженерно его снижаем. Вот. И ещё важный момент, который тоже хочется важный момент, который тоже хочется важный момент, который тоже хочется подсветить, почему мы это делаем, то, подсветить, почему мы это делаем, то, подсветить, почему мы это делаем, то, что мм тут есть такая история, что мы

02:37:53что мм тут есть такая история, что мы что мм тут есть такая история, что мы хотим, чтобы когда мы считаем лос, мы же хотим, чтобы когда мы считаем лос, мы же хотим, чтобы когда мы считаем лос, мы же обновили параметры по лосу, обновили параметры по лосу, обновили параметры по лосу, соответственно, нашему пипошному и соответственно, нашему пипошному и соответственно, нашему пипошному и обновили параметры для критика. И важно обновили параметры для критика. И важно обновили параметры для критика. И важно понимать, что если у нас будет как бы понимать, что если у нас будет как бы понимать, что если у нас будет как бы какой-то там бэкбоун, как обычно это какой-то там бэкбоун, как обычно это

02:38:07какой-то там бэкбоун, как обычно это бывает, да, то мы не хотим, чтобы бывает, да, то мы не хотим, чтобы бывает, да, то мы не хотим, чтобы критика доминировал, потому что если мы критика доминировал, потому что если мы критика доминировал, потому что если мы не будем клипать, то у нас по размеру не будем клипать, то у нас по размеру не будем клипать, то у нас по размеру просто лос пипошный будет маленький, а просто лос пипошный будет маленький, а просто лос пипошный будет маленький, а критика большой. И мы как бы будем не критика большой. И мы как бы будем не критика большой. И мы как бы будем не учиться одинаково и экшены делать, и учиться одинаково и экшены делать, и

02:38:22учиться одинаково и экшены делать, и оценивать, а мы будем учиться хорошо оценивать, а мы будем учиться хорошо оценивать, а мы будем учиться хорошо оценивать, возможно, плохую политику. оценивать, возможно, плохую политику. оценивать, возможно, плохую политику. Вот это больше как бы мне это объяснение Вот это больше как бы мне это объяснение Вот это больше как бы мне это объяснение кажется более более таким понятным, кажется более более таким понятным, кажется более более таким понятным, близким к правде, но опять-таки это всё близким к правде, но опять-таки это всё близким к правде, но опять-таки это всё ивристическое объяснение. Вот. Ну и плюс ивристическое объяснение. Вот. Ну и плюс

02:38:33ивристическое объяснение. Вот. Ну и плюс надо понимать, что в ПО мы делаем много надо понимать, что в ПО мы делаем много надо понимать, что в ПО мы делаем много эпох. И тоже клиппинг эпох. И тоже клиппинг эпох. И тоже клиппинг клипинг критика помогает нам ограничить клипинг критика помогает нам ограничить клипинг критика помогает нам ограничить оверфитинг наш, да, просто потому что мы оверфитинг наш, да, просто потому что мы оверфитинг наш, да, просто потому что мы переиспользуем данные. Вот. А что мы, переиспользуем данные. Вот. А что мы, переиспользуем данные. Вот. А что мы, соответственно, про оптимизации можем соответственно, про оптимизации можем

02:38:49соответственно, про оптимизации можем сказать? И это будет заключительный, ну, сказать? И это будет заключительный, ну, сказать? И это будет заключительный, ну, предпоследний наш слайд на сегодня, предпоследний наш слайд на сегодня, предпоследний наш слайд на сегодня, который хочется обсудить. Вот это вот который хочется обсудить. Вот это вот который хочется обсудить. Вот это вот список. И он неисчерпывающий, потому что список. И он неисчерпывающий, потому что список. И он неисчерпывающий, потому что в ссылках есть статья про 37 в ссылках есть статья про 37 в ссылках есть статья про 37 оптимизации, которые, соответственно, оптимизации, которые, соответственно,

02:39:04оптимизации, которые, соответственно, есть для того, чтобы PPO заработал. Это есть для того, чтобы PPO заработал. Это есть для того, чтобы PPO заработал. Это только какое-то подмножество из из того, только какое-то подмножество из из того, только какое-то подмножество из из того, что делается. Вот. Э-э, соответственно, что делается. Вот. Э-э, соответственно, что делается. Вот. Э-э, соответственно, во-первых, reвоalingнгing нам, э-э, в во-первых, reвоalingнгing нам, э-э, в во-первых, reвоalingнгing нам, э-э, в этом случае он, э-э, мы считаем наши этом случае он, э-э, мы считаем наши этом случае он, э-э, мы считаем наши реворды, считаем усреднённую статистику

02:39:21реворды, считаем усреднённую статистику реворды, считаем усреднённую статистику ревордов из всего и делаем скейлинг по ревордов из всего и делаем скейлинг по ревордов из всего и делаем скейлинг по стандартному отклонению. То есть как бы стандартному отклонению. То есть как бы стандартному отклонению. То есть как бы идейно нам никогда это не требовалось, идейно нам никогда это не требовалось, идейно нам никогда это не требовалось, но тут для того, чтобы завелось, нам но тут для того, чтобы завелось, нам но тут для того, чтобы завелось, нам оказывается это нужно. Ну, это тоже оказывается это нужно. Ну, это тоже оказывается это нужно. Ну, это тоже близко к истории с клиппингом критика.

02:39:33близко к истории с клиппингом критика. близко к истории с клиппингом критика. Ну, понимаете, это примерно про одно и Ну, понимаете, это примерно про одно и Ну, понимаете, это примерно про одно и то же, да, потому что реворды, по сути, то же, да, потому что реворды, по сути, то же, да, потому что реворды, по сути, в критика внутрь входят. Дальше в критика внутрь входят. Дальше в критика внутрь входят. Дальше оказывается, что работает только, если оказывается, что работает только, если оказывается, что работает только, если делать ортогональную инициализацию наших делать ортогональную инициализацию наших делать ортогональную инициализацию наших слоёв. Ну, соответственно, как бы мы

02:39:45слоёв. Ну, соответственно, как бы мы слоёв. Ну, соответственно, как бы мы делаем так, чтобы в каждом слое веса, делаем так, чтобы в каждом слое веса, делаем так, чтобы в каждом слое веса, транспонированы на веса, равнялись транспонированы на веса, равнялись транспонированы на веса, равнялись единичной матрице при инициализации, а единичной матрице при инициализации, а единичной матрице при инициализации, а потом уже только начинаем обучаться. Нам потом уже только начинаем обучаться. Нам потом уже только начинаем обучаться. Нам надо снижать а, да, извините, пропустил надо снижать а, да, извините, пропустил надо снижать а, да, извините, пропустил про reвок cliлипинг, э, насколько я ну,

02:39:59про reвок cliлипинг, э, насколько я ну, про reвок cliлипинг, э, насколько я ну, как бы в в оригинальной статье от -10 до как бы в в оригинальной статье от -10 до как бы в в оригинальной статье от -10 до 10, насколько я помню. Это вот то, что у 10, насколько я помню. Это вот то, что у 10, насколько я помню. Это вот то, что у нас на семинаре как минимум будет. Вот нас на семинаре как минимум будет. Вот нас на семинаре как минимум будет. Вот как бы просто клипать реворды, не давать как бы просто клипать реворды, не давать как бы просто клипать реворды, не давать им быть слишком большими, тоже для им быть слишком большими, тоже для

02:40:08им быть слишком большими, тоже для стабилизации. Дальше, соответственно, стабилизации. Дальше, соответственно, стабилизации. Дальше, соответственно, adam learning, кроме того, что он adam learning, кроме того, что он adam learning, кроме того, что он меняется внутри самого атома, ещё меняется внутри самого атома, ещё меняется внутри самого атома, ещё предлагается дополнительно менять со предлагается дополнительно менять со предлагается дополнительно менять со временем, дальше нормализовать ещё наши временем, дальше нормализовать ещё наши временем, дальше нормализовать ещё наши инпуты нейронок, да, наши наблюдения, инпуты нейронок, да, наши наблюдения,

02:40:24инпуты нейронок, да, наши наблюдения, дальше активацию делать гиперболическим дальше активацию делать гиперболическим дальше активацию делать гиперболическим тангенсом и ещё и градиент клипать. И тангенсом и ещё и градиент клипать. И тангенсом и ещё и градиент клипать. И это ещё не всё, не вся исчерпывающая это ещё не всё, не вся исчерпывающая это ещё не всё, не вся исчерпывающая история. Поэтому, видите, как бы всё история. Поэтому, видите, как бы всё история. Поэтому, видите, как бы всё есть много оптимизации, но опять-таки есть много оптимизации, но опять-таки есть много оптимизации, но опять-таки они не из ниоткуда, они эвристические, они не из ниоткуда, они эвристические,

02:40:38они не из ниоткуда, они эвристические, но они работают не только на этом потому но они работают не только на этом потому но они работают не только на этом потому что PP работает на очень-очень многих что PP работает на очень-очень многих что PP работает на очень-очень многих задачах и работает хорошо. Поэтому, да, задачах и работает хорошо. Поэтому, да, задачах и работает хорошо. Поэтому, да, есть какие-то хаки, но при этом это не есть какие-то хаки, но при этом это не есть какие-то хаки, но при этом это не отменяет того, что алгоритм суперкрутой. отменяет того, что алгоритм суперкрутой. отменяет того, что алгоритм суперкрутой. Вот. Ну, соответственно, про хаки

02:40:52Вот. Ну, соответственно, про хаки Вот. Ну, соответственно, про хаки предпоследнее, что хочется сказать- это предпоследнее, что хочется сказать- это предпоследнее, что хочется сказать- это посмотрите, вот тут вот есть примеры посмотрите, вот тут вот есть примеры посмотрите, вот тут вот есть примеры специально замеряли, как работает PPO специально замеряли, как работает PPO специально замеряли, как работает PPO без хаков. И вот PPO без хаков - это вот без хаков. И вот PPO без хаков - это вот без хаков. И вот PPO без хаков - это вот эта вот линия эта вот линия эта вот линия зелёная. зелёная. зелёная. И она, как вы видите, она сильно ниже и И она, как вы видите, она сильно ниже и

02:41:08И она, как вы видите, она сильно ниже и хуже РПО. И только ППО, которая с хуже РПО. И только ППО, которая с хуже РПО. И только ППО, которая с хаками, которая синяя, она, хаками, которая синяя, она, хаками, которая синяя, она, соответственно, уже там где-то соответственно, уже там где-то соответственно, уже там где-то outperперformмит. outperперformмит. outperперformмит. Вот поэтому Вот поэтому Вот поэтому история в том, что это нам тоже история в том, что это нам тоже история в том, что это нам тоже суперважно и супер нужно эти хаки суперважно и супер нужно эти хаки суперважно и супер нужно эти хаки учитывать. Теперь давайте скажу учитывать. Теперь давайте скажу

02:41:25учитывать. Теперь давайте скажу заключительное, что хотелось обсудить. заключительное, что хотелось обсудить. заключительное, что хотелось обсудить. Это Это Это ещё раз посвящу разницу двух алгоритмов, ещё раз посвящу разницу двух алгоритмов, ещё раз посвящу разницу двух алгоритмов, которые мы просмотрели сегодня против которые мы просмотрели сегодня против которые мы просмотрели сегодня против того, что вы смотрели с Сергеем в того, что вы смотрели с Сергеем в того, что вы смотрели с Сергеем в прошлый раз. Э главный момент то, что мы прошлый раз. Э главный момент то, что мы прошлый раз. Э главный момент то, что мы делаем оптимизацию в э пространстве делаем оптимизацию в э пространстве

02:41:40делаем оптимизацию в э пространстве политик вместо пространства параметров. политик вместо пространства параметров. политик вместо пространства параметров. То есть мы сразу же учитываем, насколько То есть мы сразу же учитываем, насколько То есть мы сразу же учитываем, насколько наши изменения сильно сдвинет нашу наши изменения сильно сдвинет нашу наши изменения сильно сдвинет нашу политику, а не наш размер параметров, политику, а не наш размер параметров, политику, а не наш размер параметров, что нам помогает более хорошо что нам помогает более хорошо что нам помогает более хорошо контролировать, как эти политики контролировать, как эти политики

02:41:54контролировать, как эти политики меняются. Это первый момент. Дальше, меняются. Это первый момент. Дальше, меняются. Это первый момент. Дальше, соответственно, э мы заметим то, что мы соответственно, э мы заметим то, что мы соответственно, э мы заметим то, что мы как бы нам надо побольше смплов, как я как бы нам надо побольше смплов, как я как бы нам надо побольше смплов, как я уже говорил, да, для оптимизации, но уже говорил, да, для оптимизации, но уже говорил, да, для оптимизации, но зато мы сильно лучше используем зато мы сильно лучше используем зато мы сильно лучше используем информацию, и нам понадобится меньше информацию, и нам понадобится меньше

02:42:10информацию, и нам понадобится меньше степов для того, чтобы обучиться. Э, ну степов для того, чтобы обучиться. Э, ну степов для того, чтобы обучиться. Э, ну и заключительные два слова, которые и заключительные два слова, которые и заключительные два слова, которые хочется сказать про ТРПО, э, допустим, хочется сказать про ТРПО, э, допустим, хочется сказать про ТРПО, э, допустим, да, ну, про ППО тоже это верно, что, да, ну, про ППО тоже это верно, что, да, ну, про ППО тоже это верно, что, допустим, есть такой в гимназиуме допустим, есть такой в гимназиуме допустим, есть такой в гимназиуме Environment Lunar Lander, который Environment Lunar Lander, который

02:42:24Environment Lunar Lander, который достаточно сложный. И вот реально, как достаточно сложный. И вот реально, как достаточно сложный. И вот реально, как правило, на нём очень много алгоритмов правило, на нём очень много алгоритмов правило, на нём очень много алгоритмов ломаются. Прямо довольно много ломаются. Прямо довольно много ломаются. Прямо довольно много алгоритмов, которые сложно там завести, алгоритмов, которые сложно там завести, алгоритмов, которые сложно там завести, и они там не работают. А РПО работает. и они там не работают. А РПО работает. и они там не работают. А РПО работает. Ну и ППО работает, насколько я знаю про Ну и ППО работает, насколько я знаю про

02:42:39Ну и ППО работает, насколько я знаю про ППО с ходу, ну я я почти уверен, что ППО с ходу, ну я я почти уверен, что ППО с ходу, ну я я почти уверен, что должен работать, да, но не не знаю про должен работать, да, но не не знаю про должен работать, да, но не не знаю про проверку от РПО точно работает. Ну, проверку от РПО точно работает. Ну, проверку от РПО точно работает. Ну, соответственно, как бы это тоже тоже соответственно, как бы это тоже тоже соответственно, как бы это тоже тоже какая-то история, про которую надо какая-то история, про которую надо какая-то история, про которую надо задумываться, да. Смотрите, как бы есть задумываться, да. Смотрите, как бы есть

02:42:51задумываться, да. Смотрите, как бы есть какие-то сложные энвароменты, где ТРПО у какие-то сложные энвароменты, где ТРПО у какие-то сложные энвароменты, где ТРПО у нас работает там, где остальные не нас работает там, где остальные не нас работает там, где остальные не работают. И вот в этом важная часть работают. И вот в этом важная часть работают. И вот в этом важная часть value того, что мы обсудили. value того, что мы обсудили. value того, что мы обсудили. Это, соответственно, всё, что хотелось Это, соответственно, всё, что хотелось Это, соответственно, всё, что хотелось по лекции. Она у нас сегодня получилась по лекции. Она у нас сегодня получилась

02:43:04по лекции. Она у нас сегодня получилась побольше. У нас быстрый семинар, поэтому побольше. У нас быстрый семинар, поэтому побольше. У нас быстрый семинар, поэтому мы с ним быстро управимся. Вот, э, мы с ним быстро управимся. Вот, э, мы с ним быстро управимся. Вот, э, соответственно, тут хочется подчеркнуть соответственно, тут хочется подчеркнуть соответственно, тут хочется подчеркнуть из ссылок, э, все ссылки важные, из ссылок, э, все ссылки важные, из ссылок, э, все ссылки важные, соответственно, есть неплохо в нашем соответственно, есть неплохо в нашем соответственно, есть неплохо в нашем стандартном учебнике. Вот. Ээ и, стандартном учебнике. Вот. Ээ и,

02:43:17стандартном учебнике. Вот. Ээ и, соответственно, у нас есть, ээ, вот эта соответственно, у нас есть, ээ, вот эта соответственно, у нас есть, ээ, вот эта важная статья, которую я прямо важная статья, которую я прямо важная статья, которую я прямо рекомендую посмотреть. Ну, не статья, рекомендую посмотреть. Ну, не статья, рекомендую посмотреть. Ну, не статья, такой блокпост, в котором 37 разных такой блокпост, в котором 37 разных такой блокпост, в котором 37 разных имплементаций деталей имплементации ППО имплементаций деталей имплементации ППО имплементаций деталей имплементации ППО выписано. И вы можете посмотреть вот как выписано. И вы можете посмотреть вот как

02:43:30выписано. И вы можете посмотреть вот как раз-таки то, что мы обсудили, это только раз-таки то, что мы обсудили, это только раз-таки то, что мы обсудили, это только малая часть этого. и посмотреть в целом, малая часть этого. и посмотреть в целом, малая часть этого. и посмотреть в целом, насколько много вещей там нужно. Вот. насколько много вещей там нужно. Вот. насколько много вещей там нужно. Вот. Про вопрос в чате. Реализация ТРПО Про вопрос в чате. Реализация ТРПО Про вопрос в чате. Реализация ТРПО сейчас будет на семинаре. Мы на неё сейчас будет на семинаре. Мы на неё сейчас будет на семинаре. Мы на неё посмотрим, но большая часть уже посмотрим, но большая часть уже

02:43:41посмотрим, но большая часть уже написано, поэтому с нас сильно много не написано, поэтому с нас сильно много не написано, поэтому с нас сильно много не потребуется. Но в домашке будет потребуется. Но в домашке будет потребуется. Но в домашке будет реализация ППО. Вот. реализация ППО. Вот. реализация ППО. Вот. То есть второго алгоритма То есть второго алгоритма То есть второго алгоритма до конца пары 17 минут. Ну давайте мы до конца пары 17 минут. Ну давайте мы до конца пары 17 минут. Ну давайте мы попробуем уложиться. Видите, как бы там попробуем уложиться. Видите, как бы там попробуем уложиться. Видите, как бы там мы задержались с вопросами. Я считаю, мы задержались с вопросами. Я считаю,

02:43:58мы задержались с вопросами. Я считаю, важно, что мы эти вопросы обсудили. важно, что мы эти вопросы обсудили. важно, что мы эти вопросы обсудили. Естественно, будет запись. Ну да. Мне Естественно, будет запись. Ну да. Мне Естественно, будет запись. Ну да. Мне кажется, что тут сильно много вариантов кажется, что тут сильно много вариантов кажется, что тут сильно много вариантов не будет. Давайте начнём тогда семинар не будет. Давайте начнём тогда семинар не будет. Давайте начнём тогда семинар сейчас, если вы не против, и если сейчас, если вы не против, и если сейчас, если вы не против, и если какие-то будут вопросы, задайте в конце. какие-то будут вопросы, задайте в конце.

02:44:11какие-то будут вопросы, задайте в конце. У кого нет пар дальше, да. Ну и, У кого нет пар дальше, да. Ну и, У кого нет пар дальше, да. Ну и, соответственно, у кого есть пары, соответственно, у кого есть пары, соответственно, у кого есть пары, пожалуйста, пишите в чате, ну или мне пожалуйста, пишите в чате, ну или мне пожалуйста, пишите в чате, ну или мне можете лично написать. С удовольствием можете лично написать. С удовольствием можете лично написать. С удовольствием на все вопросы отвечу. Надеюсь, что так на все вопросы отвечу. Надеюсь, что так на все вопросы отвечу. Надеюсь, что так устроит. Вот. Я думаю, что правильно, устроит. Вот. Я думаю, что правильно,

02:44:22устроит. Вот. Я думаю, что правильно, что мы потратили с вами побольше времени что мы потратили с вами побольше времени что мы потратили с вами побольше времени на вопросы. Вот. Надеюсь, что будет мм на вопросы. Вот. Надеюсь, что будет мм на вопросы. Вот. Надеюсь, что будет мм сейчас полезно посмотреть на семинар. сейчас полезно посмотреть на семинар. сейчас полезно посмотреть на семинар. Семинар, соответственно, как я уже Семинар, соответственно, как я уже Семинар, соответственно, как я уже сказал, да, мы много времени не потратим сказал, да, мы много времени не потратим сказал, да, мы много времени не потратим на него, поэтому я надеюсь, что что с на него, поэтому я надеюсь, что что с

02:44:36на него, поэтому я надеюсь, что что с ним будет всё более-менее понятно. Вот, ним будет всё более-менее понятно. Вот, ним будет всё более-менее понятно. Вот, давайте сейчас зашарю экран.

02:44:50>> Да, видно. >> Да, видно. >> Ага. Спасибо большое. Так, ну всё, >> Ага. Спасибо большое. Так, ну всё, >> Ага. Спасибо большое. Так, ну всё, давайте начинать. Соответственно, наша давайте начинать. Соответственно, наша давайте начинать. Соответственно, наша задача сделать теp. Мы его с вами в задача сделать теp. Мы его с вами в задача сделать теp. Мы его с вами в супер больших деталях обсудили, поэтому супер больших деталях обсудили, поэтому супер больших деталях обсудили, поэтому я думаю, что мы как раз на это сейчас с я думаю, что мы как раз на это сейчас с я думаю, что мы как раз на это сейчас с вами довольно быстро посмотрим. Вот. Э, вами довольно быстро посмотрим. Вот. Э,

02:45:03вами довольно быстро посмотрим. Вот. Э, тпа мы будем делать для вот такой штуки, тпа мы будем делать для вот такой штуки, тпа мы будем делать для вот такой штуки, которую я уже немножко мм вам заанансил. которую я уже немножко мм вам заанансил. которую я уже немножко мм вам заанансил. Это штука, которая, соответственно, Это штука, которая, соответственно, Это штука, которая, соответственно, называется м давайте неважно, да? Важно, называется м давайте неважно, да? Важно, называется м давайте неважно, да? Важно, что мы пытаемся сделать. Вот у нас есть что мы пытаемся сделать. Вот у нас есть что мы пытаемся сделать. Вот у нас есть такие обзервейшены, и мы можем эту штуку

02:45:21такие обзервейшены, и мы можем эту штуку такие обзервейшены, и мы можем эту штуку раскручивать влево, вправо крутя так, раскручивать влево, вправо крутя так, раскручивать влево, вправо крутя так, чтобы мы закинули эту штуку. Вот видите чтобы мы закинули эту штуку. Вот видите чтобы мы закинули эту штуку. Вот видите палка, которая, да, вверху, ну вот такая палка, которая, да, вверху, ну вот такая палка, которая, да, вверху, ну вот такая горизонтальная линия, чтобы мы горизонтальная линия, чтобы мы горизонтальная линия, чтобы мы перекинули. То есть наш как бы конец вот перекинули. То есть наш как бы конец вот перекинули. То есть наш как бы конец вот этой штуки, он пересёк ээ этот угол. Ну

02:45:34этой штуки, он пересёк ээ этот угол. Ну этой штуки, он пересёк ээ этот угол. Ну то есть это, естественно, внутри то есть это, естественно, внутри то есть это, естественно, внутри считается от какого-то угла физически, считается от какого-то угла физически, считается от какого-то угла физически, что мы эту штуку перекинули. Вы, что мы эту штуку перекинули. Вы, что мы эту штуку перекинули. Вы, наверное, такое видели. Вот мы впервые наверное, такое видели. Вот мы впервые наверное, такое видели. Вот мы впервые работаем с таким энроментом. Он довольно работаем с таким энроментом. Он довольно работаем с таким энроментом. Он довольно популярный. вы можете его на многих

02:45:47популярный. вы можете его на многих популярный. вы можете его на многих многих блокпостах и статьях встретить. многих блокпостах и статьях встретить. многих блокпостах и статьях встретить. Вот. Ну, соответственно, мм, э, как вы Вот. Ну, соответственно, мм, э, как вы Вот. Ну, соответственно, мм, э, как вы понимаете, ТРПО при всей как бы понимаете, ТРПО при всей как бы понимаете, ТРПО при всей как бы сложности, которую мы обсудили, по сути, сложности, которую мы обсудили, по сути, сложности, которую мы обсудили, по сути, это всё ещё полигредит. То есть нам это всё ещё полигредит. То есть нам это всё ещё полигредит. То есть нам нужен как бы актор с нейронкой внутри,

02:46:03нужен как бы актор с нейронкой внутри, нужен как бы актор с нейронкой внутри, которая, соответственно, это всё будет которая, соответственно, это всё будет которая, соответственно, это всё будет делать. Вот. Давайте, мы это много раз делать. Вот. Давайте, мы это много раз делать. Вот. Давайте, мы это много раз обсуждали, поэтому сильно детали, ээ, обсуждали, поэтому сильно детали, ээ, обсуждали, поэтому сильно детали, ээ, ну, естественно, ну, все детали ну, естественно, ну, все детали ну, естественно, ну, все детали подсвечу, но как обычно сама модель подсвечу, но как обычно сама модель подсвечу, но как обычно сама модель нашего актора, она будет, ну, понятно,

02:46:16нашего актора, она будет, ну, понятно, нашего актора, она будет, ну, понятно, как бы мы берём на вход, ээ, как обычно как бы мы берём на вход, ээ, как обычно как бы мы берём на вход, ээ, как обычно из из из этого всего input gim. Здесь этого всего input gim. Здесь этого всего input gim. Здесь предлагается сделать скрытый слой 128. предлагается сделать скрытый слой 128. предлагается сделать скрытый слой 128. Ну, прошу прощения,

02:46:45Ну, естественно, что мы делаем? Из 128 Ну, естественно, что мы делаем? Из 128 мы превращаем в количество экшенов, мы превращаем в количество экшенов, мы превращаем в количество экшенов, потому что, как вы понимаете, мы хотим потому что, как вы понимаете, мы хотим потому что, как вы понимаете, мы хотим получить какой-то какую-то политику получить какой-то какую-то политику получить какой-то какую-то политику стастическую, стастическую, стастическую, как обычно. как обычно. как обычно. Давайте получшем, естественно, логи Давайте получшем, естественно, логи Давайте получшем, естественно, логи логиты из нашего форварда. Ну, логиты из нашего форварда. Ну,

02:46:58логиты из нашего форварда. Ну, естественно, логиты у нас, как вы естественно, логиты у нас, как вы естественно, логиты у нас, как вы понимаете, считаются суперпросто. понимаете, считаются суперпросто. понимаете, считаются суперпросто. Просто передаём наши наблюдение, передаём внутрь модель и наблюдение, передаём внутрь модель и получаем логиты. Мы реализуем два наших получаем логиты. Мы реализуем два наших получаем логиты. Мы реализуем два наших таких методах хелппера. Первый для того, таких методах хелппера. Первый для того, таких методах хелппера. Первый для того, чтобы мы взяли log probabilтись. То есть чтобы мы взяли log probabilтись. То есть

02:47:16чтобы мы взяли log probabilтись. То есть вот вы вспомните, что мы в лекции вот вы вспомните, что мы в лекции вот вы вспомните, что мы в лекции работали здесь с probabilти, но, работали здесь с probabilти, но, работали здесь с probabilти, но, естественно, стабильнее во многих естественно, стабильнее во многих естественно, стабильнее во многих случаях, допустим, для дивергенции не случаях, допустим, для дивергенции не случаях, допустим, для дивергенции не брать вероятности, а потом ээ брать реше брать вероятности, а потом ээ брать реше брать вероятности, а потом ээ брать реше вероятности, а потом от них логарифм, а вероятности, а потом от них логарифм, а

02:47:28вероятности, а потом от них логарифм, а взять, соответственно, вероятности и взять, соответственно, вероятности и взять, соответственно, вероятности и взять разницу. это будет просто числено взять разницу. это будет просто числено взять разницу. это будет просто числено более стабильно. Вот functional мы тут более стабильно. Вот functional мы тут более стабильно. Вот functional мы тут уже импортировали, поэтому в logilties уже импортировали, поэтому в logilties уже импортировали, поэтому в logilties мы будем брать, естественно, log of max, мы будем брать, естественно, log of max, мы будем брать, естественно, log of max, да, потому что, ну, как обычно, из да, потому что, ну, как обычно, из

02:47:42да, потому что, ну, как обычно, из логитов мы хотим э всё это превратить в логитов мы хотим э всё это превратить в логитов мы хотим э всё это превратить в наш, соответственно, наш, соответственно, наш, соответственно, в из логетов превратить эту всю историю в из логетов превратить эту всю историю в из логетов превратить эту всю историю в вероятности log soft max для того, в вероятности log soft max для того, в вероятности log soft max для того, чтобы взять log probabilities, ну, и, чтобы взять log probabilities, ну, и, чтобы взять log probabilities, ну, и, естественно, dimension 1. Вот. И когда естественно, dimension 1. Вот. И когда

02:48:02естественно, dimension 1. Вот. И когда мы хотим просто probabilтис, ну, мы хотим просто probabilтис, ну, мы хотим просто probabilтис, ну, естественно, мы берём просто soft max.

02:48:18М, вот основная история. Теперь давайте М, вот основная история. Теперь давайте посмотрим. Значит, forward getlock props посмотрим. Значит, forward getlock props посмотрим. Значит, forward getlock props get props написали. Что нам ещё нужно из get props написали. Что нам ещё нужно из get props написали. Что нам ещё нужно из этого всего? Нам нужно акт. Факт это этого всего? Нам нужно акт. Факт это этого всего? Нам нужно акт. Факт это наша какая-то история, которая нам наша какая-то история, которая нам наша какая-то история, которая нам просто отдаёт, что нам нужно делать в просто отдаёт, что нам нужно делать в просто отдаёт, что нам нужно делать в для того, чтобы подать экшн. Мы передаём

02:48:35для того, чтобы подать экшн. Мы передаём для того, чтобы подать экшн. Мы передаём sampмle. Если sample true, да, это, ну, sampмle. Если sample true, да, это, ну, sampмle. Если sample true, да, это, ну, как бы, если это true, то мы делаем как бы, если это true, то мы делаем как бы, если это true, то мы делаем действие рандомно. Если мы, э, хотим, действие рандомно. Если мы, э, хотим, действие рандомно. Если мы, э, хотим, допустим, представим, что мы в проде допустим, представим, что мы в проде допустим, представим, что мы в проде хотим это использовать, когда мы уже хотим это использовать, когда мы уже хотим это использовать, когда мы уже решили, что всё обучили, то мы можем

02:48:49решили, что всё обучили, то мы можем решили, что всё обучили, то мы можем просто передавать sample false и просто передавать sample false и просто передавать sample false и генерировать наши армакса, наши генерировать наши армакса, наши генерировать наши армакса, наши действия. Но важно понимать то, что про действия. Но важно понимать то, что про действия. Но важно понимать то, что про вот это всё в этомменте так это вот это всё в этомменте так это вот это всё в этомменте так это сработает без проблем. Но, как я уже сработает без проблем. Но, как я уже сработает без проблем. Но, как я уже говорил, допустим, если вы посмотрите на говорил, допустим, если вы посмотрите на

02:49:02говорил, допустим, если вы посмотрите на то, что вы делали на прошлом семинаре, то, что вы делали на прошлом семинаре, то, что вы делали на прошлом семинаре, то там, как правило, Аргмакс, да, вот то там, как правило, Аргмакс, да, вот то там, как правило, Аргмакс, да, вот из-за того, что сложно было обучать из-за того, что сложно было обучать из-за того, что сложно было обучать этого агента, который там этого агента, который там этого агента, который там делает карате и вот это всё из-за того, делает карате и вот это всё из-за того, делает карате и вот это всё из-за того, что там пашель обзор MDP, как правило, что там пашель обзор MDP, как правило,

02:49:17что там пашель обзор MDP, как правило, Argmax не самая хорошая история, Argmax не самая хорошая история, Argmax не самая хорошая история, несмотря, что теоретически, конечно, несмотря, что теоретически, конечно, несмотря, что теоретически, конечно, политика детерминированная, но из-за политика детерминированная, но из-за политика детерминированная, но из-за того, что partially observable и того, что partially observable и того, что partially observable и всё-таки научно у нас не супер идеально, всё-таки научно у нас не супер идеально, всё-таки научно у нас не супер идеально, потому что мы не можем полностью понять, потому что мы не можем полностью понять,

02:49:27потому что мы не можем полностью понять, как работает игра маленького количества как работает игра маленького количества как работает игра маленького количества сенсо сенсо сенсо Там лучше утюнить температуру софтмакса. Там лучше утюнить температуру софтмакса. Там лучше утюнить температуру софтмакса. Ну то есть просто брать софтмак какой- Ну то есть просто брать софтмак какой- Ну то есть просто брать софтмак какой- температура и просто её как температура и просто её как температура и просто её как гиперпараметр тюнить. Это так два слова гиперпараметр тюнить. Это так два слова гиперпараметр тюнить. Это так два слова просто про то, что мне кажется полезно.

02:49:38просто про то, что мне кажется полезно. просто про то, что мне кажется полезно. Так, ну что, проверим. Значит, мы всё, Так, ну что, проверим. Значит, мы всё, Так, ну что, проверим. Значит, мы всё, что надо, получили. Давайте посмотрим. что надо, получили. Давайте посмотрим. что надо, получили. Давайте посмотрим. Акт у нас возвращает экшены и проabilти. Акт у нас возвращает экшены и проabilти. Акт у нас возвращает экшены и проabilти. То есть мы, допустим, в сэмпле выбрали э То есть мы, допустим, в сэмпле выбрали э То есть мы, допустим, в сэмпле выбрали э 2 и вот такие у нас были вероятности, 2 и вот такие у нас были вероятности,

02:49:512 и вот такие у нас были вероятности, да? Видите, максимальная на нуле, но мы да? Видите, максимальная на нуле, но мы да? Видите, максимальная на нуле, но мы рандомно засмплили два. Ну, а здесь, рандомно засмплили два. Ну, а здесь, рандомно засмплили два. Ну, а здесь, соответственно, в жадном случае мы соответственно, в жадном случае мы соответственно, в жадном случае мы выбираем, естественно, нулевое действие выбираем, естественно, нулевое действие выбираем, естественно, нулевое действие с максимальной вероятностью. с максимальной вероятностью. с максимальной вероятностью. Вот здесь два две help функции. Что они Вот здесь два две help функции. Что они

02:50:04Вот здесь два две help функции. Что они делают? За счёт того, что мы захотим делают? За счёт того, что мы захотим делают? За счёт того, что мы захотим немножко, мы же тут как понимаете, не немножко, мы же тут как понимаете, не немножко, мы же тут как понимаете, не будете не будем писать никакой descent. будете не будем писать никакой descent. будете не будем писать никакой descent. Мы здесь будем делать прямо Мы здесь будем делать прямо Мы здесь будем делать прямо самостоятельно обновление обновление самостоятельно обновление обновление самостоятельно обновление обновление параметров нашей модели. Поэтому для нас параметров нашей модели. Поэтому для нас

02:50:18параметров нашей модели. Поэтому для нас здесь уже сделаны двер функции. Одна здесь уже сделаны двер функции. Одна здесь уже сделаны двер функции. Одна вытягивает параметры модели в один вытягивает параметры модели в один вытягивает параметры модели в один большой вектор, а другая из такого же большой вектор, а другая из такого же большой вектор, а другая из такого же вектора новых параметров в модель вектора новых параметров в модель вектора новых параметров в модель подставляет новые веса, просто их подставляет новые веса, просто их подставляет новые веса, просто их обновляет, которые мы будем отдельно обновляет, которые мы будем отдельно обновляет, которые мы будем отдельно считать.

02:50:33считать. считать. Вот здесь, соответственно, надо Вот здесь, соответственно, надо Вот здесь, соответственно, надо посчитать cumulative reward. Как я уже посчитать cumulative reward. Как я уже посчитать cumulative reward. Как я уже сказал, в этой имплементации мы не будем сказал, в этой имплементации мы не будем сказал, в этой имплементации мы не будем использовать критика и advantage, но это использовать критика и advantage, но это использовать критика и advantage, но это вы будете делать в домашке. То есть, вы будете делать в домашке. То есть, вы будете делать в домашке. То есть, соответственно, как бы вы вместо того, соответственно, как бы вы вместо того,

02:50:46соответственно, как бы вы вместо того, чтобы делать ээ обновление с помощью, то чтобы делать ээ обновление с помощью, то чтобы делать ээ обновление с помощью, то есть оценку, вместо того, чтобы делать с есть оценку, вместо того, чтобы делать с есть оценку, вместо того, чтобы делать с помощью адвантеджа, то есть с помощью помощью адвантеджа, то есть с помощью помощью адвантеджа, то есть с помощью приближений через value функцию, вы как приближений через value функцию, вы как приближений через value функцию, вы как бы здесь заменяете advantage на бы здесь заменяете advantage на бы здесь заменяете advantage на полностью проигранную траекторию. То, полностью проигранную траекторию. То,

02:51:00полностью проигранную траекторию. То, что, как мы помним, э низкий бас и что, как мы помним, э низкий бас и что, как мы помним, э низкий бас и высокий варианс, но здесь этого высокий варианс, но здесь этого высокий варианс, но здесь этого достаточно, потому что, ну, относительно достаточно, потому что, ну, относительно достаточно, потому что, ну, относительно простой способ это сделать. Это здесь простой способ это сделать. Это здесь простой способ это сделать. Это здесь просто для того, чтобы нам попроще это просто для того, чтобы нам попроще это просто для того, чтобы нам попроще это всё было писать. Вот. всё было писать. Вот. всё было писать. Вот. Ну всё, получили какие-то rewards.

02:51:15Ну всё, получили какие-то rewards. Ну всё, получили какие-то rewards. Дальше мы собираем роллауты. Что такое Дальше мы собираем роллауты. Что такое Дальше мы собираем роллауты. Что такое роллауты? Это когда мы ввамент послали роллауты? Это когда мы ввамент послали роллауты? Это когда мы ввамент послали агента поиграть и собираем разные агента поиграть и собираем разные агента поиграть и собираем разные траектории. Соответственно, что тут траектории. Соответственно, что тут траектории. Соответственно, что тут происходит. Ну, как вы понимаете, у нас происходит. Ну, как вы понимаете, у нас происходит. Ну, как вы понимаете, у нас есть ограничение количество там стампов

02:51:28есть ограничение количество там стампов есть ограничение количество там стампов общее на всё время, сколько мы отпра общее на всё время, сколько мы отпра общее на всё время, сколько мы отпра отправили его поиграть, ну, чтобы это отправили его поиграть, ну, чтобы это отправили его поиграть, ну, чтобы это слишком долго не было. И дальше есть слишком долго не было. И дальше есть слишком долго не было. И дальше есть ограничение на длину траектории одной. ограничение на длину траектории одной. ограничение на длину траектории одной. Ну, как вы понимаете, мы, если не Ну, как вы понимаете, мы, если не Ну, как вы понимаете, мы, если не перекинули, то нам нет, ну, как бы и не

02:51:39перекинули, то нам нет, ну, как бы и не перекинули, то нам нет, ну, как бы и не поняли, куда перекидывать, то через поняли, куда перекидывать, то через поняли, куда перекидывать, то через какое-то время, ну, нет смысла пытаться какое-то время, ну, нет смысла пытаться какое-то время, ну, нет смысла пытаться это сделать. Надо начинать заново и это сделать. Надо начинать заново и это сделать. Надо начинать заново и понимать как-то через угол, что это понимать как-то через угол, что это понимать как-то через угол, что это будет влиять, ну, собирать новую новую будет влиять, ну, собирать новую новую будет влиять, ну, собирать новую новую какую-то траекторию. Вот поэтому мы

02:51:51какую-то траекторию. Вот поэтому мы какую-то траекторию. Вот поэтому мы делаем, соответственно, общее количество делаем, соответственно, общее количество делаем, соответственно, общее количество таймстемпов ограничиваем. Ну, и для таймстемпов ограничиваем. Ну, и для таймстемпов ограничиваем. Ну, и для каждого нашего агента просим выбрать каждого нашего агента просим выбрать каждого нашего агента просим выбрать экшн. Поли - это, соответственно, наши экшн. Поли - это, соответственно, наши экшн. Поли - это, соответственно, наши вероятности, и мы её сохраняем, эти вероятности, и мы её сохраняем, эти вероятности, и мы её сохраняем, эти вероятности. Ну и, соответственно, как

02:52:04вероятности. Ну и, соответственно, как вероятности. Ну и, соответственно, как бы делаем, ээ, по кругу вот так вот бы делаем, ээ, по кругу вот так вот бы делаем, ээ, по кругу вот так вот таким вот образом. И, ну, таким вот образом. И, ну, таким вот образом. И, ну, соответственно, как бы ээ получаем кучу соответственно, как бы ээ получаем кучу соответственно, как бы ээ получаем кучу пасов. Что здесь происходит? Ну, давайте пасов. Что здесь происходит? Ну, давайте пасов. Что здесь происходит? Ну, давайте проверим, что всё о'кей. Это нас уже проверим, что всё о'кей. Это нас уже проверим, что всё о'кей. Это нас уже было написано. Вот. Ээ здесь можно было написано. Вот. Ээ здесь можно

02:52:18было написано. Вот. Ээ здесь можно посмотреть, как это работает. Что здесь посмотреть, как это работает. Что здесь посмотреть, как это работает. Что здесь можно посмотреть? Сейчас буквально можно посмотреть? Сейчас буквально можно посмотреть? Сейчас буквально быстро. Давайте посмотрим, как эти пасы быстро. Давайте посмотрим, как эти пасы быстро. Давайте посмотрим, как эти пасы выглядят. Во-первых, что можно здесь выглядят. Во-первых, что можно здесь выглядят. Во-первых, что можно здесь посмотреть? Давайте посмотрим. посмотреть? Давайте посмотрим. посмотреть? Давайте посмотрим. Длина пасов, какая она? 20. Откуда Длина пасов, какая она? 20. Откуда

02:52:34Длина пасов, какая она? 20. Откуда берётся 20? Ну, соответственно, берётся 20? Ну, соответственно, берётся 20? Ну, соответственно, у нас количество таймстемпов 100 и у нас количество таймстемпов 100 и у нас количество таймстемпов 100 и максимум в каждом пять. Ну, это просто, максимум в каждом пять. Ну, это просто, максимум в каждом пять. Ну, это просто, естественно, для для того, чтобы пройти естественно, для для того, чтобы пройти естественно, для для того, чтобы пройти все проверки. И, ну, соответственно, мы все проверки. И, ну, соответственно, мы все проверки. И, ну, соответственно, мы здесь ограничиваем пятёркой, а здесь здесь ограничиваем пятёркой, а здесь

02:52:50здесь ограничиваем пятёркой, а здесь тотал сотней. Соответственно, ну, тотал сотней. Соответственно, ну, тотал сотней. Соответственно, ну, давайте вот так напишем просто, чтобы давайте вот так напишем просто, чтобы давайте вот так напишем просто, чтобы потом эти проверки никогда не потом эти проверки никогда не потом эти проверки никогда не затирались, потому что обычно это самая затирались, потому что обычно это самая затирались, потому что обычно это самая трики часть трики часть трики часть имплементации. Ну что, 100 / 5. То есть имплементации. Ну что, 100 / 5. То есть имплементации. Ну что, 100 / 5. То есть вот эти количество таймстемпов делить на вот эти количество таймстемпов делить на

02:53:05вот эти количество таймстемпов делить на пять. Вот. Всё верно. Ну и это что как пять. Вот. Всё верно. Ну и это что как пять. Вот. Всё верно. Ну и это что как бы, чтобы вы поняли, что общее бы, чтобы вы поняли, что общее бы, чтобы вы поняли, что общее количество пасов, какое, которое мы количество пасов, какое, которое мы количество пасов, какое, которое мы собрали. Ну и давайте посмотрим, что мы собрали. Ну и давайте посмотрим, что мы собрали. Ну и давайте посмотрим, что мы можем на такую штуку глянуть. Мы можем можем на такую штуку глянуть. Мы можем можем на такую штуку глянуть. Мы можем посмотреть, что давайте н от каждого посмотреть, что давайте н от каждого

02:53:21посмотреть, что давайте н от каждого паса паса паса экшенов, который мы выбрали. То есть экшенов, который мы выбрали. То есть экшенов, который мы выбрали. То есть сколько мы в каждом пасе сделали экшен. сколько мы в каждом пасе сделали экшен. сколько мы в каждом пасе сделали экшен. Вот. Ну и, соответственно, мы это делаем Вот. Ну и, соответственно, мы это делаем Вот. Ну и, соответственно, мы это делаем в в в пас пас пас везде пятёрки, да? Ну, соответственно, везде пятёрки, да? Ну, соответственно, везде пятёрки, да? Ну, соответственно, можем так вот просто

02:53:41тоже полезная, как правило, проверка, тоже полезная, как правило, проверка, да, что это равно пятёрке, которую мы да, что это равно пятёрке, которую мы да, что это равно пятёрке, которую мы выбрали изначально. Вот, Вот, соответственно, что нам осталось соответственно, что нам осталось соответственно, что нам осталось сделать? Ну, нам нужно закодить нашу сделать? Ну, нам нужно закодить нашу сделать? Ну, нам нужно закодить нашу суррогатную функцию. Ээ, заметьте, здесь суррогатную функцию. Ээ, заметьте, здесь суррогатную функцию. Ээ, заметьте, здесь то, что написано, да, что вместо то, что написано, да, что вместо то, что написано, да, что вместо advantage advantage

02:54:01advantage мы используем наше GTAТA. Что такое GetA мы используем наше GTAТA. Что такое GetA мы используем наше GTAТA. Что такое GetA old? Это вот как раз-таки cumulative old? Это вот как раз-таки cumulative old? Это вот как раз-таки cumulative rewards, который мы здесь собрали, то rewards, который мы здесь собрали, то rewards, который мы здесь собрали, то есть отправили нашу в политику поиграть есть отправили нашу в политику поиграть есть отправили нашу в политику поиграть и собрали кумулятивные реводы вместо и собрали кумулятивные реводы вместо и собрали кумулятивные реводы вместо advantage, опять-таки, это только для advantage, опять-таки, это только для

02:54:13advantage, опять-таки, это только для этого ноутбука, для простоты. Вот. Ну и этого ноутбука, для простоты. Вот. Ну и этого ноутбука, для простоты. Вот. Ну и дальше мы хотим, естественно, дальше мы хотим, естественно, дальше мы хотим, естественно, максимизировать нашу спарогатную максимизировать нашу спарогатную максимизировать нашу спарогатную функцию, то же самое, что минимизировать функцию, то же самое, что минимизировать функцию, то же самое, что минимизировать минус эту функцию. Думаю, тут всё тоже минус эту функцию. Думаю, тут всё тоже минус эту функцию. Думаю, тут всё тоже понятно. Нам надо почитать loss. Ну понятно. Нам надо почитать loss. Ну

02:54:27понятно. Нам надо почитать loss. Ну давайте почитаем с времени так много, давайте почитаем с времени так много, давайте почитаем с времени так много, поэтому спрашивать не буду. Лучше мы его поэтому спрашивать не буду. Лучше мы его поэтому спрашивать не буду. Лучше мы его сразу с вами вместе, ну, в смысле, я его сразу с вами вместе, ну, в смысле, я его сразу с вами вместе, ну, в смысле, я его напишу. Что такое наш лос? Наш лосс - напишу. Что такое наш лос? Наш лосс - напишу. Что такое наш лос? Наш лосс - это это это новые вероятности делить на старые новые вероятности делить на старые новые вероятности делить на старые вероятности, вероятности,

02:54:42вероятности, да? Что? Почему for actions? Потому что да? Что? Почему for actions? Потому что да? Что? Почему for actions? Потому что мы берём, э, новые на старые вероятности мы берём, э, новые на старые вероятности мы берём, э, новые на старые вероятности только там, где мы сделали какие-то только там, где мы сделали какие-то только там, где мы сделали какие-то действия. То есть мы не можем почитать действия. То есть мы не можем почитать действия. То есть мы не можем почитать по всем, а только там, где мы знаем по всем, а только там, где мы знаем по всем, а только там, где мы знаем reво, там, где мы это заколектили. То reво, там, где мы это заколектили. То

02:54:56reво, там, где мы это заколектили. То есть то, что было у нас в траектории. есть то, что было у нас в траектории. есть то, что было у нас в траектории. Это вот ровно то, что мы обсуждали, что Это вот ровно то, что мы обсуждали, что Это вот ровно то, что мы обсуждали, что мы смотрим только на то, что мы видели мы смотрим только на то, что мы видели мы смотрим только на то, что мы видели внутри нашей траектории. Это наш weight, внутри нашей траектории. Это наш weight, внутри нашей траектории. Это наш weight, да, наш вес, который мы вот здесь вот да, наш вес, который мы вот здесь вот да, наш вес, который мы вот здесь вот задаём. на PTA old. Ну и умножить надо

02:55:11задаём. на PTA old. Ну и умножить надо задаём. на PTA old. Ну и умножить надо натис. натис. натис. Дальше мы, естественно, считаем, поэтому Дальше мы, естественно, считаем, поэтому Дальше мы, естественно, считаем, поэтому среднее, получаем наш сурогатный лос, среднее, получаем наш сурогатный лос, среднее, получаем наш сурогатный лос, вот этот вот, да, который со штрихом, вот этот вот, да, который со штрихом, вот этот вот, да, который со штрихом, да, просто усреднили вот это да, просто усреднили вот это да, просто усреднили вот это перемножение. Ну и для того, чтобы это перемножение. Ну и для того, чтобы это перемножение. Ну и для того, чтобы это был лос, берём минус. был лос, берём минус.

02:55:29был лос, берём минус. Вот осталось нам сделать ограничение на Вот осталось нам сделать ограничение на Вот осталось нам сделать ограничение на КЛ дивергенцию. Как вы помните ещё раз, КЛ дивергенцию. Как вы помните ещё раз, КЛ дивергенцию. Как вы помните ещё раз, это мотожидание по стейтам. В идеальной это мотожидание по стейтам. В идеальной это мотожидание по стейтам. В идеальной теории просили бы нас взять максимум, но теории просили бы нас взять максимум, но теории просили бы нас взять максимум, но максимум посчитать супер сложно, потому максимум посчитать супер сложно, потому максимум посчитать супер сложно, потому что мы не все экшены и стейты видим, что мы не все экшены и стейты видим,

02:55:43что мы не все экшены и стейты видим, поэтому среднее, потому что это какое-то поэтому среднее, потому что это какое-то поэтому среднее, потому что это какое-то приближение реального среднего. Ну то приближение реального среднего. Ну то приближение реального среднего. Ну то есть мы усредняем то, что мы заметили, есть мы усредняем то, что мы заметили, есть мы усредняем то, что мы заметили, то, что мы увидели внутри траектории, то, что мы увидели внутри траектории, то, что мы увидели внутри траектории, вернее. Вот. Ну и давайте посмотрим. Тут вернее. Вот. Ну и давайте посмотрим. Тут вернее. Вот. Ну и давайте посмотрим. Тут уже у нас уже у нас уже у нас большинство вещей написано. То есть что

02:55:55большинство вещей написано. То есть что большинство вещей написано. То есть что у нас тут происходит э в случае Кль у нас тут происходит э в случае Кль у нас тут происходит э в случае Кль дивергенции? В случае дивергенции дивергенции? В случае дивергенции дивергенции? В случае дивергенции происходит такая штука. Помните, важно в происходит такая штука. Помните, важно в происходит такая штука. Помните, важно в какую сторону её делать, да, что нам какую сторону её делать, да, что нам какую сторону её делать, да, что нам надо дивергенцию, потому что мы надо дивергенцию, потому что мы надо дивергенцию, потому что мы вероятности хотим считать по прошлому, вероятности хотим считать по прошлому,

02:56:09вероятности хотим считать по прошлому, да, old lots, чтобы можно было брать да, old lots, чтобы можно было брать да, old lots, чтобы можно было брать брать правильно апдейты, чтобы это, ну, брать правильно апдейты, чтобы это, ну, брать правильно апдейты, чтобы это, ну, не зависело, соответственно, от не зависело, соответственно, от не зависело, соответственно, от вероятности, чтобы приближение вероятности, чтобы приближение вероятности, чтобы приближение было правильно, соответственно, ну, то было правильно, соответственно, ну, то было правильно, соответственно, ну, то есть, чтобы не зависело от наших новых есть, чтобы не зависело от наших новых

02:56:19есть, чтобы не зависело от наших новых параметров. Соответственно, нам важно в параметров. Соответственно, нам важно в параметров. Соответственно, нам важно в какую сторону делать, то что мы выбираем какую сторону делать, то что мы выбираем какую сторону делать, то что мы выбираем за пи. Пи в нашем случае это будет за пи. Пи в нашем случае это будет за пи. Пи в нашем случае это будет старая политика, а Q - это будет новая старая политика, а Q - это будет новая старая политика, а Q - это будет новая политика. Ну, соответственно, что нам политика. Ну, соответственно, что нам политика. Ну, соответственно, что нам нужно сделать? Мы берём нужно сделать? Мы берём

02:56:33нужно сделать? Мы берём old props, да, которые у нас были, old props, да, которые у нас были, old props, да, которые у нас были, потому что мы умножаем на реальные потому что мы умножаем на реальные потому что мы умножаем на реальные вероятности, а дальше нам нужен вероятности, а дальше нам нужен вероятности, а дальше нам нужен логарифм. Соответственно, мы берём old логарифм. Соответственно, мы берём old логарифм. Соответственно, мы берём old log props, важно в какую сторону, и log props, важно в какую сторону, и log props, важно в какую сторону, и минус new log props. Вот как бы разница. минус new log props. Вот как бы разница.

02:56:50минус new log props. Вот как бы разница. Но теперь что нам тут осталось? Нам Но теперь что нам тут осталось? Нам Но теперь что нам тут осталось? Нам нужно просуммировать нужно просуммировать нужно просуммировать по всем экшенам, которые мы увидели, да, по всем экшенам, которые мы увидели, да, по всем экшенам, которые мы увидели, да, и дальше взять средний. и дальше взять средний. и дальше взять средний. Вот. Вот. Вот. Ну, теперь то же самое для энтропии. Ещё Ну, теперь то же самое для энтропии. Ещё Ну, теперь то же самое для энтропии. Ещё раз, как я уже говорил, энтропию мы раз, как я уже говорил, энтропию мы раз, как я уже говорил, энтропию мы здесь поправку никакую вводить не будем,

02:57:07здесь поправку никакую вводить не будем, здесь поправку никакую вводить не будем, но вы это увидите на следующей лекции в но вы это увидите на следующей лекции в но вы это увидите на следующей лекции в софт актор критики алгоритме, да? софт актор критики алгоритме, да? софт актор критики алгоритме, да? Увидите поправку за энтропию. А здесь мы Увидите поправку за энтропию. А здесь мы Увидите поправку за энтропию. А здесь мы её будем просто трекать. То есть мы её её будем просто трекать. То есть мы её её будем просто трекать. То есть мы её считаем для того, чтобы можно было её считаем для того, чтобы можно было её считаем для того, чтобы можно было её постоянно трекать. Ну и, соответственно,

02:57:20постоянно трекать. Ну и, соответственно, постоянно трекать. Ну и, соответственно, здесь здесь здесь минус log прос. А проS это мы с вами уже минус log прос. А проS это мы с вами уже минус log прос. А проS это мы с вами уже с вами делали и с Сергеем вы делали. Э, с вами делали и с Сергеем вы делали. Э, с вами делали и с Сергеем вы делали. Э, поэтому здесь ничего нового. поэтому здесь ничего нового. поэтому здесь ничего нового. Вот Вот Вот смотрите, м, в двух словах, э, давайте смотрите, м, в двух словах, э, давайте смотрите, м, в двух словах, э, давайте сейчас расскажу остальные вещи, которые сейчас расскажу остальные вещи, которые

02:57:42сейчас расскажу остальные вещи, которые осталось тут сделать. Я пройду до конца осталось тут сделать. Я пройду до конца осталось тут сделать. Я пройду до конца ноутбука, а потом детальнее обсужу ноутбука, а потом детальнее обсужу ноутбука, а потом детальнее обсужу lineни conjugents, потому что кому-то lineни conjugents, потому что кому-то lineни conjugents, потому что кому-то надо вязать на пару. За нас здесь уже надо вязать на пару. За нас здесь уже надо вязать на пару. За нас здесь уже сделан линейный поиск, который мы сделан линейный поиск, который мы сделан линейный поиск, который мы передаём в функцию, от которой мы будем передаём в функцию, от которой мы будем

02:57:56передаём в функцию, от которой мы будем считать этот LOS. передаём, считать этот LOS. передаём, считать этот LOS. передаём, соответственно, x и full step. Fullstep соответственно, x и full step. Fullstep соответственно, x и full step. Fullstep вот эта вот штука. X - это наши вот эта вот штука. X - это наши вот эта вот штука. X - это наши начальные параметры, да, старые начальные параметры, да, старые начальные параметры, да, старые параметры нейронки, а fullstep - это параметры нейронки, а fullstep - это параметры нейронки, а fullstep - это максимально до края каль дивергенции, максимально до края каль дивергенции, максимально до края каль дивергенции, куда мы можем дойти. Вот это linear

02:58:10куда мы можем дойти. Вот это linear куда мы можем дойти. Вот это linear search. Дальше conjugal gradient. Сейчас search. Дальше conjugal gradient. Сейчас search. Дальше conjugal gradient. Сейчас это обсудим, но тут это имплементация, это обсудим, но тут это имплементация, это обсудим, но тут это имплементация, как договорились, можете просто считать, как договорились, можете просто считать, как договорились, можете просто считать, что это алгоритм, который решает вот что это алгоритм, который решает вот что это алгоритм, который решает вот такого рода линейную задачу системы такого рода линейную задачу системы такого рода линейную задачу системы линейных уравнений. Вот всё мы тут

02:58:23линейных уравнений. Вот всё мы тут линейных уравнений. Вот всё мы тут проверили, что он работает. Теперь, что проверили, что он работает. Теперь, что проверили, что он работает. Теперь, что у нас происходит в апдейте? Буквально у нас происходит в апдейте? Буквально у нас происходит в апдейте? Буквально заключительное, что хочется сказать, а заключительное, что хочется сказать, а заключительное, что хочется сказать, а потом я вернусь к Searchрчуch и обсужу потом я вернусь к Searchрчуch и обсужу потом я вернусь к Searchрчуch и обсужу детали. детали. детали. Взяли всё, что мы получаем. Взяли всё, что мы получаем. Взяли всё, что мы получаем. Дальше здесь я специально написал

02:58:36Дальше здесь я специально написал Дальше здесь я специально написал пояснение. Кому надо бежать, обязательно пояснение. Кому надо бежать, обязательно пояснение. Кому надо бежать, обязательно прочитайте. Мне кажется, тут должно быть прочитайте. Мне кажется, тут должно быть прочитайте. Мне кажется, тут должно быть понятно. Я специально запушил ноутбук, понятно. Я специально запушил ноутбук, понятно. Я специально запушил ноутбук, где я это дописал всё все пояснения. Мы где я это дописал всё все пояснения. Мы где я это дописал всё все пояснения. Мы используем такую хитрую штуку Fisher используем такую хитрую штуку Fisher используем такую хитрую штуку Fisher Vector Product для того, чтобы лучше

02:58:49Vector Product для того, чтобы лучше Vector Product для того, чтобы лучше посчитать эту матрицу K, то есть матрицу посчитать эту матрицу K, то есть матрицу посчитать эту матрицу K, то есть матрицу наш Gan KL дивергенции. Вместо того, наш Gan KL дивергенции. Вместо того, наш Gan KL дивергенции. Вместо того, чтобы считать его просто два раза, есть чтобы считать его просто два раза, есть чтобы считать его просто два раза, есть просто способ это сделать через вот просто способ это сделать через вот просто способ это сделать через вот такое. То есть мы посчитаем дивергенцию, такое. То есть мы посчитаем дивергенцию, такое. То есть мы посчитаем дивергенцию, возьмём один раз производную и дальше

02:59:04возьмём один раз производную и дальше возьмём один раз производную и дальше возьмём вот это вот наше значение, в возьмём вот это вот наше значение, в возьмём вот это вот наше значение, в котором мы считаем, да, ээ, которое котором мы считаем, да, ээ, которое котором мы считаем, да, ээ, которое пытаемся посчитать. И ещё раз, ну, пытаемся посчитать. И ещё раз, ну, пытаемся посчитать. И ещё раз, ну, соответственно, здесь вот получится у соответственно, здесь вот получится у соответственно, здесь вот получится у нас умножение, ээ, когда мы взяли нас умножение, ээ, когда мы взяли нас умножение, ээ, когда мы взяли градиент от вот этой штуки, градиент от вот этой штуки,

02:59:16градиент от вот этой штуки, перемножение, это просто метод для того, перемножение, это просто метод для того, перемножение, это просто метод для того, чтобы вот думайте про это, просто метод чтобы вот думайте про это, просто метод чтобы вот думайте про это, просто метод посчитать вторую производную проще, чем посчитать вторую производную проще, чем посчитать вторую производную проще, чем два раза сделать автоград. Вот как бы два раза сделать автоград. Вот как бы два раза сделать автоград. Вот как бы ничего ничего более сложного. Ну и здесь ничего ничего более сложного. Ну и здесь ничего ничего более сложного. Ну и здесь важный момент, что мы добавляем ещё вот

02:59:27важный момент, что мы добавляем ещё вот важный момент, что мы добавляем ещё вот такую штуку. Это просто регуляризация, такую штуку. Это просто регуляризация, такую штуку. Это просто регуляризация, чтобы матрица была более более с чтобы матрица была более более с чтобы матрица была более более с хорошим, ну, как бы более хорошо хорошим, ну, как бы более хорошо хорошим, ну, как бы более хорошо обусловлена. Ну, всё, мы посчитали из обусловлена. Ну, всё, мы посчитали из обусловлена. Ну, всё, мы посчитали из коjга gradient, в какую сторону нам надо коjга gradient, в какую сторону нам надо коjга gradient, в какую сторону нам надо двигаться, да? Здесь мы вот этой штукой

02:59:42двигаться, да? Здесь мы вот этой штукой двигаться, да? Здесь мы вот этой штукой мы считаем нашу альфу. То есть, помните, мы считаем нашу альфу. То есть, помните, мы считаем нашу альфу. То есть, помните, ээ, когда мы двигались в нашей лекции, ээ, когда мы двигались в нашей лекции, ээ, когда мы двигались в нашей лекции, мы могли вывести из максимальной кльди мы могли вывести из максимальной кльди мы могли вывести из максимальной кльди дивергенции вот этой вот мы можем дивергенции вот этой вот мы можем дивергенции вот этой вот мы можем вывести максимальный шаг, который нам вывести максимальный шаг, который нам вывести максимальный шаг, который нам надо сделать. Вот. Ну, всё, мы берём,

02:59:57надо сделать. Вот. Ну, всё, мы берём, надо сделать. Вот. Ну, всё, мы берём, соответственно, наши параметры, соответственно, наши параметры, соответственно, наши параметры, стартовую точку, делаем новые параметры стартовую точку, делаем новые параметры стартовую точку, делаем новые параметры из этой стартовой точки линейным из этой стартовой точки линейным из этой стартовой точки линейным поиском. И вот наш по вот наш главный, поиском. И вот наш по вот наш главный, поиском. И вот наш по вот наш главный, соответственно, соответственно, соответственно, главный алгоритм. Ну и чтобы пройти до главный алгоритм. Ну и чтобы пройти до

03:00:12главный алгоритм. Ну и чтобы пройти до конца ноутбук, давайте быстро скажу, что конца ноутбук, давайте быстро скажу, что конца ноутбук, давайте быстро скажу, что вот мы записываем видео, и это в целом вот мы записываем видео, и это в целом вот мы записываем видео, и это в целом всё, что происходит здесь. Вы можете всё, что происходит здесь. Вы можете всё, что происходит здесь. Вы можете увидеть, что у нас довольно стабильное увидеть, что у нас довольно стабильное увидеть, что у нас довольно стабильное улучшение политики. Посмотрите-ка, эти улучшение политики. Посмотрите-ка, эти улучшение политики. Посмотрите-ка, эти пять эпох уже сделали, и всё, у нас пять эпох уже сделали, и всё, у нас

03:00:25пять эпох уже сделали, и всё, у нас реворт растёт и растёт. Вот это реворт растёт и растёт. Вот это реворт растёт и растёт. Вот это основное, что я хотел обсудить. Давайте, основное, что я хотел обсудить. Давайте, основное, что я хотел обсудить. Давайте, пожалуйста, кто кто хочет остаться и кто пожалуйста, кто кто хочет остаться и кто пожалуйста, кто кто хочет остаться и кто хочет детальнее обсудить ээ про вот хочет детальнее обсудить ээ про вот хочет детальнее обсудить ээ про вот search и историю, которую мы делаем search и историю, которую мы делаем search и историю, которую мы делаем выше, я сейчас расскажу. Кому надо выше, я сейчас расскажу. Кому надо

03:00:38выше, я сейчас расскажу. Кому надо бежать на пару. Спасибо большое, что бежать на пару. Спасибо большое, что бежать на пару. Спасибо большое, что были тут и досидели до конца. И хорошего были тут и досидели до конца. И хорошего были тут и досидели до конца. И хорошего дня. Вот. Давайте, соответственно, с дня. Вот. Давайте, соответственно, с дня. Вот. Давайте, соответственно, с остальными закончим буквально 5 минут. остальными закончим буквально 5 минут. остальными закончим буквально 5 минут. Ну, мы в целом всё обсудили. То есть вот Ну, мы в целом всё обсудили. То есть вот Ну, мы в целом всё обсудили. То есть вот ещё раз мы были на этом моменте, что мы ещё раз мы были на этом моменте, что мы

03:00:54ещё раз мы были на этом моменте, что мы после того, как реализовали все функции, после того, как реализовали все функции, после того, как реализовали все функции, которые посчитать, у нас line search. которые посчитать, у нас line search. которые посчитать, у нас line search. Ещё раз, что такое line search? У нас Ещё раз, что такое line search? У нас Ещё раз, что такое line search? У нас есть изначальная точка, есть конечная есть изначальная точка, есть конечная есть изначальная точка, есть конечная точка, и мы считаем, что функция она точка, и мы считаем, что функция она точка, и мы считаем, что функция она конкей внутри, то есть монотонно растёт конкей внутри, то есть монотонно растёт

03:01:06конкей внутри, то есть монотонно растёт до максимума. Потом монотомно бывает. до максимума. Потом монотомно бывает. до максимума. Потом монотомно бывает. Соответственно, мы вводим backtrack Соответственно, мы вводим backtrack Соответственно, мы вводим backtrack coefficient. Это насколько далеко, э, coefficient. Это насколько далеко, э, coefficient. Это насколько далеко, э, делим мы линию назад. Ну, то есть тут делим мы линию назад. Ну, то есть тут делим мы линию назад. Ну, то есть тут 0,5. Это значит мы её делим пополам. 0,5. Это значит мы её делим пополам. 0,5. Это значит мы её делим пополам. Каждый раз мы встали пополам, Каждый раз мы встали пополам,

03:01:21Каждый раз мы встали пополам, посмотрели, лос лучше или хуже. Если мы посмотрели, лос лучше или хуже. Если мы посмотрели, лос лучше или хуже. Если мы всё ещё внутри дивергенции, то есть всё ещё внутри дивергенции, то есть всё ещё внутри дивергенции, то есть далеко не ушли. Но здесь, учитывая, что далеко не ушли. Но здесь, учитывая, что далеко не ушли. Но здесь, учитывая, что мы начинаем с максимального шага и мы начинаем с максимального шага и мы начинаем с максимального шага и двигаемся назад, мы далеко и не уйдём. двигаемся назад, мы далеко и не уйдём. двигаемся назад, мы далеко и не уйдём. Но тут как бы такая проверка просто Но тут как бы такая проверка просто

03:01:35Но тут как бы такая проверка просто техническая. И если наш новый лосс техническая. И если наш новый лосс техническая. И если наш новый лосс меньше, чем прошлый лосс, тогда мы меньше, чем прошлый лосс, тогда мы меньше, чем прошлый лосс, тогда мы обновляем и говорим, что вот мы сделали, обновляем и говорим, что вот мы сделали, обновляем и говорим, что вот мы сделали, сделали поиск и обновили точку. И так сделали поиск и обновили точку. И так сделали поиск и обновили точку. И так делаем какое-то количество раз. То есть, делаем какое-то количество раз. То есть, делаем какое-то количество раз. То есть, смотрите, вы спрашивали, да, как мы это смотрите, вы спрашивали, да, как мы это

03:01:47смотрите, вы спрашивали, да, как мы это будем будем делать. Мы просто вводим max будем будем делать. Мы просто вводим max будем будем делать. Мы просто вводим max backтcks, ээ backтcks, ээ backтcks, ээ backracks. Сколько максимальное backracks. Сколько максимальное backracks. Сколько максимальное количество раз, которое мы будем количество раз, которое мы будем количество раз, которое мы будем отходить вот назад, да, и вернее делить отходить вот назад, да, и вернее делить отходить вот назад, да, и вернее делить пополам наши отрезки. И вот мы эти пополам наши отрезки. И вот мы эти пополам наши отрезки. И вот мы эти отрезки делим пополам, соответственно, отрезки делим пополам, соответственно,

03:02:03отрезки делим пополам, соответственно, 10 раз. И после этого говорим, что вот 10 раз. И после этого говорим, что вот 10 раз. И после этого говорим, что вот то, что мы получили, это есть наш новый то, что мы получили, это есть наш новый то, что мы получили, это есть наш новый X. Новый X - это новое значение X. Новый X - это новое значение X. Новый X - это новое значение параметров нейронки. То есть изначально параметров нейронки. То есть изначально параметров нейронки. То есть изначально мы взяли X второе значение параметров и мы взяли X второе значение параметров и мы взяли X второе значение параметров и сдвинулись новые. сдвинулись новые.

03:02:16сдвинулись новые. Вдруг повезёт это про что? Про что? Ну Вдруг повезёт это про что? Про что? Ну Вдруг повезёт это про что? Про что? Ну что, вдруг повезёт нам найти что, вдруг повезёт нам найти что, вдруг повезёт нам найти параметры или или что?

03:02:28Промето. Ну, смотрите, не совсем вдруг Промето. Ну, смотрите, не совсем вдруг повезёт, да? Это про то, что мы у нас повезёт, да? Это про то, что мы у нас повезёт, да? Это про то, что мы у нас есть какой-то educated guess в какую-то есть какой-то educated guess в какую-то есть какой-то educated guess в какую-то в какую сторону надо идти. То есть у нас в какую сторону надо идти. То есть у нас в какую сторону надо идти. То есть у нас есть какое-то предположение, что вот есть какое-то предположение, что вот есть какое-то предположение, что вот loss э вы же помните бинарный поиск, да? loss э вы же помните бинарный поиск, да?

03:02:39loss э вы же помните бинарный поиск, да? То есть мы знаем в бинарном поиске мы То есть мы знаем в бинарном поиске мы То есть мы знаем в бинарном поиске мы знаем, что у нас функция монотонна, и мы знаем, что у нас функция монотонна, и мы знаем, что у нас функция монотонна, и мы знаем, что если делить пополам, то мы знаем, что если делить пополам, то мы знаем, что если делить пополам, то мы можем сравнивать это значение и можем сравнивать это значение и можем сравнивать это значение и понимать, в какую сторону двигаться. Тут понимать, в какую сторону двигаться. Тут понимать, в какую сторону двигаться. Тут идея примерно такая же, только нам как идея примерно такая же, только нам как

03:02:50идея примерно такая же, только нам как бы не дал никто монотонность, а мы сами бы не дал никто монотонность, а мы сами бы не дал никто монотонность, а мы сами решили её из ниоткуда взять. Но, видите, решили её из ниоткуда взять. Но, видите, решили её из ниоткуда взять. Но, видите, помогает, как правило, для как правило помогает, как правило, для как правило помогает, как правило, для как правило для ТПО, потому что локально у вас для ТПО, потому что локально у вас для ТПО, потому что локально у вас функции всё ещё довольно смуз. Ну, функции всё ещё довольно смуз. Ну, функции всё ещё довольно смуз. Ну, просто потому что как бы у вас там просто потому что как бы у вас там

03:03:02просто потому что как бы у вас там внутри advantage, который нормализован, внутри advantage, который нормализован, внутри advantage, который нормализован, и примерно более-менее это будет и примерно более-менее это будет и примерно более-менее это будет достаточно смус функции. Вот. Вот и всё. достаточно смус функции. Вот. Вот и всё. достаточно смус функции. Вот. Вот и всё. Но да, конечно, есть какие-то тут нет Но да, конечно, есть какие-то тут нет Но да, конечно, есть какие-то тут нет каких-то супергарантий, как к этому надо каких-то супергарантий, как к этому надо каких-то супергарантий, как к этому надо сходиться. Дальше сопряжённые градиенты. сходиться. Дальше сопряжённые градиенты.

03:03:16сходиться. Дальше сопряжённые градиенты. Ещё раз, э, предлагается на это смотреть Ещё раз, э, предлагается на это смотреть Ещё раз, э, предлагается на это смотреть просто как метод решения, который здесь просто как метод решения, который здесь просто как метод решения, который здесь уже закожен. Кому интереснее, уже закожен. Кому интереснее, уже закожен. Кому интереснее, естественно, естественно, естественно, могу рассказать детальнее, но важно это могу рассказать детальнее, но важно это могу рассказать детальнее, но важно это просто, если мы знаем, что у нас, ну, просто, если мы знаем, что у нас, ну, просто, если мы знаем, что у нас, ну, вот в этой нотации функция а, а в нашем

03:03:28вот в этой нотации функция а, а в нашем вот в этой нотации функция а, а в нашем случае это гисиан кль дивергенции, если случае это гисиан кль дивергенции, если случае это гисиан кль дивергенции, если мы знаем, что он положительно мы знаем, что он положительно мы знаем, что он положительно определённый, э-э, ну, соответственно, определённый, э-э, ну, соответственно, определённый, э-э, ну, соответственно, мы знаем то, что и обратная, ну, и мы знаем то, что и обратная, ну, и мы знаем то, что и обратная, ну, и симметричная, и обратная матрица от него симметричная, и обратная матрица от него симметричная, и обратная матрица от него будет такой же. Ну, и, соответственно,

03:03:42будет такой же. Ну, и, соответственно, будет такой же. Ну, и, соответственно, мы просто применяем этот метод для того, мы просто применяем этот метод для того, мы просто применяем этот метод для того, чтобы более более быстро решать задачу чтобы более более быстро решать задачу чтобы более более быстро решать задачу вместо обращения за кубическое время. вместо обращения за кубическое время. вместо обращения за кубическое время. Здесь есть ссылка, кто хочет, можете Здесь есть ссылка, кто хочет, можете Здесь есть ссылка, кто хочет, можете почитать. Ну и на Википедии есть хорошее почитать. Ну и на Википедии есть хорошее

03:03:51почитать. Ну и на Википедии есть хорошее объяснение. Вот здесь просто проверка объяснение. Вот здесь просто проверка объяснение. Вот здесь просто проверка conjug gradient, что всё работает, как conjug gradient, что всё работает, как conjug gradient, что всё работает, как бы. И ещё раз тренировку. Я, в общем, ээ бы. И ещё раз тренировку. Я, в общем, ээ бы. И ещё раз тренировку. Я, в общем, ээ про неё пробежался, но давайте ещё раз про неё пробежался, но давайте ещё раз про неё пробежался, но давайте ещё раз детальнее. То есть мы взяли то, что мы детальнее. То есть мы взяли то, что мы детальнее. То есть мы взяли то, что мы всё получили, наши все обервеation, всё получили, наши все обервеation,

03:04:05всё получили, наши все обервеation, экшены, ретрны, да, в данном случае не экшены, ретрны, да, в данном случае не экшены, ретрны, да, в данном случае не advantage, а именно просто суммарные advantage, а именно просто суммарные advantage, а именно просто суммарные награды, проигранные до конца эпизоды. награды, проигранные до конца эпизоды. награды, проигранные до конца эпизоды. Дальше мы считаем сс по вот нашей Дальше мы считаем сс по вот нашей Дальше мы считаем сс по вот нашей функции, да? То есть ещё раз, loss - это функции, да? То есть ещё раз, loss - это функции, да? То есть ещё раз, loss - это по отношени сурогатного объектива, то, по отношени сурогатного объектива, то,

03:04:18по отношени сурогатного объектива, то, как мы считаем loss. Вот. Дальше, как мы считаем loss. Вот. Дальше, как мы считаем loss. Вот. Дальше, соответственно, мы получа получили соответственно, мы получа получили соответственно, мы получа получили градиенты от этого лосса. Ещё раз, мы градиенты от этого лосса. Ещё раз, мы градиенты от этого лосса. Ещё раз, мы здесь не делаем стандартный оптимайer здесь не делаем стандартный оптимайer здесь не делаем стандартный оптимайer step, а мы именно сами через линейный step, а мы именно сами через линейный step, а мы именно сами через линейный поиск обновляем параметры, поэтому поиск обновляем параметры, поэтому

03:04:31поиск обновляем параметры, поэтому градиенты просто здесь достаём. Вот. Ну градиенты просто здесь достаём. Вот. Ну градиенты просто здесь достаём. Вот. Ну и, соответственно, мы здесь получаем и, соответственно, мы здесь получаем и, соответственно, мы здесь получаем градиенты как вектор для для всех градиенты как вектор для для всех градиенты как вектор для для всех параметров, да? И вот этот вотград - это параметров, да? И вот этот вотград - это параметров, да? И вот этот вотград - это то, что мы пытаемся найти, как вы то, что мы пытаемся найти, как вы то, что мы пытаемся найти, как вы помните, в нашем помните, в нашем помните, в нашем случае случае

03:04:47случае сопренных градиентов. То есть ещё раз, а сопренных градиентов. То есть ещё раз, а сопренных градиентов. То есть ещё раз, а вот тут то, что написано - это наша вот тут то, что написано - это наша вот тут то, что написано - это наша функция K ээсиан к дивергенции. А, как функция K ээсиан к дивергенции. А, как функция K ээсиан к дивергенции. А, как вы помните, когда мы пытаемся это найти, вы помните, когда мы пытаемся это найти, вы помните, когда мы пытаемся это найти, это и есть наш градиент. То есть мы это и есть наш градиент. То есть мы это и есть наш градиент. То есть мы пытаемся решить уравнение так, чтобы пытаемся решить уравнение так, чтобы

03:05:02пытаемся решить уравнение так, чтобы приравняться градиенту. Ну, только как приравняться градиенту. Ну, только как приравняться градиенту. Ну, только как бы надо не запутаться, да, в какую бы надо не запутаться, да, в какую бы надо не запутаться, да, в какую сторону, что здесь надо поставить минус, сторону, что здесь надо поставить минус, сторону, что здесь надо поставить минус, потому что там мы работали с гради потому что там мы работали с гради потому что там мы работали с гради астом, а здесь уже случай градиент астом, а здесь уже случай градиент астом, а здесь уже случай градиент дисента. Поэтому мы делаем минус дисента. Поэтому мы делаем минус

03:05:12дисента. Поэтому мы делаем минус градиента. Это конкрент - это просто градиента. Это конкрент - это просто градиента. Это конкрент - это просто функция, которую мы смотрели, которая на функция, которую мы смотрели, которая на функция, которую мы смотрели, которая на вход мы получаем функцию, которая отдаёт вход мы получаем функцию, которая отдаёт вход мы получаем функцию, которая отдаёт вот это вот ax, то есть левую часть а - вот это вот ax, то есть левую часть а - вот это вот ax, то есть левую часть а - это то, что мы ээ знаем, чему оно должно это то, что мы ээ знаем, чему оно должно это то, что мы ээ знаем, чему оно должно быть равно. и нам вернёт решение для X,

03:05:27быть равно. и нам вернёт решение для X, быть равно. и нам вернёт решение для X, то есть для вот этой вот штуки, которая то есть для вот этой вот штуки, которая то есть для вот этой вот штуки, которая будет наше направление, да, то, что тут будет наше направление, да, то, что тут будет наше направление, да, то, что тут называется stepпdarр, то есть это называется stepпdarр, то есть это называется stepпdarр, то есть это направление, в какую сторону надо направление, в какую сторону надо направление, в какую сторону надо двигаться. Вот это случай conjugate двигаться. Вот это случай conjugate двигаться. Вот это случай conjugate gradient. Conjugate gradient, как вы

03:05:38gradient. Conjugate gradient, как вы gradient. Conjugate gradient, как вы помните, левая часть, что это такое? Это помните, левая часть, что это такое? Это помните, левая часть, что это такое? Это соответственно наша матрица K умножить соответственно наша матрица K умножить соответственно наша матрица K умножить на вот это вот решение на S, да, на вот это вот решение на S, да, на вот это вот решение на S, да, решение, которое мы получим. решение, которое мы получим. решение, которое мы получим. Соответственно, мы хотим решить KS = G. Соответственно, мы хотим решить KS = G. Соответственно, мы хотим решить KS = G. И поэтому здесь надо более эффективно И поэтому здесь надо более эффективно

03:05:55И поэтому здесь надо более эффективно это посчитать через Fisher Vector это посчитать через Fisher Vector это посчитать через Fisher Vector Product. Соответственно, мы в итоге Product. Соответственно, мы в итоге Product. Соответственно, мы в итоге получаем, ну, как раз-таки нашу наш наше получаем, ну, как раз-таки нашу наш наше получаем, ну, как раз-таки нашу наш наше значение в значение в значение в вот этого произведения в этой точке, то вот этого произведения в этой точке, то вот этого произведения в этой точке, то есть произведение K у V. И за счёт вот есть произведение K у V. И за счёт вот есть произведение K у V. И за счёт вот постоянно много раз повторения этого мы

03:06:13постоянно много раз повторения этого мы постоянно много раз повторения этого мы получим с вами как раз-таки вот через получим с вами как раз-таки вот через получим с вами как раз-таки вот через код getгради получим с вами ответ. Вот. код getгради получим с вами ответ. Вот. код getгради получим с вами ответ. Вот. Соответственно, дальше что происходит? Соответственно, дальше что происходит? Соответственно, дальше что происходит? Здесь мы берём, здесь я расписал, что вы Здесь мы берём, здесь я расписал, что вы Здесь мы берём, здесь я расписал, что вы можете в такую тихую секунду сесть и можете в такую тихую секунду сесть и можете в такую тихую секунду сесть и просто посмотреть, почему мы на это

03:06:28просто посмотреть, почему мы на это просто посмотреть, почему мы на это именно умножаем. Можно делать на минус именно умножаем. Можно делать на минус именно умножаем. Можно делать на минус градиент, но тут мы просто хотим градиент, но тут мы просто хотим градиент, но тут мы просто хотим посчитать то, что у нас стоит, помните, посчитать то, что у нас стоит, помните, посчитать то, что у нас стоит, помните, в знаменателе в внутри лекции мы в знаменателе в внутри лекции мы в знаменателе в внутри лекции мы смотрели в знаменателе нашей альфа, то смотрели в знаменателе нашей альфа, то смотрели в знаменателе нашей альфа, то есть нашего степсайза, которое мы через

03:06:41есть нашего степсайза, которое мы через есть нашего степсайза, которое мы через дельту вычисляем. Вот. Ну и, дельту вычисляем. Вот. Ну и, дельту вычисляем. Вот. Ну и, соответственно, как бы мы здесь получаем соответственно, как бы мы здесь получаем соответственно, как бы мы здесь получаем 1 / альфа вот этой штукой. Ну и stepп, 1 / альфа вот этой штукой. Ну и stepп, 1 / альфа вот этой штукой. Ну и stepп, то есть максимально, сколько мы можем то есть максимально, сколько мы можем то есть максимально, сколько мы можем двинуться до края KL дивергенции двинуться до края KL дивергенции двинуться до края KL дивергенции в сторону улучшения, пока задаётся этой в сторону улучшения, пока задаётся этой

03:06:55в сторону улучшения, пока задаётся этой штукой fullстп. Ну и дальше как бы мы штукой fullстп. Ну и дальше как бы мы штукой fullстп. Ну и дальше как бы мы получаем наши параметры в вытянутом виде получаем наши параметры в вытянутом виде получаем наши параметры в вытянутом виде и получаем, соответственно, здесь loss и и получаем, соответственно, здесь loss и и получаем, соответственно, здесь loss и дивергенцию подкладная функция. Это дивергенцию подкладная функция. Это дивергенцию подкладная функция. Это helper функция. И дальше она нам нужна helper функция. И дальше она нам нужна helper функция. И дальше она нам нужна для line search. Внутри linearch мы, как

03:07:10для line search. Внутри linearch мы, как для line search. Внутри linearch мы, как вы помните, что делаем? Мы из этой вы помните, что делаем? Мы из этой вы помните, что делаем? Мы из этой функции получаем с икдивергенцию и функции получаем с икдивергенцию и функции получаем с икдивергенцию и проверяем, что Кльди дивергенция не проверяем, что Кльди дивергенция не проверяем, что Кльди дивергенция не превысила, ну, опять-таки, раз мы шагаем превысила, ну, опять-таки, раз мы шагаем превысила, ну, опять-таки, раз мы шагаем в обратную сторону, она и не превысит. в обратную сторону, она и не превысит. в обратную сторону, она и не превысит. Это просто для проверки, для того, чтобы

03:07:24Это просто для проверки, для того, чтобы Это просто для проверки, для того, чтобы можно было потенциально использовать можно было потенциально использовать можно было потенциально использовать какие-то более сложные методы, да, если какие-то более сложные методы, да, если какие-то более сложные методы, да, если хотите. Вот. Но, соответственно, в хотите. Вот. Но, соответственно, в хотите. Вот. Но, соответственно, в основном мы сравниваем, если он меньше, основном мы сравниваем, если он меньше, основном мы сравниваем, если он меньше, то мы обновляем параметры и выдаём, то мы обновляем параметры и выдаём, то мы обновляем параметры и выдаём, соответственно, наше решение. Вот это

03:07:37соответственно, наше решение. Вот это соответственно, наше решение. Вот это то, что у нас получилось с историей вот то, что у нас получилось с историей вот то, что у нас получилось с историей вот тут вот. Вот наши новые параметры. И тут вот. Вот наши новые параметры. И тут вот. Вот наши новые параметры. И потом мы их просто обновляем. И вот весь потом мы их просто обновляем. И вот весь потом мы их просто обновляем. И вот весь алгоритм. Понятно, что здесь много алгоритм. Понятно, что здесь много алгоритм. Понятно, что здесь много всего, что уже за нас было сделано, но всего, что уже за нас было сделано, но всего, что уже за нас было сделано, но тоже, как бы, мне кажется, в лекции мы

03:07:51тоже, как бы, мне кажется, в лекции мы тоже, как бы, мне кажется, в лекции мы рассмотрели эту историю как более рассмотрели эту историю как более рассмотрели эту историю как более сложную, а в реальности, ну, сложно сложную, а в реальности, ну, сложно сложную, а в реальности, ну, сложно имплементировать и сложно, чтобы имплементировать и сложно, чтобы имплементировать и сложно, чтобы заработало, но не настолько, кажется. заработало, но не настолько, кажется. заработало, но не настолько, кажется. Ну, всё, здесь мы просто делаем Ну, всё, здесь мы просто делаем Ну, всё, здесь мы просто делаем обучение, то есть мы делаем апдейты, да, обучение, то есть мы делаем апдейты, да,

03:08:03обучение, то есть мы делаем апдейты, да, step - это ещё раз вот эта большая step - это ещё раз вот эта большая step - это ещё раз вот эта большая функция, на которую мы смотрели, да, функция, на которую мы смотрели, да, функция, на которую мы смотрели, да, сделали апдейт, соответственно, дальше сделали апдейт, соответственно, дальше сделали апдейт, соответственно, дальше мы снова поиграли. мы снова поиграли. мы снова поиграли. Вот здесь вот роollут нашим агентам. Вот здесь вот роollут нашим агентам. Вот здесь вот роollут нашим агентам. Поиграли, обновили. Итак, делаем всего Поиграли, обновили. Итак, делаем всего Поиграли, обновили. Итак, делаем всего 100 раз. То есть, помните, мы обычно там

03:08:19100 раз. То есть, помните, мы обычно там 100 раз. То есть, помните, мы обычно там тысячи туда-сюда сделаем делаем всего тысячи туда-сюда сделаем делаем всего тысячи туда-сюда сделаем делаем всего 100 раз. Для этого инвайронмента, где мы 100 раз. Для этого инвайронмента, где мы 100 раз. Для этого инвайронмента, где мы штуку перекидываем, вы, наверное, штуку перекидываем, вы, наверное, штуку перекидываем, вы, наверное, помните, или если не помните, напомню, помните, или если не помните, напомню, помните, или если не помните, напомню, что считается, если средний реворт что считается, если средний реворт что считается, если средний реворт меньше, чем -100, то мы решили задачу.

03:08:33меньше, чем -100, то мы решили задачу. меньше, чем -100, то мы решили задачу. Ну, потому что, как бы, мы научились Ну, потому что, как бы, мы научились Ну, потому что, как бы, мы научились закидывать наверх. Это считается, это в закидывать наверх. Это считается, это в закидывать наверх. Это считается, это в плане это шхолд, который Open AI в плане это шхолд, который Open AI в плане это шхолд, который Open AI в Джимме изначальном, ну, и гимназиуме Джимме изначальном, ну, и гимназиуме Джимме изначальном, ну, и гимназиуме текущем описан, соответственно, вот это текущем описан, соответственно, вот это текущем описан, соответственно, вот это как бы ээ такая вот штука. как бы ээ такая вот штука.

03:08:46как бы ээ такая вот штука. Соответственно, Соответственно, Соответственно, так, скажите, а тут вопросы какие-нибудь так, скажите, а тут вопросы какие-нибудь так, скажите, а тут вопросы какие-нибудь есть или обсуждаю и и всё понятно? есть или обсуждаю и и всё понятно? есть или обсуждаю и и всё понятно? Буквально 2 минуты и мы закончим. Так, надеюсь, вопросов нет. Напишите, Так, надеюсь, вопросов нет. Напишите, пожалуйста, меня слышно просто пожалуйста, меня слышно просто пожалуйста, меня слышно просто кто-нибудь, если не сложно, часть плюсик кто-нибудь, если не сложно, часть плюсик кто-нибудь, если не сложно, часть плюсик в чате на всякий случай. в чате на всякий случай.

03:09:14в чате на всякий случай. >> Спасибо большое. Всё, спасибо. Спасибо. >> Спасибо большое. Всё, спасибо. Спасибо. >> Спасибо большое. Всё, спасибо. Спасибо. Да, так что победиться. Вот. Да, так что победиться. Вот. Да, так что победиться. Вот. Соответственно, э что мы тут видим? Ну, Соответственно, э что мы тут видим? Ну, Соответственно, э что мы тут видим? Ну, мы проиграли 100 100, соответственно, мы проиграли 100 100, соответственно, мы проиграли 100 100, соответственно, разных итераций обновления. Мы видим, разных итераций обновления. Мы видим, разных итераций обновления. Мы видим, что мы сотню уже пере, ну вот я говорил что мы сотню уже пере, ну вот я говорил

03:09:27что мы сотню уже пере, ну вот я говорил до до двадцатой эпохи, видите, был не до до двадцатой эпохи, видите, был не до до двадцатой эпохи, видите, был не прав. Ну до тридцатой мы уж точно к прав. Ну до тридцатой мы уж точно к прав. Ну до тридцатой мы уж точно к этому сошлись. И дальше мы немножко этому сошлись. И дальше мы немножко этому сошлись. И дальше мы немножко улучшаем политику, как бы ещё быстрее улучшаем политику, как бы ещё быстрее улучшаем политику, как бы ещё быстрее учимся эту штуку перекидывать, но учимся эту штуку перекидывать, но учимся эту штуку перекидывать, но довольно быстро сошлись. Ну и как вы довольно быстро сошлись. Ну и как вы

03:09:39довольно быстро сошлись. Ну и как вы видите, по времени для этой истории видите, по времени для этой истории видите, по времени для этой истории всего 3 минуты. Ну как бы реально всего 3 минуты. Ну как бы реально всего 3 минуты. Ну как бы реально довольно быстро, ну там о'кей, 4 минуты, довольно быстро, ну там о'кей, 4 минуты, довольно быстро, ну там о'кей, 4 минуты, да, для 100 эпох. То есть мы довольно да, для 100 эпох. То есть мы довольно да, для 100 эпох. То есть мы довольно быстро сошлись. Вот он крутой по. И ещё быстро сошлись. Вот он крутой по. И ещё быстро сошлись. Вот он крутой по. И ещё раз напомню, вы можете посмотреть при раз напомню, вы можете посмотреть при

03:09:51раз напомню, вы можете посмотреть при желании взять этот код, попробовать его желании взять этот код, попробовать его желании взять этот код, попробовать его применить на Лунер-лендере и посмотреть применить на Лунер-лендере и посмотреть применить на Лунер-лендере и посмотреть то, что Lunerlander то, что Lunerlander то, что Lunerlander спу возможно придётся что-то что-то спу возможно придётся что-то что-то спу возможно придётся что-то что-то добавить, я уж сходу не помню, но ээ добавить, я уж сходу не помню, но ээ добавить, я уж сходу не помню, но ээ возможно придётся advantage сделать, но возможно придётся advantage сделать, но

03:10:04возможно придётся advantage сделать, но в остальном реально эта история может в остальном реально эта история может в остальном реально эта история может может ээ завестись. Сколько параметров у может ээ завестись. Сколько параметров у может ээ завестись. Сколько параметров у нас модели? Ну, смотрите, мы у нас нас модели? Ну, смотрите, мы у нас нас модели? Ну, смотрите, мы у нас моделька маленькая, в этом случае её уже моделька маленькая, в этом случае её уже моделька маленькая, в этом случае её уже достаточно. У нас же всего два слоя. достаточно. У нас же всего два слоя. достаточно. У нас же всего два слоя. Сейчас давайте его выведу. Всего два Сейчас давайте его выведу. Всего два

03:10:19Сейчас давайте его выведу. Всего два слоя.

03:10:59262. Естественно, если будет их больше, 262. Естественно, если будет их больше, если вы будете делать какиt, начнутся если вы будете делать какиt, начнутся если вы будете делать какиt, начнутся проблемы с ТПО. Ну, как мы обсудили, проблемы с ТПО. Ну, как мы обсудили, проблемы с ТПО. Ну, как мы обсудили, во-первых, естественно, наш to алгоритм во-первых, естественно, наш to алгоритм во-первых, естественно, наш to алгоритм - это всё-таки теперь будет PPO. Мы - это всё-таки теперь будет PPO. Мы - это всё-таки теперь будет PPO. Мы просто здесь хотели это посмотреть, а просто здесь хотели это посмотреть, а просто здесь хотели это посмотреть, а PPO вы реализуете сами дома, да, потому

03:11:12PPO вы реализуете сами дома, да, потому PPO вы реализуете сами дома, да, потому что это реально суперполезный алгоритм. что это реально суперполезный алгоритм. что это реально суперполезный алгоритм. А во-вторых, есть разные тоже способы, А во-вторых, есть разные тоже способы, А во-вторых, есть разные тоже способы, помните, которые упоминал, делать, помните, которые упоминал, делать, помните, которые упоминал, делать, допустим, аппроксимацию матрицы K. Тогда допустим, аппроксимацию матрицы K. Тогда допустим, аппроксимацию матрицы K. Тогда мы во многом эту историю побьём. Вот. мы во многом эту историю побьём. Вот. мы во многом эту историю побьём. Вот. Надеюсь, на этот вопрос ответил. Вот,

03:11:24Надеюсь, на этот вопрос ответил. Вот, Надеюсь, на этот вопрос ответил. Вот, соответственно, здесь, ну, как вы соответственно, здесь, ну, как вы соответственно, здесь, ну, как вы видите, по расходимости всё посмотрел. видите, по расходимости всё посмотрел. видите, по расходимости всё посмотрел. Можно тут с разными вещами поиграться, Можно тут с разными вещами поиграться, Можно тут с разными вещами поиграться, но давайте просто, чтобы завершить, но давайте просто, чтобы завершить, но давайте просто, чтобы завершить, буквально минуту всё посмотрю. буквально минуту всё посмотрю. буквально минуту всё посмотрю. Сохранились видосы, которые у меня Сохранились видосы, которые у меня

03:11:36Сохранились видосы, которые у меня просто в ноутбуке, они не появляются. просто в ноутбуке, они не появляются. просто в ноутбуке, они не появляются. Видосы, которые мы записали, как играет Видосы, которые мы записали, как играет Видосы, которые мы записали, как играет наш агент, и проверим, соответственно, наш агент, и проверим, соответственно, наш агент, и проверим, соответственно, как как там это вообще всё у нас как как там это вообще всё у нас как как там это вообще всё у нас получилось или не получилось. получилось или не получилось. получилось или не получилось. Так, сейчас открою.

03:11:59Так, давайте вместе посмотрим. Тут как Так, давайте вместе посмотрим. Тут как закинул.

03:12:08Так, здесь есть такая штука, что в Так, здесь есть такая штука, что в ноутбуке, давайте обратно ноутбук ноутбуке, давайте обратно ноутбук ноутбуке, давайте обратно ноутбук зашерю. зашерю. зашерю. Здесь есть такая штука, что в ноутбуке Здесь есть такая штука, что в ноутбуке Здесь есть такая штука, что в ноутбуке вот здесь вот надо поставить побольше. вот здесь вот надо поставить побольше. вот здесь вот надо поставить побольше. Это я запушил этот ноутбук. 1.000 Это я запушил этот ноутбук. 1.000 Это я запушил этот ноутбук. 1.000 таймстемпов - это сколько он будет видео таймстемпов - это сколько он будет видео таймстемпов - это сколько он будет видео собирать? То есть мы, как вы видите,

03:12:21собирать? То есть мы, как вы видите, собирать? То есть мы, как вы видите, почти закинули. Просто как бы он видео почти закинули. Просто как бы он видео почти закинули. Просто как бы он видео обрубил раньше. Сейчас я покажу обрубил раньше. Сейчас я покажу обрубил раньше. Сейчас я покажу какое-нибудь другое видео, э, где оно какое-нибудь другое видео, э, где оно какое-нибудь другое видео, э, где оно закинулось. Но да, это как бы просто закинулось. Но да, это как бы просто закинулось. Но да, это как бы просто технический момент. Ну, вы видели, что технический момент. Ну, вы видели, что технический момент. Ну, вы видели, что уже до ко до конца там всё всё уже до ко до конца там всё всё

03:12:32уже до ко до конца там всё всё сработало. Просто как бы момент, когда сработало. Просто как бы момент, когда сработало. Просто как бы момент, когда мы обрубили траекторию. Просто её надо мы обрубили траекторию. Просто её надо мы обрубили траекторию. Просто её надо побольше или можно просто до выхода пока побольше или можно просто до выхода пока побольше или можно просто до выхода пока мы не перекинем по-другому это написать. мы не перекинем по-другому это написать. мы не перекинем по-другому это написать. Вот. Но как вариант вот так вот. Вот. Но как вариант вот так вот. Вот. Но как вариант вот так вот. Вот. Ну, здесь тоже, видите, он Вот. Ну, здесь тоже, видите, он

03:12:45Вот. Ну, здесь тоже, видите, он перекинул. Просто мы это не записали как перекинул. Просто мы это не записали как перекинул. Просто мы это не записали как видос. Вот. Давайте какой-нибудь уж видос. Вот. Давайте какой-нибудь уж видос. Вот. Давайте какой-нибудь уж посмотрю.

03:13:15Ну вот мы раскачали и получилось Ну вот мы раскачали и получилось закинуть. Ну это так просто для по закинуть. Ну это так просто для по закинуть. Ну это так просто для по приколу, как как это выглядит. Вот это приколу, как как это выглядит. Вот это приколу, как как это выглядит. Вот это всё, что хотелось сегодня рассказать. То всё, что хотелось сегодня рассказать. То всё, что хотелось сегодня рассказать. То есть суммарно мы с вами придумали, как есть суммарно мы с вами придумали, как есть суммарно мы с вами придумали, как перейти в Pocy Space и немножечко лучше перейти в Pocy Space и немножечко лучше перейти в Pocy Space и немножечко лучше делать апдейты, больше используя

03:13:29делать апдейты, больше используя делать апдейты, больше используя информации, не паясь то, что у нас информации, не паясь то, что у нас информации, не паясь то, что у нас немножко старая уже политика, которую мы немножко старая уже политика, которую мы немножко старая уже политика, которую мы собирали траектории, и за счёт этого собирали траектории, и за счёт этого собирали траектории, и за счёт этого сильно улучшить алгоритмы и дошли до сильно улучшить алгоритмы и дошли до сильно улучшить алгоритмы и дошли до ПPO, который реально супер крутой, супер ПPO, который реально супер крутой, супер ПPO, который реально супер крутой, супер иззвестный алгоритм, который иззвестный алгоритм, который

03:13:41иззвестный алгоритм, который используется до сих пор. Ээ, если есть используется до сих пор. Ээ, если есть используется до сих пор. Ээ, если есть вопросы, задавайте, пожалуйста. Если вопросы, задавайте, пожалуйста. Если вопросы, задавайте, пожалуйста. Если нет, то спасибо, что завернулись. Вот. нет, то спасибо, что завернулись. Вот. нет, то спасибо, что завернулись. Вот. Надеюсь, что было полезно. Я считаю, Надеюсь, что было полезно. Я считаю, Надеюсь, что было полезно. Я считаю, классно, что мы в деталях таких классно, что мы в деталях таких классно, что мы в деталях таких обсудили. Всем спасибо большое. обсудили. Всем спасибо большое. обсудили. Всем спасибо большое. Хорошего. Хорошего.

03:13:54Хорошего. >> У меня есть вопрос такой очно >> У меня есть вопрос такой очно >> У меня есть вопрос такой очно >> немного. А вопрос, в общем, такой вот мы >> немного. А вопрос, в общем, такой вот мы >> немного. А вопрос, в общем, такой вот мы начали изначально с табличных сред, да, начали изначально с табличных сред, да, начали изначально с табличных сред, да, man оператора и там у нас man оператора и там у нас man оператора и там у нас было решение, а то есть это fix point, было решение, а то есть это fix point, было решение, а то есть это fix point, да, которое было нашим решением, и потом да, которое было нашим решением, и потом

03:14:13да, которое было нашим решением, и потом перешли вот уже к градиентм методам, где перешли вот уже к градиентм методам, где перешли вот уже к градиентм методам, где выбрали там какой-то обжектив и начали выбрали там какой-то обжектив и начали выбрали там какой-то обжектив и начали на него уже градиентом оптимизироваться. на него уже градиентом оптимизироваться. на него уже градиентом оптимизироваться. Вот я у меня что-то в голове как-то не Вот я у меня что-то в голове как-то не Вот я у меня что-то в голове как-то не складывается связь. Как можно это складывается связь. Как можно это складывается связь. Как можно это связать вот с уравнениями Белмана, с связать вот с уравнениями Белмана, с

03:14:25связать вот с уравнениями Белмана, с которых мы начинали, и стоит ли вообще которых мы начинали, и стоит ли вообще которых мы начинали, и стоит ли вообще искать эту как бы связь? И является ли, искать эту как бы связь? И является ли, искать эту как бы связь? И является ли, например, вот наша оптимальная политика, например, вот наша оптимальная политика, например, вот наша оптимальная политика, которую мы найдём, например, с помощью которую мы найдём, например, с помощью которую мы найдём, например, с помощью PP, будет ли она, ну вот как это PP, будет ли она, ну вот как это PP, будет ли она, ну вот как это правильно сказать, там индуцировать, да, правильно сказать, там индуцировать, да,

03:14:39правильно сказать, там индуцировать, да, например, ну, если так можно выразиться, например, ну, если так можно выразиться, например, ну, если так можно выразиться, вот эту fixed point Bman оператора или вот эту fixed point Bman оператора или вот эту fixed point Bman оператора или это вообще как бы по-другому? это вообще как бы по-другому? это вообще как бы по-другому? Да, супер, спасибо за вопрос, хорошая Да, супер, спасибо за вопрос, хорошая Да, супер, спасибо за вопрос, хорошая связка. Смотрите, во-первых, связывать, связка. Смотрите, во-первых, связывать, связка. Смотрите, во-первых, связывать, конечно, точно нужно, потому что у вас конечно, точно нужно, потому что у вас

03:14:52конечно, точно нужно, потому что у вас все алгоритмы RL так или иначе они все алгоритмы RL так или иначе они все алгоритмы RL так или иначе они завязаны на белмена. То есть вот, завязаны на белмена. То есть вот, завязаны на белмена. То есть вот, допустим, то, что мы сегодня смотрели, допустим, то, что мы сегодня смотрели, допустим, то, что мы сегодня смотрели, как вы помните, вот, допустим, самый как вы помните, вот, допустим, самый как вы помните, вот, допустим, самый простой пример. Мы оценили Advantage. простой пример. Мы оценили Advantage. простой пример. Мы оценили Advantage. Откуда у нас вообще появился advantage? Откуда у нас вообще появился advantage?

03:15:04Откуда у нас вообще появился advantage? Advantage, как вы помните, это вообще Advantage, как вы помните, это вообще Advantage, как вы помните, это вообще история, которая как раз исследует из история, которая как раз исследует из история, которая как раз исследует из белman операторов. То есть как бы вы белman операторов. То есть как бы вы белman операторов. То есть как бы вы смотрите то, что можно раскрутить на смотрите то, что можно раскрутить на смотрите то, что можно раскрутить на один шаг вперёд -э вашу, соответственно один шаг вперёд -э вашу, соответственно один шаг вперёд -э вашу, соответственно траекторию и таким образом построить, траекторию и таким образом построить,

03:15:16траекторию и таким образом построить, соответственно, куфункцию, дальше соответственно, куфункцию, дальше соответственно, куфункцию, дальше построить value функцию. То есть мы всё построить value функцию. То есть мы всё построить value функцию. То есть мы всё ещё живём, и это верно для любого MDP, ещё живём, и это верно для любого MDP, ещё живём, и это верно для любого MDP, то есть мы от того, что не знаем среду, то есть мы от того, что не знаем среду, то есть мы от того, что не знаем среду, мы не ушли от истории, то, что у нас, э, мы не ушли от истории, то, что у нас, э, мы не ушли от истории, то, что у нас, э, наша оптимальная политика и наша, наша оптимальная политика и наша,

03:15:30наша оптимальная политика и наша, соответственно, value функция, которая соответственно, value функция, которая соответственно, value функция, которая оптимальная, то есть соответствует оптимальная, то есть соответствует оптимальная, то есть соответствует политики, что они порождают друг друга. политики, что они порождают друг друга. политики, что они порождают друг друга. Ну, то есть ещё раз, value функция Ну, то есть ещё раз, value функция Ну, то есть ещё раз, value функция оптимальная, она порождает много-много оптимальная, она порождает много-много оптимальная, она порождает много-много разных политик, все, которые разных политик, все, которые

03:15:39разных политик, все, которые оптимальные. Ну, естественно, множество оптимальные. Ну, естественно, множество оптимальные. Ну, естественно, множество может быть из из одной только политики, может быть из из одной только политики, может быть из из одной только политики, но она всегда какая-то есть и всегда но она всегда какая-то есть и всегда но она всегда какая-то есть и всегда детерминистическая. То есть от этого детерминистическая. То есть от этого детерминистическая. То есть от этого ничего не поменялось. Мы нашли разные ничего не поменялось. Мы нашли разные ничего не поменялось. Мы нашли разные способы, как пытаться эту политику способы, как пытаться эту политику

03:15:51способы, как пытаться эту политику найти, но всё ещё какая-то вот найти, но всё ещё какая-то вот найти, но всё ещё какая-то вот существующая оптимальная политика, она существующая оптимальная политика, она существующая оптимальная политика, она всегда детерминистическая, всегда всегда детерминистическая, всегда всегда детерминистическая, всегда соответствует самой оптимальной value соответствует самой оптимальной value соответствует самой оптимальной value функции. Просто здесь мы начали эти функции. Просто здесь мы начали эти функции. Просто здесь мы начали эти value функции оценивать через критика. И value функции оценивать через критика. И

03:16:02value функции оценивать через критика. И тот факт, что мы как бы как мы смогли их тот факт, что мы как бы как мы смогли их тот факт, что мы как бы как мы смогли их оценить, это напрямую завязано на оценить, это напрямую завязано на оценить, это напрямую завязано на белмена. То есть вот эта вот рекурсия, белмена. То есть вот эта вот рекурсия, белмена. То есть вот эта вот рекурсия, которую мы построили через value которую мы построили через value которую мы построили через value функцию, она завязано на том, что как бы функцию, она завязано на том, что как бы функцию, она завязано на том, что как бы мы ээ в критике Los, которая помните, мы ээ в критике Los, которая помните,

03:16:14мы ээ в критике Los, которая помните, да, там reward плюс гамма на value на да, там reward плюс гамма на value на да, там reward плюс гамма на value на следующем степе минус valю на текущем следующем степе минус valю на текущем следующем степе минус valю на текущем стейпе от этого всего. Соответственно, стейпе от этого всего. Соответственно, стейпе от этого всего. Соответственно, вот это это следует напрямую из Белмена, вот это это следует напрямую из Белмена, вот это это следует напрямую из Белмена, иначе бы мы критика не не смогли иначе бы мы критика не не смогли иначе бы мы критика не не смогли оптимизировать. Дальше, как вы помните, оптимизировать. Дальше, как вы помните,

03:16:28оптимизировать. Дальше, как вы помните, переходы, на которые мы смотрели переходы, на которые мы смотрели переходы, на которые мы смотрели сегодня, они во многом тоже, ну, как бы сегодня, они во многом тоже, ну, как бы сегодня, они во многом тоже, ну, как бы их оптимальность можно показать по их оптимальность можно показать по их оптимальность можно показать по белману. Но, да, как бы тут многие вещи, белману. Но, да, как бы тут многие вещи, белману. Но, да, как бы тут многие вещи, которые мы уже потеряли гарантии на сами которые мы уже потеряли гарантии на сами которые мы уже потеряли гарантии на сами алгоритмы. То есть мы не потеряли алгоритмы. То есть мы не потеряли

03:16:42алгоритмы. То есть мы не потеряли гарантии, что вот во всех средах, гарантии, что вот во всех средах, гарантии, что вот во всех средах, которые мы смотрим, что там есть где-то которые мы смотрим, что там есть где-то которые мы смотрим, что там есть где-то реально самая оптимальная политика, но реально самая оптимальная политика, но реально самая оптимальная политика, но мы потеряли тот факт, что мы можем до мы потеряли тот факт, что мы можем до мы потеряли тот факт, что мы можем до неё легко дойти, и поэтому мы пытаемся к неё легко дойти, и поэтому мы пытаемся к неё легко дойти, и поэтому мы пытаемся к ней приблизиться, зная что-то из бема. ней приблизиться, зная что-то из бема.

03:16:53ней приблизиться, зная что-то из бема. То есть такой как бы prр knowledge, да, То есть такой как бы prр knowledge, да, То есть такой как бы prр knowledge, да, такая как бы понимание ээ в какую такая как бы понимание ээ в какую такая как бы понимание ээ в какую сторону на это двигаться и как это сторону на это двигаться и как это сторону на это двигаться и как это оптимизировать. Это всё построено на оптимизировать. Это всё построено на оптимизировать. Это всё построено на Блмоне, но, естественно, алгоритмы они Блмоне, но, естественно, алгоритмы они Блмоне, но, естественно, алгоритмы они какие-то какие-то другие. Иногда много какие-то какие-то другие. Иногда много

03:17:06какие-то какие-то другие. Иногда много хаков, которые из этого не следуют, из хаков, которые из этого не следуют, из хаков, которые из этого не следуют, из Белмана, а следует из каких-то просто Белмана, а следует из каких-то просто Белмана, а следует из каких-то просто соображений инженерных. соображений инженерных. соображений инженерных. >> Ну, то есть в голове это можно >> Ну, то есть в голове это можно >> Ну, то есть в голове это можно представлять так, что мы живём в том же представлять так, что мы живём в том же представлять так, что мы живём в том же мире и с теми же как бы законами, но мире и с теми же как бы законами, но

03:17:17мире и с теми же как бы законами, но просто всё стало как-то сильно сложно. просто всё стало как-то сильно сложно. просто всё стало как-то сильно сложно. Поэтому мы, если можно так выразиться, Поэтому мы, если можно так выразиться, Поэтому мы, если можно так выразиться, какую-то релаксацию провели и как бы на какую-то релаксацию провели и как бы на какую-то релаксацию провели и как бы на тех же принципах пытаемся просто как-то тех же принципах пытаемся просто как-то тех же принципах пытаемся просто как-то по-другому всё это сделать, но по сути по-другому всё это сделать, но по сути по-другому всё это сделать, но по сути как бы опираемся на на те же самые идеи,

03:17:34как бы опираемся на на те же самые идеи, как бы опираемся на на те же самые идеи, >> да? Смотрите, вот давайте такую связку >> да? Смотрите, вот давайте такую связку >> да? Смотрите, вот давайте такую связку проведу. Мы, э, всё ещё живём в том же проведу. Мы, э, всё ещё живём в том же проведу. Мы, э, всё ещё живём в том же мире, ровно с теми же законами, но мы мире, ровно с теми же законами, но мы мире, ровно с теми же законами, но мы эти законы не знаем. И, как вы помните, эти законы не знаем. И, как вы помните, эти законы не знаем. И, как вы помните, мы с вами обсуждали на второй лекции, мы с вами обсуждали на второй лекции,

03:17:45мы с вами обсуждали на второй лекции, есть два способа, как, в какую сторону есть два способа, как, в какую сторону есть два способа, как, в какую сторону двигаться с этими законами, да? Способ двигаться с этими законами, да? Способ двигаться с этими законами, да? Способ один - это учить законы из один - это учить законы из один - это учить законы из взаимодействий. Это то, что называется взаимодействий. Это то, что называется взаимодействий. Это то, что называется model based oral. Мы его обсудим чуть в model based oral. Мы его обсудим чуть в model based oral. Мы его обсудим чуть в будущем. Я его в на второй лекции будущем. Я его в на второй лекции

03:17:58будущем. Я его в на второй лекции немножко упоминал и даже два, насколько немножко упоминал и даже два, насколько немножко упоминал и даже два, насколько я помню, алгоритма давал, которые живут я помню, алгоритма давал, которые живут я помню, алгоритма давал, которые живут в в этой парадигме. А мы перешли в в в этой парадигме. А мы перешли в в в этой парадигме. А мы перешли в парадигму другую, где мы вместо того, парадигму другую, где мы вместо того, парадигму другую, где мы вместо того, чтобы законы учить, мы учим value чтобы законы учить, мы учим value чтобы законы учить, мы учим value функцию напрямую и берём ээ то, что как функцию напрямую и берём ээ то, что как

03:18:13функцию напрямую и берём ээ то, что как бы ту политику, которая она порождает. И бы ту политику, которая она порождает. И бы ту политику, которая она порождает. И ничего больше с тех пор не поменялось. ничего больше с тех пор не поменялось. ничего больше с тех пор не поменялось. То есть мы всё ещё с помощью То есть мы всё ещё с помощью То есть мы всё ещё с помощью полисидианта как бы пытаемся полисидианта как бы пытаемся полисидианта как бы пытаемся приблизиться к value функции, которую приблизиться к value функции, которую приблизиться к value функции, которую которая порождает оптимальную политику. которая порождает оптимальную политику.

03:18:25которая порождает оптимальную политику. Просто мы, помните, вот изначально Просто мы, помните, вот изначально Просто мы, помните, вот изначально сначала model based, мы решили, нет, сначала model based, мы решили, нет, сначала model based, мы решили, нет, учить среду не хотим, хотя мы к этому учить среду не хотим, хотя мы к этому учить среду не хотим, хотя мы к этому ещё вернёмся. Это на самом деле реально ещё вернёмся. Это на самом деле реально ещё вернёмся. Это на самом деле реально с крутой способ, который во многих с крутой способ, который во многих с крутой способ, который во многих задачах используется сильно больше, чем задачах используется сильно больше, чем

03:18:36задачах используется сильно больше, чем э методы, которые мы сейчас обсуждаем. э методы, которые мы сейчас обсуждаем. э методы, которые мы сейчас обсуждаем. Это будет лекция девятая, насколько я Это будет лекция девятая, насколько я Это будет лекция девятая, насколько я помню. Вот. Дальше, соответственно, помню. Вот. Дальше, соответственно, помню. Вот. Дальше, соответственно, было, давайте выучим value функцию. было, давайте выучим value функцию. было, давайте выучим value функцию. оптимальную, а потом найдём политику, оптимальную, а потом найдём политику, оптимальную, а потом найдём политику, которая порождает. А дальше мы перешли в которая порождает. А дальше мы перешли в

03:18:51которая порождает. А дальше мы перешли в полин, то, что было неделю назад и было полин, то, что было неделю назад и было полин, то, что было неделю назад и было сегодня. Полиди, который политику сразу сегодня. Полиди, который политику сразу сегодня. Полиди, который политику сразу учит, которая порождает ли функцию, кото учит, которая порождает ли функцию, кото учит, которая порождает ли функцию, кото ну зная, что они взаимосвязаны. Так что ну зная, что они взаимосвязаны. Так что ну зная, что они взаимосвязаны. Так что это всё ещё про Белтмана. Просто это всё ещё про Белтмана. Просто это всё ещё про Белтмана. Просто просто вот таким сложным сложным путём,

03:19:07просто вот таким сложным сложным путём, просто вот таким сложным сложным путём, потому что мы не знаем законы и не умеем потому что мы не знаем законы и не умеем потому что мы не знаем законы и не умеем эти законы классно собирать и классно эти законы классно собирать и классно эти законы классно собирать и классно приближать. Ну, а наша политика вот, приближать. Ну, а наша политика вот, приближать. Ну, а наша политика вот, которую мы найдём с помощью PP, которую мы найдём с помощью PP, которую мы найдём с помощью PP, например, она будет, ну, оптимальной с например, она будет, ну, оптимальной с например, она будет, ну, оптимальной с точки зрения уровня Белмана или это не

03:19:23точки зрения уровня Белмана или это не точки зрения уровня Белмана или это не гратися? гратися? гратися? >> Смотрите, смотрите, если мы сходимся, >> Смотрите, смотрите, если мы сходимся, >> Смотрите, смотрите, если мы сходимся, если у нас есть гарантия, что мы если у нас есть гарантия, что мы если у нас есть гарантия, что мы сходимся к оптимальной политике, то она сходимся к оптимальной политике, то она сходимся к оптимальной политике, то она же и будет оптимальна по белману. Вот же и будет оптимальна по белману. Вот же и будет оптимальна по белману. Вот всегда есть ээ политика, которая ээ для всегда есть ээ политика, которая ээ для

03:19:37всегда есть ээ политика, которая ээ для с точки зрения Блмана из всех политик с точки зрения Блмана из всех политик с точки зрения Блмана из всех политик возможных есть под множество возможных есть под множество возможных есть под множество оптимальных. И мы, если у нас есть оптимальных. И мы, если у нас есть оптимальных. И мы, если у нас есть гарантия сходимости, сойдёмся к какой-то гарантия сходимости, сойдёмся к какой-то гарантия сходимости, сойдёмся к какой-то из этой конкретных политик. Но мы, как из этой конкретных политик. Но мы, как из этой конкретных политик. Но мы, как вы помните, из-за счёт того, что перешли вы помните, из-за счёт того, что перешли

03:19:49вы помните, из-за счёт того, что перешли в нейронки, мы многие гарантии потеряли. в нейронки, мы многие гарантии потеряли. в нейронки, мы многие гарантии потеряли. У нас сейчас есть гарантии на э У нас сейчас есть гарантии на э У нас сейчас есть гарантии на э примерную сходимость. Вот помните примерную сходимость. Вот помните примерную сходимость. Вот помните на второй лекции мы обсуждали, что мы у на второй лекции мы обсуждали, что мы у на второй лекции мы обсуждали, что мы у нас куёрнин, который был супер простой, нас куёрнин, который был супер простой, нас куёрнин, который был супер простой, табличный, но мы уже не знали динамику табличный, но мы уже не знали динамику

03:20:02табличный, но мы уже не знали динамику среды, он уже сходился неровно к среды, он уже сходился неровно к среды, он уже сходился неровно к политике, а Олмос Чурли, потому что всё политике, а Олмос Чурли, потому что всё политике, а Олмос Чурли, потому что всё ещё супер-мега круто, да, при ещё супер-мега круто, да, при ещё супер-мега круто, да, при определнных условиях, там Робертсон определнных условиях, там Робертсон определнных условиях, там Робертсон Манро и так далее, но сходился к Омос Манро и так далее, но сходился к Омос Манро и так далее, но сходился к Омос Чорли, к нашей политике оптимальной. Чорли, к нашей политике оптимальной.

03:20:15Чорли, к нашей политике оптимальной. Дальше мы многие эти вещи потеряли. Ну Дальше мы многие эти вещи потеряли. Ну Дальше мы многие эти вещи потеряли. Ну вот для ТРПО всё ещё есть гарантии, что вот для ТРПО всё ещё есть гарантии, что вот для ТРПО всё ещё есть гарантии, что он будет примерно сходиться к политике, он будет примерно сходиться к политике, он будет примерно сходиться к политике, которая оптимальна по белману. Для ППО которая оптимальна по белману. Для ППО которая оптимальна по белману. Для ППО уже, к сожалению, таких гарантий нет уже, к сожалению, таких гарантий нет уже, к сожалению, таких гарантий нет теоретических, но эмпирически мы видим,

03:20:26теоретических, но эмпирически мы видим, теоретических, но эмпирически мы видим, что он работает лучше, чем ППО, чем что он работает лучше, чем ППО, чем что он работает лучше, чем ППО, чем ТРПО, поэтому, ну, как бы можно ТРПО, поэтому, ну, как бы можно ТРПО, поэтому, ну, как бы можно предположить, что он к такой же политики предположить, что он к такой же политики предположить, что он к такой же политики сходится, но уже тут как бы, к сходится, но уже тут как бы, к сходится, но уже тут как бы, к сожалению, теория в моменте ничего не сожалению, теория в моменте ничего не сожалению, теория в моменте ничего не говорит, но над этим очень много людей говорит, но над этим очень много людей

03:20:36говорит, но над этим очень много людей работают. Я думаю, что мы через какое-то работают. Я думаю, что мы через какое-то работают. Я думаю, что мы через какое-то время увидим какие-то более время увидим какие-то более время увидим какие-то более территизированные гарантии для этого территизированные гарантии для этого территизированные гарантии для этого всего. всего. всего. >> Спасибо большое за разрн. >> Спасибо большое за разрн. >> Спасибо большое за разрн. >> Да, спасибо большое за вопрос. Очень >> Да, спасибо большое за вопрос. Очень >> Да, спасибо большое за вопрос. Очень классный вопрос. Вот, мне кажется, классный вопрос. Вот, мне кажется,

03:20:49классный вопрос. Вот, мне кажется, классно, что это останется в записи и классно, что это останется в записи и классно, что это останется в записи и все посмотрят. Мне кажется, это многим все посмотрят. Мне кажется, это многим все посмотрят. Мне кажется, это многим даст классное понимание. Ну всё, если даст классное понимание. Ну всё, если даст классное понимание. Ну всё, если есть вопросы ещё, пожалуй, задавайте. есть вопросы ещё, пожалуй, задавайте. есть вопросы ещё, пожалуй, задавайте. Если нет, спасибо большое. Всем хороших Если нет, спасибо большое. Всем хороших Если нет, спасибо большое. Всем хороших выходных. Пишите, если что, в чате выходных. Пишите, если что, в чате

03:21:00выходных. Пишите, если что, в чате вопросы или мне на лучше в чате. Да. вопросы или мне на лучше в чате. Да. вопросы или мне на лучше в чате. Да. Спасибо всем. Пока-пока.