Ёжик в матане

Для улучшения точности MCST и экономии времени расчетов применяют несколько подходов. Например, распараллеливают процесс построения дерева. Либо выбирают новый ход не случайно, а на основе некоторой оценочной функции. Такую оценочную функцию может выдавать нейросеть, натренированная на реальных сыгранных партиях. То есть нейросети скармливают позиции из сыгранных игр и подстраивают ее веса так, чтобы она правильно предсказывала исход игры, возникшей из данной позиции. Именно такой подход использует Альфа-зеро — она оценивает позицию на доске и выдает распределение вероятностей выигрышей для каждого возможного хода. Только она не использует данные о ранее сыгранных партиях. Для обучения она играла сама с собой и самостоятельно строила свою оценочную функцию.
-------
Более подробно о MCST и Альфа-зеро читайте в статьях:
Поиск по дереву методом Монте-Карло и крестики-нолики.
habr.com/ru/article...
Метод Монте-Карло для поиска в дереве.
habr.com/ru/article...
Monte Carlo Tree Search – beginners guide.
int8.io/monte-carl...
A step-by-step look at Alpha Zero and Monte Carlo Tree Search
joshvarty.github.io/AlphaZero/
AlphaGo Zero explained in one diagram.
medium.com/applied-da...
-------
Напоследок следует упомянуть проект Лила чесс-зеро (Leela Chess Zero).
en.wikipedia.org/wiki/Leela...
Его инициатор — бельгийсикй программист Жан-Карло Паскутто. Он возмутился, что Дипмайнд не выложила код Альфа-зеро в открытый доступ, и решил самостоятельно воспроизвести методику, описанную в статье.
К сожалению, у него не было мощных суперкомпьютеров, способных быстро выполнять MCTS, а на своих ресурсах он бы обучал нейросеть играть в шахматы несколько тысяч лет. "Это слишком долго", — сказал Жан-Карло, и решил распараллелить задачу среди неравнодушных пользователей интернета. В результате появился открытый шахматный ИИ движок LCZero.
lczero.org
Вы и сейчас можете подключиться к обучению Лилы, зайдя на сайт проекта и загрузив на комп специальный клиент:
github.com/LeelaChess...
-------
Таким образом получается, что чистый ИИ, не имеющий знаний о многочисленных шахматных комбинациях и окончаниях, вполне себе может обучиться играть в шахматы просто многократно играя в них. Опыт — это самая ценная вещь, которая у нас есть.
Вопрос закрыт, имхо)
#ёжик_пишет #алгоритмы

www.group-telegram.com/us/math_hedgehog.com/1709

779 viewsJan 7 at 09:06

Для улучшения точности MCST и экономии времени расчетов применяют несколько подходов. Например, распараллеливают процесс построения дерева. Либо выбирают новый ход не случайно, а на основе некоторой оценочной функции. Такую оценочную функцию может выдавать нейросеть, натренированная на реальных сыгранных партиях. То есть нейросети скармливают позиции из сыгранных игр и подстраивают ее веса так, чтобы она правильно предсказывала исход игры, возникшей из данной позиции. Именно такой подход использует Альфа-зеро — она оценивает позицию на доске и выдает распределение вероятностей выигрышей для каждого возможного хода. Только она не использует данные о ранее сыгранных партиях. Для обучения она играла сама с собой и самостоятельно строила свою оценочную функцию.
-------
Более подробно о MCST и Альфа-зеро читайте в статьях:
Поиск по дереву методом Монте-Карло и крестики-нолики.
habr.com/ru/article...
Метод Монте-Карло для поиска в дереве.
habr.com/ru/article...
Monte Carlo Tree Search – beginners guide.
int8.io/monte-carl...
A step-by-step look at Alpha Zero and Monte Carlo Tree Search
joshvarty.github.io/AlphaZero/
AlphaGo Zero explained in one diagram.
medium.com/applied-da...
-------
Напоследок следует упомянуть проект Лила чесс-зеро (Leela Chess Zero).
en.wikipedia.org/wiki/Leela...
Его инициатор — бельгийсикй программист Жан-Карло Паскутто. Он возмутился, что Дипмайнд не выложила код Альфа-зеро в открытый доступ, и решил самостоятельно воспроизвести методику, описанную в статье.
К сожалению, у него не было мощных суперкомпьютеров, способных быстро выполнять MCTS, а на своих ресурсах он бы обучал нейросеть играть в шахматы несколько тысяч лет. "Это слишком долго", — сказал Жан-Карло, и решил распараллелить задачу среди неравнодушных пользователей интернета. В результате появился открытый шахматный ИИ движок LCZero.
lczero.org
Вы и сейчас можете подключиться к обучению Лилы, зайдя на сайт проекта и загрузив на комп специальный клиент:
github.com/LeelaChess...
-------
Таким образом получается, что чистый ИИ, не имеющий знаний о многочисленных шахматных комбинациях и окончаниях, вполне себе может обучиться играть в шахматы просто многократно играя в них. Опыт — это самая ценная вещь, которая у нас есть.
Вопрос закрыт, имхо)
#ёжик_пишет #алгоритмы

BY Ёжик в матане