Производитель | Open Bet |
Кол-во линий | 3203 |
Кол-во барабанов | 38 |
Фриспины | Нет |
Бонусный раунд | Нет |
Мобильная версия | Нет |
Игра на удвоение | Есть |
Играть в Cosmic Crystals в онлайн казино:
Рандомная выдача в Яндексе как обойти однорукого бандита?
Джеймс Маккафри | МАЙ 2016 Исходный код можно скачать по ссылке Вообразите, что вы попали в Лас-Вегас и стоите перед тремя игорными автоматами. У вас 20 жетонов, вы опускаете жетон в какой-либо из этих трех автоматов, тянете ручку и получаете случайный выигрыш. Все автоматы платят по-разному, но изначально вы не знаете, какой программе выплат следуют эти автоматы. Какие стратегии можно использовать, чтобы попытаться максимально увеличить свой выигрыш?
Однорукий бандит алгоритм / Бесплатные спины за регистрацию.
Это пример задачи о многоруком бандите (multi-armed bandit problem), названной так потому, что игорный автомат в быту называют одноруким бандитом. Эта задача не столь фантастична, как может показаться с первого взгляда. В реальной жизни существует много важных задач вроде клинических испытаний лекарств, которые подобны примеру с игорным автоматом.
![Оптимизация конверсии Бандитский метод или сплит.](https://skb-prof.ru/com/dniditut/img465342.jpg)
Маловероятно, что вам когда-нибудь понадобится кодировать реализацию задачи о многоруком бандите в большинстве сценариев корпоративной разработки. Но, возможно, вы захотите прочитать эту статью по трем причинам. Во-первых, несколько методов программирования, примененных в этой статье, можно задействовать в других, более распространенных сценариях программирования.
Во-вторых, конкретный код реализации задачи о многоруком бандите может послужить хорошим введением в активно развивающиеся области экономики и исследований в сфере машинного обучения. И в-третьих, эта тематика может заинтересовать вас просто сама по себе. Хороший способ получить представление о том, куда я клоню в этой статье, — взглянуть на демонстрационную программу на рис. Есть много алгоритмов, применимых к задачам о многоруком бандите. Например, полностью произвольный подход мог бы заключаться в простом случайном выборе автомата для каждого переключения ручки с последующей надеждой на удачу.
Многорукие бандиты
Демонстрация, представленная здесь, использует базовый метод, называемый алгоритмом «исследуй-используй» (explore-exploit algorithm). Применение алгоритма «исследуй-используй» к задаче о многоруком бандите Демонстрационная программа начинает с создания трех автоматов. Каждый автомат выплачивает случайный выигрыш при каждом переключении ручки, где выигрыш следует нормальному (колоколообразному) распределению с заданным средним линейным (mean deviation) и среднеквадратичным отклонением (standard deviation). Третий автомат является лучшим в одном плане — он дает наивысший средний выигрыш при каждом переключении ручки, равный 0.1 произвольных единиц.
В реальном сценарии вам были бы неизвестны характеристики автоматов. Общее количество доступных переключений установлено равным 20. В алгоритме «исследуй-используй» вы откладываете определенную долю выделенных переключений и используете их для поиска лучшего автомата методом проб и ошибок.
![Один многорукий бандит против всех А/Б-тестов ВКонтакте](https://skb-prof.ru/com/dniditut/img465346.jpg)
Затем вы используете оставшиеся переключения только на лучшем автомате, обнаруженном на предварительном этапе исследования. Ключевой переменной в алгоритме «исследуй-используй» является доля переключений, выделяемая для этапа исследования.
В демонстрации эта доля равна 0.40, поэтому сначала выполняется 20 * 0.40 = 8 переключений на этапе исследования, а затем 20 – 8 = 12 переключений на этапе использования. Увеличение доли переключений для этапа исследования повышает вероятность нахождения лучшего автомата за счет меньшей доли переключений, остающихся на этапе использования лучшего автомата. На этапе исследования по восьми переключениям демонстрационная программа отображает, какой автомат выбран случайным образом и какой выигрыш он дает.
Однорукие бандиты. Для всех и обо всем Однорукий игровой.
За кулисами демонстрация сохраняет накопленные выигрыши по каждому автомату. Автомат 0 был выбран три раза и выплатил –0.09 0.12 0.29 = 0.32 единицы. Автомат 1 был выбран два раза и выплатил –0.46 –1.91 = –2.37 единицы. Автомат 2 был выбран три раза и выплатил 0.19 0.14 0.70 = 1.03 единицы. В случае демонстрации алгоритм «исследуй-используй» правильно идентифицировал автомат 2 как лучший, поскольку он дает наибольшую суммарную награду. К этому моменту алгоритм имеет чистый выигрыш (проигрыш), равный 0.32 –2.37 1.03 = –1.02 единиц. Следовательно, суммарный выигрыш по всем 20 переключениям равен –1.02 2.32 = 1.30 единиц, а средний выигрыш на переключение составляет 1.30 / 20 = 0.065. На этапе использования 12 переключений демонстрационная программа повторно играет только с автоматом 2. Существует несколько других показателей, которые можно использовать для оценки эффективности алгоритма многорукого бандита.
Один из распространенных показателей называют потерями (regret). Потери — это разница между теоретическим базисным суммарным выигрышем и реальным суммарным выигрышем для алгоритма.