Multi-Armed-Bandit

최근 Recommendar System에 대해 공부하면서, Multi-armed bandit이라는 분야에 대해 공부할 필요가 있다고 생각하던 차에 A Survey of Online Experiment Design with the Stochastic Multi-Armed Bandit을 바탕으로 정리해보았습니다. 목차 1. Concept 2. MAB와 기존 통계 기반 모델들과의 차이점 1. Concept Multi-armed Bandit(이하 MAB)라는 단어가 나오게 된 배경은 겜블링입니다. 어떤 사람이 주어진 시간안에, 수익 분포가 다 다른 N개의 슬롯머신을 통해 최대의 수익을 얻는 방법은 무엇일까요? 만약 제한된 시간에 N개의 슬롯머신들을 당겨서 수익을 얻을 수 있는 기회가 주어진다면, 일단은 어느 시간 동안은 어느 슬롯 머신이 돈을 많이 얻을 수 있는 지 탐색하는 과정이 있어야 할꺼고(이를 Exploration이라고 합니다), 그 다음에는 자신이 판단하기에 괜찮은 슬롯 머신을 돌리면서 수익을 극대화하는 과정이 필요합니다(이를 Exploitation이라고 합니다). ...