#UCB
2편
- 몬테카를로 트리 탐색 — 계산을 어디에 쓸지 고르기규칙만 알고 평가 함수가 없어도, 끝까지 아무렇게나 둬 보는 것만으로 사목에서 무작위 상대를 100점으로 이겼다. 같은 예산이라도 굴린 결과를 트리로 쌓으면 그냥 나눠 굴리기를 68.3점으로 이겼고, 예산을 6,400판으로 키우자 85.0점까지 벌어졌다. 다만 님(Nim)에서는 예산을 20배 늘려도 무작위로 찍는 것과 다르지 않았다
- UCB — 모르는 것에 이자를 붙인다강화학습 기초 편에서 ε-그리디가 전부 실패했고 몬테카를로 트리 탐색 편 MCTS는 UCB로 골랐다. 무엇이 다른가를 후회(regret)로 쟀다. ε-그리디는 후회가 직선으로 늘고 UCB는 눕는다 — 2만 수 뒤 331 대 61이었다. 다만 보너스 상수를 2.0으로 키우니 572로 ε-그리디보다 나빴다