"일꾼이 일을 잘하려면 먼저 도구를 갈고 닦아야 한다." - 공자, 『논어』.
첫 장 > 게임 > 쇼기 AI는 어떻게 프로 기사를 능가했는지?

쇼기 AI는 어떻게 프로 기사를 능가했는지?

2024-11-06에 게시됨
검색:271

 ゲーム開発者会議CEDEC 2024で,本八幡朝陽法律事務所の杉村達也氏と,やねうデザインのやねうらお氏によるセッション「将棋AIの過去・現在・未来」が行われた。急激な成長を遂げ,今ではプロ棋士すら凌駕する将棋AIのこれまでとこれからが語られたセッションをレポートしよう。

将棋AIはどのようにしてプロ棋士を凌駕したのか? そしてこれからどこへ行くのか?[CEDEC 2024]

 弁護士である杉村氏は,藤井聡太七冠も使用する将棋AI「水匠」の開発者であり,多数の将棋AI世界大会での優勝経験を持つ。開発者としては「たややん」名義のほうが知られているかもしれない。

 やねうらお氏は,オープンソース将棋AIのデファクトスタンダードとなっている「やねうら王」の開発者。水匠を含む近年の将棋AIの多くは,やねうら王を何らかの形で使用している。

将棋AIはどのようにしてプロ棋士を凌駕したのか? そしてこれからどこへ行くのか?[CEDEC 2024]
杉村達也氏(左)とやねうらお氏(右)
将棋AIはどのようにしてプロ棋士を凌駕したのか? そしてこれからどこへ行くのか?[CEDEC 2024]
セッションは,やねうら王公式チャンネルのキャラクター,正木わかるが登場する動画を交えて進行した


将棋AIの誕生と進化


 まずは,将棋AIの誕生から,プロ棋士に勝利するまでの道のりが紹介された。

 世界最初の将棋AIは,1974年に当時大学院生で,現在はコンピュータ将棋協会副会長で早稲田大学名誉教授の滝澤武信氏が開発したとされている。

 初期の将棋AIは,簡素な「評価関数」と,主に「Minimax法」などの探索アルゴリズムが組み合わされたものだった。

将棋AIはどのようにしてプロ棋士を凌駕したのか? そしてこれからどこへ行くのか?[CEDEC 2024]

 評価関数とは,将棋の局面(盤面+手番+それまでの手順を合わせた情報)を数値化した「評価値」を出すもの。もっともシンプルなところでは,先手側の駒ひとつにつき+1,後手側の駒ひとつにつき-1といったものになり,そこから大駒(飛車や角)や,盤上でいい働きをしている駒はその価値を高くするといった感じで手が加えられていく。

将棋AIはどのようにしてプロ棋士を凌駕したのか? そしてこれからどこへ行くのか?[CEDEC 2024]

 Minimax法は,評価関数が出す評価値を参照して,数手先までのルートごとの評価を調べていくものだが,総当たり的なものでは効率が悪いので,評価を行う局面を絞り込む「αβ探索」がMinimax法を改良する形で誕生。さらに,αβ探索と併用できるさまざまな“枝刈り”のアイデアが導入されていった。

 枝刈りの例としては,相手の王を詰ませる手を見つけると,そこに近い手を優先的に評価する「キラームーブ」などがあるという。

将棋AIはどのようにしてプロ棋士を凌駕したのか? そしてこれからどこへ行くのか?[CEDEC 2024]

 評価関数と探索アルゴリズムは,将棋AIにとっての「車の両輪」に相当するものだ。

 初期の将棋AIでは,評価関数のパラメータが人間の手で調整されていた。駒の種類や盤上での働きなどに加え,王の守りの堅さ(そばに金や銀がいる,退路が用意されている)といった要素まで含めて設定し,基準となるソフトと対戦させては微調整を繰り返すといった作業になったため,「評価関数作りは職人技」と言われることもあったという。

将棋AIはどのようにしてプロ棋士を凌駕したのか? そしてこれからどこへ行くのか?[CEDEC 2024]

 だが,進化を続ける中で評価関数は複雑になり,人間の手に負えるものではなくなっていった。そんなときに登場したのが,保木邦仁氏開発の「Bonanza」だった。Bonanzaは「各盤面の判断となる評価関数が,強い棋士が実際に指した手と同じになるようなパラメータを探索する」という「ボナンザメソッド」を用いて,パラメータを人間の棋譜から自動的に調整することを可能にしていた。

ボナンザメソッドは「最適制御理論」というものに基づいているが,その後,機械学習でよく用いられる「確率的勾配降下法」でもパラメータの調整ができることが分かった
将棋AIはどのようにしてプロ棋士を凌駕したのか? そしてこれからどこへ行くのか?[CEDEC 2024]

 将棋AIはその後も進化を続け,2013年の公式対局で「ponanza」がプロ棋士の佐藤慎一四段に勝利した。このponanzaも,αβ探索と,機械学習による評価関数パラメーターの調整を行っていたとのこと。

 なお,将棋における合法手(ルールに違反せず指せる手)は平均して80手とのことなので,総当たりすると1手先なら80通り,2手先なら80×80で6400通りについての評価を出すことになる。だがBonanzaの平均分岐数(1手につき評価する数)は序盤で3,終盤で5程度まで減った。そして最新AIの平均分岐数は2で,30手先まで評価しているという。


将棋AIの現在


 ここでは,将棋AIが人間を超えた2013年から現在に至るまでに大きなインパクトがあった10の出来事が取り上げられた。

●強化学習

 Bonanzaはプロ棋士の棋譜から学習を行っていたが,その数は3万程度しか存在しておらず,Bonanzaが持っているパラメータの数に比べて圧倒的に少なかった。
 また,将棋AIがプロ棋士より強くなってからはプロ棋士の棋譜を使う意味も小さくなったため,開発者たちは将棋AIの対局によって生成した棋譜を学習させるようになった。

将棋AIはどのようにしてプロ棋士を凌駕したのか? そしてこれからどこへ行くのか?[CEDEC 2024]

●将棋AIの大会

 1990年から毎年開催されていた世界コンピュータ将棋選手権に加えて,将棋電王トーナメント(2013年~2017年),世界将棋AI電竜戦(2021年~)などが開催されるように。高額賞金は開発者の大きなモチベーションになった。

将棋AIはどのようにしてプロ棋士を凌駕したのか? そしてこれからどこへ行くのか?[CEDEC 2024]

●やねうら王オープンソース化
 
 やねうら王は2015年にGitHubで公開され,オープンソース化された。多くの将棋AIが,評価関数と探索部が一体化したような構造になっていた中,やねうら王は高度にモジュール化されていたため,評価関数を差し替えたり,探索部を差し替えたりといった形で多くの開発者に利用されるようになった。

将棋AIはどのようにしてプロ棋士を凌駕したのか? そしてこれからどこへ行くのか?[CEDEC 2024]

●Stockfishの進化

 「Stockfish」はオープンソースのチェスAIで,開発者コミュニティの参加者が非常に多く,1つの小さな改良に数万回の検証が行われているという。ゲームが違うとはいえ,探索部は将棋にも応用できる部分が多く,Stockfishの進化は将棋AIの進化にもつながった。

将棋AIはどのようにしてプロ棋士を凌駕したのか? そしてこれからどこへ行くのか?[CEDEC 2024]

●NNUE(ぬえ)評価関数

 「NNUE」はCPUのみで高速に差分計算ができる評価関数で,2018年に登場した。Bonanzaで使われていた三駒関係という評価関数に代わって,以降の主流となった。

将棋AIはどのようにしてプロ棋士を凌駕したのか? そしてこれからどこへ行くのか?[CEDEC 2024]

●AlphaZero

 「AlphaZero」は2017年にGoogle DeepMindが開発した囲碁,将棋,チェス用AI。本格的にディープラーニングを利用しており,それまでの主流だったαβ法に代わって「モンテカルロ木探索」を採用していることも特徴となっている。
 AlphaZeroの論文を参考に作られた将棋AIとしては「dlshogi」「AobaZero」「ふかうら王」などがあり,現在の将棋AIの大会では,AlphaZero型と従来型(αβ法)の双方が活躍している。

将棋AIはどのようにしてプロ棋士を凌駕したのか? そしてこれからどこへ行くのか?[CEDEC 2024]

●nnue-pytorch

 「nnue-pytorch」はGPUを用いたNNUEの機械学習を実現し,学習にかかる時間を大幅に短縮した。これが原動力となって,作者の野田久順氏は,2024年5月開催の世界コンピュータ将棋選手権で優勝した。

将棋AIはどのようにしてプロ棋士を凌駕したのか? そしてこれからどこへ行くのか?[CEDEC 2024]

●強い将棋ソフトの創り方

 「強い将棋ソフトの創り方」はdlshogiの開発者である山岡忠夫氏の著書。ディープラーニング系将棋AIの開発について書かれており,ここに書かれている知識だけでプロ棋士より強い将棋AIが作れてしまうとのこと。

将棋AIはどのようにしてプロ棋士を凌駕したのか? そしてこれからどこへ行くのか?[CEDEC 2024]

●良質な教師データの公開

 強い将棋ソフトの創り方を書いた山岡氏や,このセッションで登壇している杉村(たややん)氏が,教師データ(学習用のデータ)を公開した。将棋AIの強化学習は,教師データ作成にかかるコストのほうが学習のコストより高い。そのため,この公開で参入のハードルが一気に下がったそうだ。

 杉村氏は,「自分だけが持っていても活用できない場合はあるので,それなら誰かに使ってもらって『データを使いましたよ』と言ってくれたほうがいい」と理由を話した。

将棋AIはどのようにしてプロ棋士を凌駕したのか? そしてこれからどこへ行くのか?[CEDEC 2024]

●SNSの台頭

 2013年ごろの将棋AI開発者は大学の研究者などが多く,SNSを利用していない人が多かったとのこと。やねうら王のオープンソース化以降,新たにこの分野へ入ってくる人が増えて世代交代が進み,現在ではXやDiscordで開発者間の交流が盛んになっている。

将棋AIはどのようにしてプロ棋士を凌駕したのか? そしてこれからどこへ行くのか?[CEDEC 2024]


レーティングで見る将棋AI強化の歴史


 将棋AIの強さを表すものとして,「イロレーティング」が使われる。これはもともとチェスの実力を表すために考案された指標で,数学的にも裏付けがあるものだ。

将棋AIはどのようにしてプロ棋士を凌駕したのか? そしてこれからどこへ行くのか?[CEDEC 2024]

 プロ棋士も利用する日本将棋連盟公式のオンライン将棋対戦サイト「将棋倶楽部24」だと,人間の限界は3000~3300くらい,アマチュア初段だと1000くらいになるとのことだが,2005年のBonanzaのレーティングは2360だった。

 2009年にBonanza対渡辺 明竜王の対局が行われたときは,渡辺竜王が「あわや敗北か」という状況を乗り越えて勝利したのだが,このときのBonanzaのレーティングは2815。人間の限界に近い強さの渡辺竜王だからこその勝利だったことがうかがえる。

 2013年の「Gikou」は3713と,人間の限界とされる3300に400以上の差を付けた。400の差は,「9割超の確率で勝利できる」というものだそうだ。そして2024年の世界コンピュータ将棋選手権で優勝した「お前、CSA会員にならねーか?」は4914と,人間を遙かに超えた強さになっている。

将棋AIはどのようにしてプロ棋士を凌駕したのか? そしてこれからどこへ行くのか?[CEDEC 2024]

 重要なのは,これが一般的なノートPCを使い,5秒程度の思考時間で対戦させてのレーティングだということ。杉村氏は,スーパーコンピューターのようなものを使えば,7000ぐらいになってもおかしくないと話した。

将棋AIはどのようにしてプロ棋士を凌駕したのか? そしてこれからどこへ行くのか?[CEDEC 2024]

 ここまで進化した将棋AIは,プロアマを問わず,幅広い棋士に利用されている。自分が指した将棋をAIに解析させて,どの手が悪かったかを検証したり,対局で予想される局面を解析させて,その局面の最善手を検討したりといった形で使われることが多いそうだ。


将棋AIの未来


 未来の話として,「世界最強の将棋AIをどうやって開発するのか」が語られた。
 
 現在の将棋AIは,αβ探索を用いる従来型の「NNUE型」と,本格的にディープラーニングを用いる「DL型」に大別できる。
 そして,それぞれの代表的な存在であるやねうら王とdlshogiはともにソースコードが公開されているので,何か1つの改良を加えることで,世界最強の将棋AIが誕生する可能性は大いにあるとのこと。

 では,ここから改善できそうなところは何なのか? それが以下の5つだ。

●評価関数の改良

 現状のNNUE型はCPUによる計算を行う関係上,評価関数の精度と探索できる局面数がトレードオフの関係にあり,調整が非常に難しくなっているという。かといってGPU計算はαβ探索と相性が悪いとのことだ。

 一方のDL型の多くで使用されている評価関数のResNetは,ChatGPTなどの言語モデルで使われているtransformerのattentionの仕組みを導入すると強くなることが分かっており,機械学習分野の知見が生かせそうとのことだ。

将棋AIはどのようにしてプロ棋士を凌駕したのか? そしてこれからどこへ行くのか?[CEDEC 2024]

●教師データの調整

 NNUE型の将棋AIは,大会スペックのマシンだと1秒間に1億局面以上を探索しているが,局面の評価精度はさほど高くないため,相対的に序盤より終盤のほうが強くなるという。そのため,NNUE型将棋AIの学習では,序盤の局面に集中したほうがいいとされる傾向があるそうだ。

 一方で,序盤の32手目ぐらいまでは定跡(過去の研究から導き出された最善とされる指し方)で進行することが多いため,そこの学習を省いても問題ないという考え方もある。

 また,現在の大会では振り飛車が有効な戦術とされていないため,そこを省く手もあるそうだ。

将棋AIはどのようにしてプロ棋士を凌駕したのか? そしてこれからどこへ行くのか?[CEDEC 2024]

●定跡の自動生成

 定跡を手作業で編集するには限界があるため,上位チームは自動生成に挑戦している。だが,精度の高い定跡を作るには将棋AIを1局面で長時間動かす必要があるため,こちらも効率はよくない。

 グラフ理論やゲーム木探索に詳しい人は,大量の定跡を生成できる可能性があるそうだ。

将棋AIはどのようにしてプロ棋士を凌駕したのか? そしてこれからどこへ行くのか?[CEDEC 2024]

●探索部の改良

 NNUE型はチェスAIのStockfishの探索部を参考にしているが,それと同じように,ほかのAIで成功している探索のアイデアを将棋AIに持ってくることで,強化が実現できる可能性があるとのこと。

将棋AIはどのようにしてプロ棋士を凌駕したのか? そしてこれからどこへ行くのか?[CEDEC 2024]

●計算資源の確保

 計算資源とは簡単に言えばコンピュータのこと。近年は教師データ作成に必要なコンピュータを個人では確保できず,大手企業のスポンサーがつくケースが増えている。大量の教師データを作成できれば,それだけで世界最強になれる可能性もあるそうだ。

 やねうら王オープンソース化以降の将棋AIは,開発者がワンアイデアを出し合って進化してきた。現在も,今回紹介された5つの改善点すべてではなく,1つに手を入れるだけで世界最強になれるチャンスはあるそうだ。

将棋AIはどのようにしてプロ棋士を凌駕したのか? そしてこれからどこへ行くのか?[CEDEC 2024]

 セッションの内容は以上だが,最後に聴講者から質問があった。それは「運の要素がない将棋には必勝法があると思うが,いつかそこに到達できるか?」というもの。

 杉村氏は,将棋は「二人零和有限確定完全情報ゲーム」であり,必勝法もしくは必ず引き分けにする方法があるとされているとしつつも,非常に選択肢が多いため到達するのは難しく,仮に必勝法が確定してもデータとして保存する手段がないのではと回答した。


릴리스 선언문 이 글은 https://www.4gamer.net/games/999/G999905/20240824004/에서 복제되었습니다. 침해 내용이 있는 경우, [email protected]으로 연락하여 삭제하시기 바랍니다.
최신 튜토리얼 더>
  • Kuttenberg kcd2에서자는 곳 | 왕국 Come : Deliverance 2 Bed Location Guide
    Kuttenberg kcd2에서자는 곳 | 왕국 Come : Deliverance 2 Bed Location Guide
    "왕국의 눈물 2 : Kutnahora"에서 잠을 자고 싶습니까? 걱정하지 마십시오. 여기에 몇 가지 권장 사항이 있습니다. Gaulle Halter 's Tavern - 이것은 Catherine과의 임무를 수행 할 때 방문하는 ...
    게임 2025-03-26에 게시되었습니다
  • Wanderstop : 요청에 대한 완전한 가이드
    Wanderstop : 요청에 대한 완전한 가이드
    Wanderstop Tea Shop의 매혹적인 세계를 탐색합니다. 여기서 고객 요청이 충족되는 것은 Alta의 매력적인 이야기를 잠금 해제하는 데 중요합니다. 이 포괄적 인 가이드는 모든 장을 통해 진행하는 데 필요한 각 차 레시피를 자세히 설명하여 내부의 비밀을 드...
    게임 2025-03-25에 게시되었습니다
  • Monopoly Go : PEG-E Prize Drop Rewards 가이드 (2 월 17-19 일)
    Monopoly Go : PEG-E Prize Drop Rewards 가이드 (2 월 17-19 일)
    이번 주 독점 GO에서 Peg-E Prize Drop Event Returns로 인기있는 Pachinko 스타일의 게임을 통해 환상적인 상을 수상 할 수있는 또 다른 기회를 제공합니다. 이 행사는 2 월 19 일 2 월 17 일부터 오후 12시 EST에 EST에 E...
    게임 2025-03-25에 게시되었습니다
  • 어 ass 신 크리드 섀도우 - 야카미 요새 탐사 가이드
    어 ass 신 크리드 섀도우 - 야카미 요새 탐사 가이드
    암살자의 신조 그림자에서 정복 요새는 전설적인 전리품과 경험을 제공합니다. 이 가이드는 특히 레벨 이하에 걸린 경우에 은밀하게 대처하는 게임 후반 영역 인 Yakami Fort에 중점을 둡니다. Naoe의 조용한 접근 방식이 적극 권장됩니다. Yakam...
    게임 2025-03-25에 게시되었습니다
  • GTA 6에 대해 우리가 아는 모든 것
    GTA 6에 대해 우리가 아는 모든 것
    GTA 6 - one of the most hyped games in development right now - has officially been revealed by Rockstar Games. Over 12 years after GTA 5 was unveiled,...
    게임 2025-03-25에 게시되었습니다
  • Roblox : Jujutsu Infinite- 샌드 박스 모드 안내서
    Roblox : Jujutsu Infinite- 샌드 박스 모드 안내서
    jujutsu infinite 의 샌드 박스 모드는 혼잡한 서버에서 휴식을 취하고 기술을 연마 할 수있는 힘의 장소입니다. 이 모드는 아직 게임 메커니즘에 익숙하지 않고 실제 게임에 침입하기 전에 조금 연습하고자하는 초보자에게 특히 유용합니다. ...
    게임 2025-03-25에 게시되었습니다
  • 어 ass 신 크리드 그림자 - 요카이 퀘스트 연습
    어 ass 신 크리드 그림자 - 요카이 퀘스트 연습
    《刺客信条:暗影》妖怪支线任务全攻略:寻找隐藏的妖怪并获得丰厚奖励! 在《刺客信条:暗影》的主线剧情中,你将探索各个主要省份,并发现大量支线任务。有些任务只需在特定省份击败一定数量的敌人,而另一些则有更具体的要求。“妖怪”便是其中之一,任务目标是寻找各种妖怪传闻,以证明它们并不存在。这将带你走遍地图...
    게임 2025-03-24에 게시되었습니다
  • 일광으로 죽은 : 살인자를 효과적으로 기절시키는 방법
    일광으로 죽은 : 살인자를 효과적으로 기절시키는 방법
    Dead By Daylight에서 마스터 킬러 기절과 블라인드 : 포괄적 인 가이드 일광으로 죽은 사람, 효과적으로 놀랍고 살인자를 눈을 멀게하는 것은 생존에 중요합니다. 잘 정리 된 기절은 탈출, 성공적인 구조 또는 다음 훅 피해자가되는 차이를 의미 할 수 있...
    게임 2025-03-24에 게시되었습니다
  • Fragpunk를 수정하는 방법 "네트워크 오류 : 서버에 연결할 수 없습니다"
    Fragpunk를 수정하는 방법 "네트워크 오류 : 서버에 연결할 수 없습니다"
    Fragpunk를 연결할 수없고 네트워크 오류 인터페이스에 붙어 있습니까? 당황하지 말 것! 다음 방법은 전장으로 돌아가는 데 도움이됩니다. 1. Eero 앱을 열고 "보안 및 개인 정보 보호"> "네트워크 제어"로 이...
    게임 2025-03-24에 게시되었습니다
  • Call of Duty : Black Ops 6- 최고의 Feng 82로드 아웃
    Call of Duty : Black Ops 6- 최고의 Feng 82로드 아웃
    Call of Duty : Black Ops 6의 최신 시즌은 전통적인 LMG보다 전투 소총 역할에 더 적합한 고갈, 느린 발사 무기 인 Feng 82 LMG를 소개합니다. 중반에서 긴 범위의 교전에 이상적이며 저격 소총에 대한 강력한 대안입니다. 박스를 ...
    게임 2025-03-24에 게시되었습니다
  • NYT 연결 답변 및 힌트 -2025 년 3 월 18 일 솔루션 #646
    NYT 연결 답변 및 힌트 -2025 년 3 월 18 일 솔루션 #646
    오늘의 New York Times Connections Puzzle이 유용한 힌트를 해결하십시오! 승리 한 행진을 계속 유지하려면 약간의 도움이 필요하십니까? 미묘한 단서에서 완전한 솔루션에 이르기까지 우리는 당신을 덮었습니다. 실수로 3 월 17 일 답변을 찾고...
    게임 2025-03-24에 게시되었습니다
  • 어 ass 신 크리드 섀도우 -Amagasaki Castle Exploration Guide
    어 ass 신 크리드 섀도우 -Amagasaki Castle Exploration Guide
    Assassin's Creed Shadows has quite a few different castles strewn across its extremely large world. Each castle is going to be a little bit different...
    게임 2025-03-24에 게시되었습니다
  • NYT 연결 답변 및 힌트 -2025 년 2 월 25 일 솔루션 #625
    NYT 연결 답변 및 힌트 -2025 년 2 월 25 일 솔루션 #625
    오늘의 New York Times Connections Puzzle이 유용한 힌트를 해결하십시오! 승리 한 행진을 계속 유지하려면 약간의 도움이 필요하십니까? 미묘한 단서에서 완전한 답변에 이르기까지 우리는 당신을 덮었습니다. 2 월 24 일에 대한 답변을 찾고 ...
    게임 2025-03-24에 게시되었습니다
  • NYT 연결 답변 및 힌트 -2024 년 11 월 13 일 솔루션 #521
    NYT 연결 답변 및 힌트 -2024 년 11 월 13 일 솔루션 #521
    그것은 새로운 날이며 그것은 New York Times의 Connections 게임에서 해결할 새로운 퍼즐 벽을 의미합니다. 줄무늬를 저장하고 마지막 성가신 카테고리 만 손톱을 내려 놓고 싶다면 걱정하지 마십시오. 우리는 필요한 모든 힌트가 있습니다. ...
    게임 2025-03-24에 게시되었습니다

부인 성명: 제공된 모든 리소스는 부분적으로 인터넷에서 가져온 것입니다. 귀하의 저작권이나 기타 권리 및 이익이 침해된 경우 자세한 이유를 설명하고 저작권 또는 권리 및 이익에 대한 증거를 제공한 후 이메일([email protected])로 보내주십시오. 최대한 빨리 처리해 드리겠습니다.

Copyright© 2022 湘ICP备2022001581号-3