SlideShare a Scribd company logo
1 of 72
Download to read offline
運用中 ゲーム AIを導入する
〜プロジェクト推進・ユースケース・運用〜
奥村 純、岡田 健
(in collaboration with 田中 一樹、甲野 佑)
システム本部
AIシステム部AI研究開発第三グループ
AI研究開発エンジニア
システム本部
AIシステム部AI研究開発第三グループ
AI研究開発エンジニア
システム本部
AIシステム部AI研究開発第三グループ
AI研究開発エンジニア
システム本部
AIシステム部AI研究開発第三グループ
AI研究開発エンジニア
本日 講演メンバー
登壇者紹介:奥村 エルネスト 純
● 理学博士(専門:宇宙物理学)
● データアナリスト @ 分析部
○ 『逆転オセロニア』リードアナリスト
○ オートモーティブ事業
● AI研究開発エンジニア @ AIシステム部
○ ゲームAI・強化学習 チームリーダー
■ ゲームAI 案件推進
■ 強化学習領域 戦略策定・案件推進
『データサイエンティスト養成読本
ビジネス活用編』
(技術評論社)
@pacocat
星博士レオ
『逆転オセロニア』
公式サイト 登場
ゲーム×AI:これま 活動
https://www.slideshare.net/juneokumura/dena-techcon2018 https://www.slideshare.net/juneokumura/cedec2018ai
● 『逆転オセロニア』 おけるAI導入 研究開発
TechCon2018
ゲーム体験を支えるため 強化学習
CEDEC2018
『逆転オセロニア』 おけるAI活用
ゲーム×AI:これま 活動
https://shibuya.ai/report/03/https://www.slideshare.net/juneokumura/cedec2018ai
● 社内外を巻き込んだ「ゲームAI」や「強化学習」 議論・発信
Shibuya Synapse #3
現在 強化学習 何が足り い か?
CEDEC2018
次世代QA AI
本日 講演内容
ユースケース検討
ビジネスデザイン
データ設計
データ収集
データ分析
モデル作成
モデル評価
仕様検討
システム設計
実装
運用
AIプロジェクト ライフサイクル これま 主 発表し いた内容
● 使 いるデータ・AI技術
● 検証段階 結果概念検証(PoC; Proof of Consept):
プロトタイプ検証を繰り返し ケース 確度を高める
実現可能性が確認 き から、
本格的 仕様検討・実装 進む
本日 講演内容
ユースケース検討
ビジネスデザイン
データ設計
データ収集
データ分析
モデル作成
モデル評価
仕様検討
システム設計
実装
運用
概念検証(PoC; Proof of Consept):
プロトタイプ検証を繰り返し ケース 確度を高める
実現可能性が確認 き から、
本格的 仕様検討・実装 進む
これま 主 発表し いた内容
● 使 いるデータ・AI技術
● 検証段階 結果
1.プロジェクト 全体像
● よう ユースケースを作 たか
● これま 成果 今後
● ゲームAIプロジェクト 進め方
AIプロジェクト ライフサイクル
本日 講演内容
ユースケース検討
ビジネスデザイン
データ設計
データ収集
データ分析
モデル作成
モデル評価
仕様検討
システム設計
実装
運用
概念検証(PoC; Proof of Consept):
プロトタイプ検証を繰り返し ケース 確度を高める
実現可能性が確認 き から、
本格的 仕様検討・実装 進む
これま 主 発表し いた内容
● 使 いるデータ・AI技術
● 検証段階 結果
1.プロジェクト 全体像
● よう ユースケースを作 たか
● これま 成果 今後
● ゲームAIプロジェクト 進め方
2.AI施策を運用 乗せるため ML Ops
● システム設計
● 高負荷 耐えられる仕組み
● 運用を楽 する仕組み
AIプロジェクト ライフサイクル
講演 流れ
1
2
3
AI施策を実現するため 技術
AI施策を よう 作 きたか
プロジェクト 振り返り 今後
1 AI施策を よう 作 きたか
● 課題 背景
● AI施策 紹介
1. デッキ編成をサポートするAI
2. 戦略 学習をサポートするAI
『逆転オセロニア』 い
● オセロをベース した、シンプルだが奥深い戦略対戦ゲーム
○ 対戦相手 読み合いや逆転が巻き起こるゲームシステム
● 2016年2月 リリース後、継続的 成長※1
○ 2018年 累計2,300万ダウンロード突破
● 「コミュニティ」 一緒 創るソーシャルゲーム※2
※2: 一周年 爆発した『逆転オセロニア』 おけるゲーム分析 貢献事例 (CEDEC2017)
http://cedil.cesa.or.jp/cedil_sessions/view/1729
※3: 『逆転オセロニア』が実践した “コミュニティ 共創するゲーム運営 ” (CEDEC2018)
https://www.slideshare.net/dena_genom/ss-112897402
オセロ・Othello 登録商標 す。TM&Ⓒ Othello,Co. and MegaHouse © 2016 DeNA Co.,Ltd
デッキ・キャラクター
● 3,000種類を超える選択肢から16キャラクターから るデッキを構築
● キャラクター それぞれ独自 ステータスやスキルを持 いる
○ 新しいキャラクター 週 2,3体程度追加され いく
ステータス
HP、攻撃力、…
キャラクター固有 ス
キル
デッキ よ 様々 戦略 バリエーションが生まれる
バトルシステム
● 基本ルール 、盤面が 6×6 オセロ
● コマを置く 攻撃力やスキル 応じ 相手 ダメージを与えられる
局面 応じ 、戦略的 駒 運用を考える必要がある
相手 HPを削り切る
勝利
手駒 ランダム
選択される
特定 条件を満たす
スキルが発動 きる
特殊 効果を持
マスが存在する
『逆転オセロニア』 解決したい課題
● ゲーム 継続を妨げるよう ネガティブ 体験を無くしたい
○ 「面白さ」を体験するま 多く 試行錯誤を要求し しまう
■ よう デッキを組め 駒同士 相性が良く る か
■ 駒を活用するため よう 戦い方をすれ いい か
● 「デッキ 編成」や「戦い方 学習」をサポートし くれる機能
○ 技術検証が完了し、一部リリースされ いる
AI 活用事例① オススメ編成
● 2018年11月 リリースされた機能
デッキ 属性
デッキコスト
利用したい駒
を選択
所持駒からオススメ
デッキを編成
AI 活用事例① オススメ編成
● 上位プレイヤー デッキ編成ログをも キャラクター 関係性を学習
● 学習されたモデルをも 、オススメ デッキをプレイヤー 提示
大規模
デッキログ
キャラクター 関係を定量化
(アソシエーションルール)
デッキ編成ログ
…
デッキ オススメ 活用
相性がいい
相性がよく い
アソシエーション分析
● 大規模データ 存在する関係性を抽出する分析手法※
○ 関係が支持度、信頼度、リフト 呼 れる指標 定量化 きる
ルール 支持度 信頼度 リフト
アバドン → アズリエル 5% 50% 2.0
ガラム → ジークフリート 25% 40% 1.5
フレデリカ → アルキメデス 20% 45% 2.1
ラヴーシュカ → アルキメデス 5% 30% 2.0
デネヴ → クロリス 55% 60% 2.3
… … … …
組み合わせ
頻度 ルール 有用度
前者 キャラがいる き
後者 キャラが含まれる確率
※『逆転オセロニア』 おける運用効率化支援 〜デッキログ データマイニング〜
https://www.slideshare.net/dena_tech/ss-87960853
基本的 スコア 高い組み合わせを
オススメし いけ 定番 デッキを作れる
リリース後 状況
時間
オススメ編成
利用回数
● メインターゲット し いる序盤プレイヤー 順調 利用され いる
リリース
デッキ編成を促すイベント期間中
需要が急拡大
イベント終了後も
継続的 利用され いる
※ 新キャラ獲得を契機 オススメ 編成を
  確かめる傾向も確認され いる
リリース後 状況
● 初心者 PvP 勝率がオススメ編成を使 た場合 +5pt 程度改善
○ 逆 上位プレイヤー 場合 自分 編成した方が勝率が高い※
○ ゲーム 習熟するほ 自分 デッキを工夫する必要性が出 くる
● 事業的 もポジティブ 数字が見え き いる
※ 上位プレイヤー 「取りあえずオススメ編成 デッキを作 からカスタマイズする」 いう使われ方も
  され いるよう 、そ 意味 全方位的 プレイヤー 負担を軽減し いる
Tips:「納得感」を作るため
● 分析結果 単純適用 不十分
○ 基本的 関係性 指標が強いも から順 オススメするが、
それだけだ プレイヤー 文脈 即したオススメ ら い
● 細かいチューニングを繰り返し がら「納得感」を作り上げ いる
○ リーダー駒を選ぶ時 別 ルールを併用する
○ スキルが発動可能かを一部チェックする
○ マイナー 駒を使う時 ルールを変更する
○ …
AI 活用事例② 戦略 学習サポート※
● 棋譜を読み込ん 上位ユーザー 戦略を学習
● 『逆転オセロニア』を遊べるAIを練習相手 、定番 デッキ運用を学習
○ 対人戦ほ ハードル 高く く、人間 よう 打ち方をする練習相手
※ まだ未リリース 機能 ため、今後 リリースを保証するも ありません。
  開発中 仕様 ため変更される可能性があります。
深層学習を使 た戦略 学習
● 『逆転オセロニア』をプレイするため 複雑 戦略 獲得が必要
○ 表現力を持 DNN(Deep Neural Nework)を採用
① 盤面情報、手駒情報 を数値 変換
1 6 2 4 9 2
2 5 3 1 8 3
0 1 5 0 9 2
8 7 2 7 3 4
1 4 3 2 3 0
3 5 1 9 8 3
1 6 2 4 9 2
2 5 3 1 8 3
0 1 5 0 9 2
8 7 2 7 3 4
1 4 3 2 3 0
3 5 1 9 8 3
1 6 2 4 9 2
2 5 3 1 8 3
0 1 5 0 9 2
8 7 2 7 3 4
1 4 3 2 3 0
3 5 1 9 8 3
Deep Neural
Network
② DNNが入力情報をも 打ち手を推論
打ち手
確率
上位プレイヤー
棋譜ログ
③ 上位プレイヤーが打 たか うかを
  教師信号 し 比較 (Cross-Entropy Loss)
④ 打ち方が上位プレイヤー 近 くよう
  ネットワークを更新
(数千万 バトルデータを用い 何度も繰り返し学習)
5000程度
特徴
(参考)ネットワーク アーキテクチャ
※ 本講演 詳細 立ち入りません(概要 以下資料を参考 し ください)
  https://www.slideshare.net/juneokumura/cedec2018ai
こ パート お話したこ
● 施策 デザイン 過程
○ プレイヤー ネガを軽減するため 施策を検証
● 各AI施策 説明 結果
○ デッキを編成するAI
■ 既 リリースされ おり、ポジティブ 数字が出 き いる
○ 戦略 学習をサポートするAI
■ 技術検証が完了し、機能 検討を進め いる
2 AI施策を実現するため 技術
● システム設計
○ オススメ編成
○ 対戦 AI
● 高負荷 耐えられる仕組み
○ Cloud ML Engine オンライン予測 利用
● 運用を楽 する仕組み
○ Experiment as Code
登壇者紹介:岡田 健
● 理学修士(専門:数論幾何)
● エンジニア @ ゲーム事業本部 (~2017/12)
○ 『FINAL FANTASY Record Keeper』エンジニア
● AI研究開発エンジニア @ AIシステム部 (2018/01~)
○ ゲームAI・強化学習 AI エンジニア
■ エンジニアリング担当
■ 学習高速化(教師あり学習, 強化学習), 実験管理 仕組み くり, CI/CD
@keno_ss
『逆転オセロニア』
AI を導入する
PoC =
機械学習サービス 課題
引用: Sculley, et al., Hidden Technical Debt in Machine Learning Systems, NIPS, 2015
機械学習サービス 課題
引用: Sculley, et al., Hidden Technical Debt in Machine Learning Systems, NIPS, 2015
サービス し 提供するため
モデル 学習以外 も
いろいろ必要
今日 話
トピック
● システム設計
○ オススメ編成
○ 対戦 AI
● 高負荷 耐えられる仕組み
○ Cloud ML Engine オンライン予測 利用
● 運用を楽 する仕組み
○ Experiment as Code
2 AI施策を実現するため 技術
● システム設計
○ オススメ編成
○ 対戦 AI
● 高負荷 耐えられる仕組み
○ Cloud ML Engine オンライン予測 利用
● 運用を楽 する仕組み
○ Experiment as Code
システム設計
オススメ編成 (再掲)
大規模
デッキログ
デッキ編成ログ デッキ オススメ 活用キャラクター 関係を定量化
(アソシエーションルール)
…
相性がいい
相性がよく い
training
serving
batch
システム設計: オススメ編成
分析 batch
ユーザー
デッキ編成データ
レコメンド API
App Engine
BigQuery
アソシエーション分析
Compute Engine
Cloud
Storage
Cloud
Pub/Sub
Cloud
Storage
Cloud
Datastore
App
Engine
Cloud
Functions
更新日時
マスタデータ
アソシエーションルール
(pickle)
マスタデータ
アソシエーションルール
(sqlite)
ユーザー id
所持し いる駒
レコメンドオプション
レコメンド結果 デッキ
(cron)
対戦 AI (再掲)
1 6 2 4 9 2
2 5 3 1 8 3
0 1 5 0 9 2
8 7 2 7 3 4
1 4 3 2 3 0
3 5 1 9 8 3
1 6 2 4 9 2
2 5 3 1 8 3
0 1 5 0 9 2
8 7 2 7 3 4
1 4 3 2 3 0
3 5 1 9 8 3
1 6 2 4 9 2
2 5 3 1 8 3
0 1 5 0 9 2
8 7 2 7 3 4
1 4 3 2 3 0
3 5 1 9 8 3
Deep Neural
Network
打ち手
確率
上位プレイヤー
棋譜ログ
training
serving
システム設計: 対戦 AI
serving
training棋譜
AI モデル よる推論
Cloud Machine Learning
推論 API
App Engine
打ち手
価値
打ち手
価値
AI PvE マッチ
PvP マッチ Training AI model
BigQuery
Preprocessing
Compute Engine
Training
Compute Engine
Cloud
Storage
棋譜
棋譜
AI model
特徴量
Cloud
Storage
AI model棋譜
2 AI施策を実現するため 技術
● システム設計
○ オススメ編成
○ 対戦 AI
● 高負荷 耐えられる仕組み
○ Cloud ML Engine オンライン予測 利用
● 運用を楽 する仕組み
○ Experiment as Code
Cloud ML Engine オンライン予測 利用
スケーラビリティ
● ゲーム イベントが開始された瞬間(~10分) アクセスが急増する
○ 試算 結果, 推論 API サーバー おい 700 RPS (= リクエスト/sec)
● オンライン予測 (not バッチ予測)
○ クライアントから棋譜を受け取り, レスポンス し 推論結果を返す
⇒ Cloud ML Engine auto scaling 任せたい
想定 RPS
推論 API 求められる要件
推論 API
App Engine
AI モデル よる推論
Cloud Machine Learning
持ち時間: 15秒
ターン制バトル
持ち時間がある
満たせ けれ
UX 影響する
相手 次 こ 置い くるか ...?
Cloud ML Engine 負荷検証
● 評価観点
○ 想定 RPS 耐えられるか
■ 10 分 1000 RPS ま 増加する負荷をかける
○ レイテンシ
○ エラー率, エラー 起き方
○ 暖機 必要か
● 検証結果
○ す やくスケールし くれる
○ レイテンシ 3 秒以下※1
○ ただし, 一定割合 タイムアウトする※2
■ インスタンス数が増加するタイミング 起きる
(一例)
リクエスト数
エラー数
※1 我々 モデル 場合 .
※2 リクエストする側 10秒 タイムアウト. 実際 200 返 くる.
タイムアウトへ 対処
推論 API
App Engine
AI モデル よる推論
Cloud Machine Learning
AI モデル よる推論
Cloud Machine Learning
5秒待 帰 こ か たら
何かあ た 判断し
backup 再度リクエスト
backupmain
● main auto scaling
● backup 最低ノード数(minNodes)指定
+ auto scaling
タイムアウトへ 対処: 結果
全 上手く捌け いる!!
2 AI施策を実現するため 技術
● システム設計
○ オススメ編成
○ 対戦 AI
● 高負荷 耐えられる仕組み
○ Cloud ML Engine オンライン予測 利用
● 運用を楽 する仕組み
○ Experiment as Code
Experiment as Code
モデル管理あるある
(スプレッドシートを確認する )
えー ,
2018MMDD_classAB_2048_emd56252_sb_flat
す .
あ き 使 たモデル れだ け ?
(2048? sb_flat?)
ぐ ...
表現ベクトル サイズが合わ く
ビルド き い...
表現ベクトル い 昨年 TechCon を参照https://www.slideshare.net/juneokumura/dena-techcon2018
「運用 カバー」 限界
(一人 作業し い も起きる問題 )
Experiment as Code
Experiment = モデルを生成/学習する1単位
● Configration
○ 学習 用いる棋譜 (期間, ユーザー クラス帯)
○ 隠れ層 ユニット数, 活性化関数, 学習率, バッチサイズ, etc…
○ キャラクター 表現ベクトル version
○ 特徴量抽出器 version
○ … をコード 記述し
● Data Collection
○ 必要 素材を集め き
● Feature Extraction
○ 指定された特徴量抽出器を使い学習したい
extraction
Cloud ML
ModelRecipe
Model.train
feature module
ModelRecipe
ModelRecipe
feature module
feature module
特徴量 特徴量
※説明 ためコード 簡略化し います
実験 (experiment)
デプロイ (deployment) を
コード 制御したい
extraction
Cloud ML
ModelRecipe
Model.train
feature module
ModelRecipe
ModelRecipe
feature module
feature module
特徴量 特徴量
※説明 ためコード 簡略化し います
ModelRecipe (or model name)
● ↔ experiment
● → deployment
● こ モデルが保存されるか
(local & GCS)も決定
extraction
Cloud ML
ModelRecipe
Model.train
feature module
ModelRecipe
ModelRecipe
feature module
feature module
特徴量 特徴量
※説明 ためコード 簡略化し います
feature module (or feature version)
● 特徴量 スキーマ定義
● FeatureExtractor 実装
正しいも を使わ い 精度が落ちる
extraction
Cloud ML
ModelRecipe
Model.train
feature module
ModelRecipe
ModelRecipe
feature module
feature module
特徴量 特徴量
※説明 ためコード 簡略化し います
ModelRecipe から特徴量抽出器を
学習データ生成や推論 利用
Experiment as Code: CLI tool
$ python util_model.py COMMAND --model-name=sl/v001_alpha
AI model
embedding
vector
Cloud
Storage
download_dependencies
build
check_trainable
download_model log training log
download_model inference AI model
train がエラー く実行 きるか
学習回せるか チェックま local やり,
学習自体 学習サーバー 行う
技術パートま め
● システム設計
○ クラウド環境を積極的 利用
■ 運用コストを低く保ち , 負荷 柔軟 対応可能 AI サービス きた.
● 高負荷 耐えられる仕組み
○ レイテンシ要求がそこま 高く い場合, Cloud ML Engine 便利
■ ひ 手間かけれ 更 堅牢 するこ が可能.
● 運用を楽 する仕組み
○ Experiment as Code を徹底
■ 学習やデプロイ 手順が明確 り, 再実験/共有が容易 .
3 プロジェクト 振り返り 今後
● プロジェクトを通し 意識したこ
● 今後 い
プロジェクトを通じ 意識したこ
1. スモールスタート じめよう
2. 期待値を合意し いこう
3. 機械学習チーム 役割を分散しよう
4. 目的を見失わ い
1. スモールスタート 始めよう
● AIプロジェクト 最大 課題 不確実性
○ 「AI 何が きる か」「 れくらい きる か」が分から い
計画 準備
施策がブレる
評価指標があいまい る
実装 検証 実現
期待値が膨らん
非現実的 ゴールを作 しまう
成果が不透明 状況
予算・工数 GO判断を出し らい
精度が出 い 手戻りが発生
1. スモールスタート 始めよう
● AIプロジェクト 最大 課題 不確実性
○ 「AI 何が きる か」「 れくらい きる か」が分から い
大計画 準備 実装 検証 実現
小計画 準備 実装 検証
小計画 準備 実装 検証
小計画 準備 実装 検証
課題を分解し 少しず 不確実性を ぶし がら、
継続 判断 工数・予算 調整を繰り返した
1. スモールスタート 始めよう
検証内容
1. そもそもAI 学習 きる か 基本3デッキ NPCより勝率が高いか
● シミュレータ、学習環境
● 基本デッキを使 た棋譜データ
● DNNアーキテクチャ設計
2. キャラを拡張するこ 可能か
定番14デッキ 拡張し も
勝率が維持 きるか
● AIエージェント 場合 イメージ(※簡略化し います)
3. 勝率を上げるこ 可能か 定番14デッキ 勝率を◯pt改善 きるか
● 定番デッキ 抽出(クラスタリング)
● 定番デッキを使 た棋譜データ
● 拡張技術候補(ohe、表現学習、…)
アーキテクチャや特徴量検証 ため
分散学習設計
4. 現実 ユースケース 耐えうるか
● 全キャラ拡張し 勝率を維持 きるか
● 高負荷を現実的 予算 さ けるか
● 強さを体感するため ツール開発
● サーバーサイド 仮実装 負荷検証
期間◯ヶ月
◯人月、◯万円
期間◯ヶ月
◯人月、◯万円
期間◯ヶ月
◯人月、◯万円
期間◯ヶ月
◯人月、◯万円
判断基準 必要 も ・技術 リソース
…
…
…
…
2. 期待値を合意しよう
● 不確実性がある 、期待値 人それぞれ
● 以下 点 一緒 認識形成するべき
1. AI パフォーマンス 不確実性があるこ (一喜一憂し い)
2. 不確実性 度合い、リリース後 変動
「思 たより勝率が出た!」 「あれ、想像し いたより弱い…」
「勝率が◯%ま いく 思 たが、
 そこま 改善し か た」
「前回 言 いるこ が違う…」
AIメンバー 事業部メンバー
2. 期待値を合意しよう
● 3 見通しをすり合わせるこ 、共通 期待値が醸成され い た
※『データサイエンティスト養成読本 ビジネス活用編』第3章より引用
2. 期待値を合意しよう
● 3 見通しをすり合わせるこ 、共通 期待値が醸成され い た
○ 重要度:最低ライン > 現実ライン > 理想ライン
※『データサイエンティスト養成読本 ビジネス活用編』第3章より引用
3. AIチーム 役割を分散しよう
● AIチーム プロジェクト すべ フェーズ 関わるこ る
● フェーズご 必要 スキルも様々
ケース 設計
● ビジネス理解
● KPI設計
● コミュニケーション
● プロジェクトマネジメント
データ設計・収集
● インフラ構築
● アーキテクチャ設計
● ETL
モデル構築・評価
● 特徴量エンジニアリング
● モデリング
● 最新研究 サーベイ
● 分散コンピューティング
● ドメイン理解
実装・運用
● システム設計
● アプリケーション開発
● DevOps、CD/CI
● 想像以上 プロジェクト 生態系 複雑
● ん もカバー きる「スーパーマン」人材を求め しまいがち
3. AIチーム 役割を分散しよう
● AIチーム プロジェクト すべ フェーズ 関わるこ る
● フェーズご 必要 スキルも様々
ケース 設計
● ビジネス理解
● KPI設計
● コミュニケーション
● プロジェクトマネジメント
データ設計・収集
● インフラ構築
● アーキテクチャ設計
● ETL
モデル構築・評価
● 特徴量エンジニアリング
● モデリング
● 最新研究 サーベイ
● 分散コンピューティング
● ドメイン理解
実装・運用
● システム設計
● アプリケーション開発
● ML DevOps、CD/CI
事業部メンバー 分析基盤チーム
データアナリスト
データサイエンティスト
リサーチャー
アプリケーションエンジニア
AI PM 機械学習エンジニア
● DeNA スキルご 専門 チームがおり柔軟 チーム編成が可能
● AIメンバーが複数 スキルをかけもちし 全体をカバーし いる
4. 目的を見失わ い
● AI ため AI開発をし い
○ 「強いAI」や「AI 対戦 きるこ 」それ自体 メリット ら い
● ゲームが面白く るこ 、面白さを阻害するハードルを くすこ が目的
● 今回 「AIが黒子 徹する」くらいがちょう いい付き合い方
今後 い
● ゲームAI開発 経験値を活かし 徐々 拡大したい
○ 今回 紹介 き か たが検討され いるケース
○ 他 タイトルへ 知見 展開
● 「0→1」 「1→10」 プロジェクト 性質が変わる
○ ゲームタイトルを横断した共通 基盤 必要性
○ ゲームAIを専門 したチーム体制 構築
○ より長期的 戦略策定
試行錯誤 真 最中
社外 がり い
● 業界全体 技術共有を進め いく必要性
○ ゲーム開発 今後も大規模化・高度化が続い いく
○ 単独チームや一 会社だけ 話が進ま い
○ TechCon 情報発信やコミュニティ活動もそうした一環
ゲームAIコミュニティ
Slack: game-ai-ja
https://goo.gl/jqEgLf
Google Group: game-ai
https://goo.gl/4dVN2o
Acknowledgement
● いらす や
○
●
○
○
運用中のゲームにAIを導入するには〜プロジェクト推進・ユースケース・運用〜 [DeNA TechCon 2019]

More Related Content

What's hot

【Unity道場】物理シミュレーション完全マスター
【Unity道場】物理シミュレーション完全マスター【Unity道場】物理シミュレーション完全マスター
【Unity道場】物理シミュレーション完全マスターUnity Technologies Japan K.K.
 
[DL輪読会]EdgeConnect: Generative Image Inpainting with Adversarial Edge Learning
[DL輪読会]EdgeConnect: Generative Image Inpainting with Adversarial Edge Learning[DL輪読会]EdgeConnect: Generative Image Inpainting with Adversarial Edge Learning
[DL輪読会]EdgeConnect: Generative Image Inpainting with Adversarial Edge LearningDeep Learning JP
 
深層学習による製造業のスマート化と産業応用の将来展望(クオリティフォーラム2020講演資料)
深層学習による製造業のスマート化と産業応用の将来展望(クオリティフォーラム2020講演資料)深層学習による製造業のスマート化と産業応用の将来展望(クオリティフォーラム2020講演資料)
深層学習による製造業のスマート化と産業応用の将来展望(クオリティフォーラム2020講演資料)Preferred Networks
 
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜SSII
 
[DL輪読会]Deep High-Resolution Representation Learning for Human Pose Estimation
[DL輪読会]Deep High-Resolution Representation Learning for Human Pose Estimation[DL輪読会]Deep High-Resolution Representation Learning for Human Pose Estimation
[DL輪読会]Deep High-Resolution Representation Learning for Human Pose EstimationDeep Learning JP
 
PyTorchLightning ベース Hydra+MLFlow+Optuna による機械学習開発環境の構築
PyTorchLightning ベース Hydra+MLFlow+Optuna による機械学習開発環境の構築PyTorchLightning ベース Hydra+MLFlow+Optuna による機械学習開発環境の構築
PyTorchLightning ベース Hydra+MLFlow+Optuna による機械学習開発環境の構築Kosuke Shinoda
 
『逆転オセロニア』における バンディットアルゴリズムおよび強化学習を用いた 対戦環境のバランス設計支援
『逆転オセロニア』における バンディットアルゴリズムおよび強化学習を用いた 対戦環境のバランス設計支援『逆転オセロニア』における バンディットアルゴリズムおよび強化学習を用いた 対戦環境のバランス設計支援
『逆転オセロニア』における バンディットアルゴリズムおよび強化学習を用いた 対戦環境のバランス設計支援TakumaYoshimura
 
GCC2016 ゲームエフェクト制作の現状報告
GCC2016 ゲームエフェクト制作の現状報告GCC2016 ゲームエフェクト制作の現状報告
GCC2016 ゲームエフェクト制作の現状報告t h
 
一般的なチートの手法と対策について
一般的なチートの手法と対策について一般的なチートの手法と対策について
一般的なチートの手法と対策について優介 黒河
 
スマートシティへのデジタルゲームAIの応用
スマートシティへのデジタルゲームAIの応用スマートシティへのデジタルゲームAIの応用
スマートシティへのデジタルゲームAIの応用Youichiro Miyake
 
DLLab 異常検知ナイト 資料 20180214
DLLab 異常検知ナイト 資料 20180214DLLab 異常検知ナイト 資料 20180214
DLLab 異常検知ナイト 資料 20180214Kosuke Nakago
 
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...NTT DATA Technology & Innovation
 
ArcFace: Additive Angular Margin Loss for Deep Face Recognition
ArcFace: Additive Angular Margin Loss for Deep Face RecognitionArcFace: Additive Angular Margin Loss for Deep Face Recognition
ArcFace: Additive Angular Margin Loss for Deep Face Recognitionharmonylab
 
デプスセンサとその応用
デプスセンサとその応用デプスセンサとその応用
デプスセンサとその応用Norishige Fukushima
 
CoreMLによるiOS深層学習アプリの実装と性能分析
CoreMLによるiOS深層学習アプリの実装と性能分析CoreMLによるiOS深層学習アプリの実装と性能分析
CoreMLによるiOS深層学習アプリの実装と性能分析Ryosuke Tanno
 
【メタサーベイ】基盤モデル / Foundation Models
【メタサーベイ】基盤モデル / Foundation Models【メタサーベイ】基盤モデル / Foundation Models
【メタサーベイ】基盤モデル / Foundation Modelscvpaper. challenge
 
アップルの特許に見るUI特許のポイント
アップルの特許に見るUI特許のポイントアップルの特許に見るUI特許のポイント
アップルの特許に見るUI特許のポイントkurikiyo
 
[DL輪読会]Transframer: Arbitrary Frame Prediction with Generative Models
[DL輪読会]Transframer: Arbitrary Frame Prediction with Generative Models[DL輪読会]Transframer: Arbitrary Frame Prediction with Generative Models
[DL輪読会]Transframer: Arbitrary Frame Prediction with Generative ModelsDeep Learning JP
 
ドラレコ + CV = 地図@Mobility Technologies
ドラレコ + CV = 地図@Mobility Technologiesドラレコ + CV = 地図@Mobility Technologies
ドラレコ + CV = 地図@Mobility TechnologiesKazuyuki Miyazawa
 

What's hot (20)

【Unity道場】物理シミュレーション完全マスター
【Unity道場】物理シミュレーション完全マスター【Unity道場】物理シミュレーション完全マスター
【Unity道場】物理シミュレーション完全マスター
 
[DL輪読会]EdgeConnect: Generative Image Inpainting with Adversarial Edge Learning
[DL輪読会]EdgeConnect: Generative Image Inpainting with Adversarial Edge Learning[DL輪読会]EdgeConnect: Generative Image Inpainting with Adversarial Edge Learning
[DL輪読会]EdgeConnect: Generative Image Inpainting with Adversarial Edge Learning
 
深層学習による製造業のスマート化と産業応用の将来展望(クオリティフォーラム2020講演資料)
深層学習による製造業のスマート化と産業応用の将来展望(クオリティフォーラム2020講演資料)深層学習による製造業のスマート化と産業応用の将来展望(クオリティフォーラム2020講演資料)
深層学習による製造業のスマート化と産業応用の将来展望(クオリティフォーラム2020講演資料)
 
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
 
[DL輪読会]Deep High-Resolution Representation Learning for Human Pose Estimation
[DL輪読会]Deep High-Resolution Representation Learning for Human Pose Estimation[DL輪読会]Deep High-Resolution Representation Learning for Human Pose Estimation
[DL輪読会]Deep High-Resolution Representation Learning for Human Pose Estimation
 
PyTorchLightning ベース Hydra+MLFlow+Optuna による機械学習開発環境の構築
PyTorchLightning ベース Hydra+MLFlow+Optuna による機械学習開発環境の構築PyTorchLightning ベース Hydra+MLFlow+Optuna による機械学習開発環境の構築
PyTorchLightning ベース Hydra+MLFlow+Optuna による機械学習開発環境の構築
 
『逆転オセロニア』における バンディットアルゴリズムおよび強化学習を用いた 対戦環境のバランス設計支援
『逆転オセロニア』における バンディットアルゴリズムおよび強化学習を用いた 対戦環境のバランス設計支援『逆転オセロニア』における バンディットアルゴリズムおよび強化学習を用いた 対戦環境のバランス設計支援
『逆転オセロニア』における バンディットアルゴリズムおよび強化学習を用いた 対戦環境のバランス設計支援
 
GCC2016 ゲームエフェクト制作の現状報告
GCC2016 ゲームエフェクト制作の現状報告GCC2016 ゲームエフェクト制作の現状報告
GCC2016 ゲームエフェクト制作の現状報告
 
一般的なチートの手法と対策について
一般的なチートの手法と対策について一般的なチートの手法と対策について
一般的なチートの手法と対策について
 
スマートシティへのデジタルゲームAIの応用
スマートシティへのデジタルゲームAIの応用スマートシティへのデジタルゲームAIの応用
スマートシティへのデジタルゲームAIの応用
 
DLLab 異常検知ナイト 資料 20180214
DLLab 異常検知ナイト 資料 20180214DLLab 異常検知ナイト 資料 20180214
DLLab 異常検知ナイト 資料 20180214
 
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
 
ArcFace: Additive Angular Margin Loss for Deep Face Recognition
ArcFace: Additive Angular Margin Loss for Deep Face RecognitionArcFace: Additive Angular Margin Loss for Deep Face Recognition
ArcFace: Additive Angular Margin Loss for Deep Face Recognition
 
デプスセンサとその応用
デプスセンサとその応用デプスセンサとその応用
デプスセンサとその応用
 
CoreMLによるiOS深層学習アプリの実装と性能分析
CoreMLによるiOS深層学習アプリの実装と性能分析CoreMLによるiOS深層学習アプリの実装と性能分析
CoreMLによるiOS深層学習アプリの実装と性能分析
 
【メタサーベイ】基盤モデル / Foundation Models
【メタサーベイ】基盤モデル / Foundation Models【メタサーベイ】基盤モデル / Foundation Models
【メタサーベイ】基盤モデル / Foundation Models
 
アップルの特許に見るUI特許のポイント
アップルの特許に見るUI特許のポイントアップルの特許に見るUI特許のポイント
アップルの特許に見るUI特許のポイント
 
[DL輪読会]Transframer: Arbitrary Frame Prediction with Generative Models
[DL輪読会]Transframer: Arbitrary Frame Prediction with Generative Models[DL輪読会]Transframer: Arbitrary Frame Prediction with Generative Models
[DL輪読会]Transframer: Arbitrary Frame Prediction with Generative Models
 
ドラレコ + CV = 地図@Mobility Technologies
ドラレコ + CV = 地図@Mobility Technologiesドラレコ + CV = 地図@Mobility Technologies
ドラレコ + CV = 地図@Mobility Technologies
 
Data-Centric AIの紹介
Data-Centric AIの紹介Data-Centric AIの紹介
Data-Centric AIの紹介
 

Similar to 運用中のゲームにAIを導入するには〜プロジェクト推進・ユースケース・運用〜 [DeNA TechCon 2019]

Iot algyan jhirono 20190111
Iot algyan jhirono 20190111Iot algyan jhirono 20190111
Iot algyan jhirono 20190111Hirono Jumpei
 
2020/11/19 Global AI on Tour - Toyama プログラマーのための機械学習入門
2020/11/19 Global AI on Tour - Toyama プログラマーのための機械学習入門2020/11/19 Global AI on Tour - Toyama プログラマーのための機械学習入門
2020/11/19 Global AI on Tour - Toyama プログラマーのための機械学習入門Daiyu Hatakeyama
 
Graviton2プロセッサの性能特性と適用箇所/Supership株式会社 中野 豊
Graviton2プロセッサの性能特性と適用箇所/Supership株式会社 中野 豊Graviton2プロセッサの性能特性と適用箇所/Supership株式会社 中野 豊
Graviton2プロセッサの性能特性と適用箇所/Supership株式会社 中野 豊Supership株式会社
 
Azure Antenna AI 概要
Azure Antenna AI 概要Azure Antenna AI 概要
Azure Antenna AI 概要Miho Yamamoto
 
Kaggleのテクニック
KaggleのテクニックKaggleのテクニック
KaggleのテクニックYasunori Ozaki
 
AI に取り組むべき4つの領域
AI に取り組むべき4つの領域AI に取り組むべき4つの領域
AI に取り組むべき4つの領域Daisuke Masubuchi
 
Microsoft AI セミナー - Microsoft AI Platform
Microsoft AI セミナー - Microsoft AI PlatformMicrosoft AI セミナー - Microsoft AI Platform
Microsoft AI セミナー - Microsoft AI PlatformDaiyu Hatakeyama
 
エヌビディアが加速するディープラーニング ~進化するニューラルネットワークとその開発方法について~
エヌビディアが加速するディープラーニング ~進化するニューラルネットワークとその開発方法について~エヌビディアが加速するディープラーニング ~進化するニューラルネットワークとその開発方法について~
エヌビディアが加速するディープラーニング ~進化するニューラルネットワークとその開発方法について~NVIDIA Japan
 
Autonomous選手権システムエグゼ社発表資料
Autonomous選手権システムエグゼ社発表資料Autonomous選手権システムエグゼ社発表資料
Autonomous選手権システムエグゼ社発表資料Mai Nagahisa
 
local launch small language model of AI.
local launch small language model of AI.local launch small language model of AI.
local launch small language model of AI.Takao Tetsuro
 
PGXのレスポンスとリソース消費
PGXのレスポンスとリソース消費PGXのレスポンスとリソース消費
PGXのレスポンスとリソース消費Tatsumi Akinori
 
Qiita x Microsoft - 機械学習セミナー Microsoft AI Platform
Qiita x Microsoft - 機械学習セミナー Microsoft AI PlatformQiita x Microsoft - 機械学習セミナー Microsoft AI Platform
Qiita x Microsoft - 機械学習セミナー Microsoft AI PlatformDaiyu Hatakeyama
 
2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ LiveOps とデータ分析編 ~
2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ LiveOps とデータ分析編 ~2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ LiveOps とデータ分析編 ~
2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ LiveOps とデータ分析編 ~Daisuke Masubuchi
 
【de:code 2020】 2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ LiveOps とデータ分析編 ~
【de:code 2020】 2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ LiveOps とデータ分析編 ~【de:code 2020】 2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ LiveOps とデータ分析編 ~
【de:code 2020】 2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ LiveOps とデータ分析編 ~日本マイクロソフト株式会社
 
Ques12_自動テスト ✕ 機械学習 〜自動テスト結果分析は楽になるか?〜
Ques12_自動テスト ✕ 機械学習 〜自動テスト結果分析は楽になるか?〜Ques12_自動テスト ✕ 機械学習 〜自動テスト結果分析は楽になるか?〜
Ques12_自動テスト ✕ 機械学習 〜自動テスト結果分析は楽になるか?〜Mao Yamaguchi
 
Microsoft Azureのビッグデータ基盤とAIテクノロジーを活用しよう
Microsoft Azureのビッグデータ基盤とAIテクノロジーを活用しようMicrosoft Azureのビッグデータ基盤とAIテクノロジーを活用しよう
Microsoft Azureのビッグデータ基盤とAIテクノロジーを活用しようHideo Takagi
 
Deep Learning Lab - Microsoft Machine Learning meetup 2018/06/27 - 推論編
Deep Learning Lab - Microsoft Machine Learning meetup 2018/06/27 - 推論編Deep Learning Lab - Microsoft Machine Learning meetup 2018/06/27 - 推論編
Deep Learning Lab - Microsoft Machine Learning meetup 2018/06/27 - 推論編Daiyu Hatakeyama
 
[Developers Summit 2018] Microsoft AIプラットフォームによるインテリジェント アプリケーションの構築
[Developers Summit 2018] Microsoft AIプラットフォームによるインテリジェント アプリケーションの構築[Developers Summit 2018] Microsoft AIプラットフォームによるインテリジェント アプリケーションの構築
[Developers Summit 2018] Microsoft AIプラットフォームによるインテリジェント アプリケーションの構築Naoki (Neo) SATO
 
Azure Machine Learning services 2019年6月版
Azure Machine Learning services 2019年6月版Azure Machine Learning services 2019年6月版
Azure Machine Learning services 2019年6月版Daiyu Hatakeyama
 
kagamicomput201705
kagamicomput201705kagamicomput201705
kagamicomput201705swkagami
 

Similar to 運用中のゲームにAIを導入するには〜プロジェクト推進・ユースケース・運用〜 [DeNA TechCon 2019] (20)

Iot algyan jhirono 20190111
Iot algyan jhirono 20190111Iot algyan jhirono 20190111
Iot algyan jhirono 20190111
 
2020/11/19 Global AI on Tour - Toyama プログラマーのための機械学習入門
2020/11/19 Global AI on Tour - Toyama プログラマーのための機械学習入門2020/11/19 Global AI on Tour - Toyama プログラマーのための機械学習入門
2020/11/19 Global AI on Tour - Toyama プログラマーのための機械学習入門
 
Graviton2プロセッサの性能特性と適用箇所/Supership株式会社 中野 豊
Graviton2プロセッサの性能特性と適用箇所/Supership株式会社 中野 豊Graviton2プロセッサの性能特性と適用箇所/Supership株式会社 中野 豊
Graviton2プロセッサの性能特性と適用箇所/Supership株式会社 中野 豊
 
Azure Antenna AI 概要
Azure Antenna AI 概要Azure Antenna AI 概要
Azure Antenna AI 概要
 
Kaggleのテクニック
KaggleのテクニックKaggleのテクニック
Kaggleのテクニック
 
AI に取り組むべき4つの領域
AI に取り組むべき4つの領域AI に取り組むべき4つの領域
AI に取り組むべき4つの領域
 
Microsoft AI セミナー - Microsoft AI Platform
Microsoft AI セミナー - Microsoft AI PlatformMicrosoft AI セミナー - Microsoft AI Platform
Microsoft AI セミナー - Microsoft AI Platform
 
エヌビディアが加速するディープラーニング ~進化するニューラルネットワークとその開発方法について~
エヌビディアが加速するディープラーニング ~進化するニューラルネットワークとその開発方法について~エヌビディアが加速するディープラーニング ~進化するニューラルネットワークとその開発方法について~
エヌビディアが加速するディープラーニング ~進化するニューラルネットワークとその開発方法について~
 
Autonomous選手権システムエグゼ社発表資料
Autonomous選手権システムエグゼ社発表資料Autonomous選手権システムエグゼ社発表資料
Autonomous選手権システムエグゼ社発表資料
 
local launch small language model of AI.
local launch small language model of AI.local launch small language model of AI.
local launch small language model of AI.
 
PGXのレスポンスとリソース消費
PGXのレスポンスとリソース消費PGXのレスポンスとリソース消費
PGXのレスポンスとリソース消費
 
Qiita x Microsoft - 機械学習セミナー Microsoft AI Platform
Qiita x Microsoft - 機械学習セミナー Microsoft AI PlatformQiita x Microsoft - 機械学習セミナー Microsoft AI Platform
Qiita x Microsoft - 機械学習セミナー Microsoft AI Platform
 
2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ LiveOps とデータ分析編 ~
2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ LiveOps とデータ分析編 ~2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ LiveOps とデータ分析編 ~
2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ LiveOps とデータ分析編 ~
 
【de:code 2020】 2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ LiveOps とデータ分析編 ~
【de:code 2020】 2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ LiveOps とデータ分析編 ~【de:code 2020】 2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ LiveOps とデータ分析編 ~
【de:code 2020】 2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ LiveOps とデータ分析編 ~
 
Ques12_自動テスト ✕ 機械学習 〜自動テスト結果分析は楽になるか?〜
Ques12_自動テスト ✕ 機械学習 〜自動テスト結果分析は楽になるか?〜Ques12_自動テスト ✕ 機械学習 〜自動テスト結果分析は楽になるか?〜
Ques12_自動テスト ✕ 機械学習 〜自動テスト結果分析は楽になるか?〜
 
Microsoft Azureのビッグデータ基盤とAIテクノロジーを活用しよう
Microsoft Azureのビッグデータ基盤とAIテクノロジーを活用しようMicrosoft Azureのビッグデータ基盤とAIテクノロジーを活用しよう
Microsoft Azureのビッグデータ基盤とAIテクノロジーを活用しよう
 
Deep Learning Lab - Microsoft Machine Learning meetup 2018/06/27 - 推論編
Deep Learning Lab - Microsoft Machine Learning meetup 2018/06/27 - 推論編Deep Learning Lab - Microsoft Machine Learning meetup 2018/06/27 - 推論編
Deep Learning Lab - Microsoft Machine Learning meetup 2018/06/27 - 推論編
 
[Developers Summit 2018] Microsoft AIプラットフォームによるインテリジェント アプリケーションの構築
[Developers Summit 2018] Microsoft AIプラットフォームによるインテリジェント アプリケーションの構築[Developers Summit 2018] Microsoft AIプラットフォームによるインテリジェント アプリケーションの構築
[Developers Summit 2018] Microsoft AIプラットフォームによるインテリジェント アプリケーションの構築
 
Azure Machine Learning services 2019年6月版
Azure Machine Learning services 2019年6月版Azure Machine Learning services 2019年6月版
Azure Machine Learning services 2019年6月版
 
kagamicomput201705
kagamicomput201705kagamicomput201705
kagamicomput201705
 

More from DeNA

DRIVE CHARTの裏側 〜 AI ☓ IoT ☓ ビッグデータを 支えるアーキテクチャ 〜
DRIVE CHARTの裏側  〜 AI ☓ IoT ☓ ビッグデータを 支えるアーキテクチャ 〜DRIVE CHARTの裏側  〜 AI ☓ IoT ☓ ビッグデータを 支えるアーキテクチャ 〜
DRIVE CHARTの裏側 〜 AI ☓ IoT ☓ ビッグデータを 支えるアーキテクチャ 〜DeNA
 
IoTと業務システムをつなぐgRPC/RESTサービスの開発と運用
IoTと業務システムをつなぐgRPC/RESTサービスの開発と運用IoTと業務システムをつなぐgRPC/RESTサービスの開発と運用
IoTと業務システムをつなぐgRPC/RESTサービスの開発と運用DeNA
 
Can We Make Maps from Videos? ~From AI Algorithm to Engineering for Continuou...
Can We Make Maps from Videos? ~From AI Algorithm to Engineering for Continuou...Can We Make Maps from Videos? ~From AI Algorithm to Engineering for Continuou...
Can We Make Maps from Videos? ~From AI Algorithm to Engineering for Continuou...DeNA
 
SHOWROOMとDeNAで取り組んだライブ配信基盤刷新・超低遅延ライブ配信の裏側【DeNA TechCon 2020 ライブ配信】
SHOWROOMとDeNAで取り組んだライブ配信基盤刷新・超低遅延ライブ配信の裏側【DeNA TechCon 2020 ライブ配信】SHOWROOMとDeNAで取り組んだライブ配信基盤刷新・超低遅延ライブ配信の裏側【DeNA TechCon 2020 ライブ配信】
SHOWROOMとDeNAで取り組んだライブ配信基盤刷新・超低遅延ライブ配信の裏側【DeNA TechCon 2020 ライブ配信】DeNA
 
クラウド環境でのセキュリティ監査自動化【DeNA TechCon 2020 ライブ配信】
クラウド環境でのセキュリティ監査自動化【DeNA TechCon 2020 ライブ配信】クラウド環境でのセキュリティ監査自動化【DeNA TechCon 2020 ライブ配信】
クラウド環境でのセキュリティ監査自動化【DeNA TechCon 2020 ライブ配信】DeNA
 
DeClang 誕生!Clang ベースのハッキング対策コンパイラ【DeNA TechCon 2020 ライブ配信】
DeClang 誕生!Clang ベースのハッキング対策コンパイラ【DeNA TechCon 2020 ライブ配信】DeClang 誕生!Clang ベースのハッキング対策コンパイラ【DeNA TechCon 2020 ライブ配信】
DeClang 誕生!Clang ベースのハッキング対策コンパイラ【DeNA TechCon 2020 ライブ配信】DeNA
 
仕様起因の手戻りを減らして開発効率アップを目指すチャレンジ 【DeNA TechCon 2020 ライブ配信】
仕様起因の手戻りを減らして開発効率アップを目指すチャレンジ 【DeNA TechCon 2020 ライブ配信】仕様起因の手戻りを減らして開発効率アップを目指すチャレンジ 【DeNA TechCon 2020 ライブ配信】
仕様起因の手戻りを減らして開発効率アップを目指すチャレンジ 【DeNA TechCon 2020 ライブ配信】DeNA
 
DeNA データプラットフォームにおける 自由と統制のバランス【DeNA TechCon 2020 ライブ配信】
DeNA データプラットフォームにおける 自由と統制のバランス【DeNA TechCon 2020 ライブ配信】DeNA データプラットフォームにおける 自由と統制のバランス【DeNA TechCon 2020 ライブ配信】
DeNA データプラットフォームにおける 自由と統制のバランス【DeNA TechCon 2020 ライブ配信】DeNA
 
リアルタイムリモートデバッグ環境によるゲーム開発イテレーションの高速化【DeNA TechCon 2020 ライブ配信】
リアルタイムリモートデバッグ環境によるゲーム開発イテレーションの高速化【DeNA TechCon 2020 ライブ配信】リアルタイムリモートデバッグ環境によるゲーム開発イテレーションの高速化【DeNA TechCon 2020 ライブ配信】
リアルタイムリモートデバッグ環境によるゲーム開発イテレーションの高速化【DeNA TechCon 2020 ライブ配信】DeNA
 
MOV の機械学習システムを支える MLOps 実践【DeNA TechCon 2020 ライブ配信】
MOV の機械学習システムを支える MLOps 実践【DeNA TechCon 2020 ライブ配信】MOV の機械学習システムを支える MLOps 実践【DeNA TechCon 2020 ライブ配信】
MOV の機械学習システムを支える MLOps 実践【DeNA TechCon 2020 ライブ配信】DeNA
 
コンピュータビジョン技術の実応用〜DRIVE CHARTにおける脇見・車間距離不足検知〜【DeNA TechCon 2020 ライブ配信】
コンピュータビジョン技術の実応用〜DRIVE CHARTにおける脇見・車間距離不足検知〜【DeNA TechCon 2020 ライブ配信】コンピュータビジョン技術の実応用〜DRIVE CHARTにおける脇見・車間距離不足検知〜【DeNA TechCon 2020 ライブ配信】
コンピュータビジョン技術の実応用〜DRIVE CHARTにおける脇見・車間距離不足検知〜【DeNA TechCon 2020 ライブ配信】DeNA
 
DeNA の Slack 導入と活用の事例紹介
DeNA の Slack 導入と活用の事例紹介DeNA の Slack 導入と活用の事例紹介
DeNA の Slack 導入と活用の事例紹介DeNA
 
タクシーxAIを支えるKubernetesとAIデータパイプラインの信頼性の取り組みについて [SRE NEXT 2020]
タクシーxAIを支えるKubernetesとAIデータパイプラインの信頼性の取り組みについて [SRE NEXT 2020]タクシーxAIを支えるKubernetesとAIデータパイプラインの信頼性の取り組みについて [SRE NEXT 2020]
タクシーxAIを支えるKubernetesとAIデータパイプラインの信頼性の取り組みについて [SRE NEXT 2020]DeNA
 
オートモーティブ領域における 位置情報関連アルゴリズムあれこれ
オートモーティブ領域における 位置情報関連アルゴリズムあれこれオートモーティブ領域における 位置情報関連アルゴリズムあれこれ
オートモーティブ領域における 位置情報関連アルゴリズムあれこれDeNA
 
後部座席タブレットにおけるMaaS時代を見据えた半歩先のUX設計」 [MOBILITY:dev]
後部座席タブレットにおけるMaaS時代を見据えた半歩先のUX設計」 [MOBILITY:dev]後部座席タブレットにおけるMaaS時代を見据えた半歩先のUX設計」 [MOBILITY:dev]
後部座席タブレットにおけるMaaS時代を見据えた半歩先のUX設計」 [MOBILITY:dev]DeNA
 
ドライブレコーダ映像からの3次元空間認識 [MOBILITY:dev]
ドライブレコーダ映像からの3次元空間認識 [MOBILITY:dev]ドライブレコーダ映像からの3次元空間認識 [MOBILITY:dev]
ドライブレコーダ映像からの3次元空間認識 [MOBILITY:dev]DeNA
 
MOVで実践したサーバーAPI実装の超最適化について [MOBILITY:dev]
MOVで実践したサーバーAPI実装の超最適化について [MOBILITY:dev]MOVで実践したサーバーAPI実装の超最適化について [MOBILITY:dev]
MOVで実践したサーバーAPI実装の超最適化について [MOBILITY:dev]DeNA
 
MOV お客さま探索ナビの GCP ML開発フローについて
MOV お客さま探索ナビの GCP ML開発フローについてMOV お客さま探索ナビの GCP ML開発フローについて
MOV お客さま探索ナビの GCP ML開発フローについてDeNA
 
課題ドリブン、フルスタックAI開発術 [MOBILITY:dev]
課題ドリブン、フルスタックAI開発術 [MOBILITY:dev]課題ドリブン、フルスタックAI開発術 [MOBILITY:dev]
課題ドリブン、フルスタックAI開発術 [MOBILITY:dev]DeNA
 
DeNA の AWS アカウント管理とセキュリティ監査自動化
DeNA の AWS アカウント管理とセキュリティ監査自動化DeNA の AWS アカウント管理とセキュリティ監査自動化
DeNA の AWS アカウント管理とセキュリティ監査自動化DeNA
 

More from DeNA (20)

DRIVE CHARTの裏側 〜 AI ☓ IoT ☓ ビッグデータを 支えるアーキテクチャ 〜
DRIVE CHARTの裏側  〜 AI ☓ IoT ☓ ビッグデータを 支えるアーキテクチャ 〜DRIVE CHARTの裏側  〜 AI ☓ IoT ☓ ビッグデータを 支えるアーキテクチャ 〜
DRIVE CHARTの裏側 〜 AI ☓ IoT ☓ ビッグデータを 支えるアーキテクチャ 〜
 
IoTと業務システムをつなぐgRPC/RESTサービスの開発と運用
IoTと業務システムをつなぐgRPC/RESTサービスの開発と運用IoTと業務システムをつなぐgRPC/RESTサービスの開発と運用
IoTと業務システムをつなぐgRPC/RESTサービスの開発と運用
 
Can We Make Maps from Videos? ~From AI Algorithm to Engineering for Continuou...
Can We Make Maps from Videos? ~From AI Algorithm to Engineering for Continuou...Can We Make Maps from Videos? ~From AI Algorithm to Engineering for Continuou...
Can We Make Maps from Videos? ~From AI Algorithm to Engineering for Continuou...
 
SHOWROOMとDeNAで取り組んだライブ配信基盤刷新・超低遅延ライブ配信の裏側【DeNA TechCon 2020 ライブ配信】
SHOWROOMとDeNAで取り組んだライブ配信基盤刷新・超低遅延ライブ配信の裏側【DeNA TechCon 2020 ライブ配信】SHOWROOMとDeNAで取り組んだライブ配信基盤刷新・超低遅延ライブ配信の裏側【DeNA TechCon 2020 ライブ配信】
SHOWROOMとDeNAで取り組んだライブ配信基盤刷新・超低遅延ライブ配信の裏側【DeNA TechCon 2020 ライブ配信】
 
クラウド環境でのセキュリティ監査自動化【DeNA TechCon 2020 ライブ配信】
クラウド環境でのセキュリティ監査自動化【DeNA TechCon 2020 ライブ配信】クラウド環境でのセキュリティ監査自動化【DeNA TechCon 2020 ライブ配信】
クラウド環境でのセキュリティ監査自動化【DeNA TechCon 2020 ライブ配信】
 
DeClang 誕生!Clang ベースのハッキング対策コンパイラ【DeNA TechCon 2020 ライブ配信】
DeClang 誕生!Clang ベースのハッキング対策コンパイラ【DeNA TechCon 2020 ライブ配信】DeClang 誕生!Clang ベースのハッキング対策コンパイラ【DeNA TechCon 2020 ライブ配信】
DeClang 誕生!Clang ベースのハッキング対策コンパイラ【DeNA TechCon 2020 ライブ配信】
 
仕様起因の手戻りを減らして開発効率アップを目指すチャレンジ 【DeNA TechCon 2020 ライブ配信】
仕様起因の手戻りを減らして開発効率アップを目指すチャレンジ 【DeNA TechCon 2020 ライブ配信】仕様起因の手戻りを減らして開発効率アップを目指すチャレンジ 【DeNA TechCon 2020 ライブ配信】
仕様起因の手戻りを減らして開発効率アップを目指すチャレンジ 【DeNA TechCon 2020 ライブ配信】
 
DeNA データプラットフォームにおける 自由と統制のバランス【DeNA TechCon 2020 ライブ配信】
DeNA データプラットフォームにおける 自由と統制のバランス【DeNA TechCon 2020 ライブ配信】DeNA データプラットフォームにおける 自由と統制のバランス【DeNA TechCon 2020 ライブ配信】
DeNA データプラットフォームにおける 自由と統制のバランス【DeNA TechCon 2020 ライブ配信】
 
リアルタイムリモートデバッグ環境によるゲーム開発イテレーションの高速化【DeNA TechCon 2020 ライブ配信】
リアルタイムリモートデバッグ環境によるゲーム開発イテレーションの高速化【DeNA TechCon 2020 ライブ配信】リアルタイムリモートデバッグ環境によるゲーム開発イテレーションの高速化【DeNA TechCon 2020 ライブ配信】
リアルタイムリモートデバッグ環境によるゲーム開発イテレーションの高速化【DeNA TechCon 2020 ライブ配信】
 
MOV の機械学習システムを支える MLOps 実践【DeNA TechCon 2020 ライブ配信】
MOV の機械学習システムを支える MLOps 実践【DeNA TechCon 2020 ライブ配信】MOV の機械学習システムを支える MLOps 実践【DeNA TechCon 2020 ライブ配信】
MOV の機械学習システムを支える MLOps 実践【DeNA TechCon 2020 ライブ配信】
 
コンピュータビジョン技術の実応用〜DRIVE CHARTにおける脇見・車間距離不足検知〜【DeNA TechCon 2020 ライブ配信】
コンピュータビジョン技術の実応用〜DRIVE CHARTにおける脇見・車間距離不足検知〜【DeNA TechCon 2020 ライブ配信】コンピュータビジョン技術の実応用〜DRIVE CHARTにおける脇見・車間距離不足検知〜【DeNA TechCon 2020 ライブ配信】
コンピュータビジョン技術の実応用〜DRIVE CHARTにおける脇見・車間距離不足検知〜【DeNA TechCon 2020 ライブ配信】
 
DeNA の Slack 導入と活用の事例紹介
DeNA の Slack 導入と活用の事例紹介DeNA の Slack 導入と活用の事例紹介
DeNA の Slack 導入と活用の事例紹介
 
タクシーxAIを支えるKubernetesとAIデータパイプラインの信頼性の取り組みについて [SRE NEXT 2020]
タクシーxAIを支えるKubernetesとAIデータパイプラインの信頼性の取り組みについて [SRE NEXT 2020]タクシーxAIを支えるKubernetesとAIデータパイプラインの信頼性の取り組みについて [SRE NEXT 2020]
タクシーxAIを支えるKubernetesとAIデータパイプラインの信頼性の取り組みについて [SRE NEXT 2020]
 
オートモーティブ領域における 位置情報関連アルゴリズムあれこれ
オートモーティブ領域における 位置情報関連アルゴリズムあれこれオートモーティブ領域における 位置情報関連アルゴリズムあれこれ
オートモーティブ領域における 位置情報関連アルゴリズムあれこれ
 
後部座席タブレットにおけるMaaS時代を見据えた半歩先のUX設計」 [MOBILITY:dev]
後部座席タブレットにおけるMaaS時代を見据えた半歩先のUX設計」 [MOBILITY:dev]後部座席タブレットにおけるMaaS時代を見据えた半歩先のUX設計」 [MOBILITY:dev]
後部座席タブレットにおけるMaaS時代を見据えた半歩先のUX設計」 [MOBILITY:dev]
 
ドライブレコーダ映像からの3次元空間認識 [MOBILITY:dev]
ドライブレコーダ映像からの3次元空間認識 [MOBILITY:dev]ドライブレコーダ映像からの3次元空間認識 [MOBILITY:dev]
ドライブレコーダ映像からの3次元空間認識 [MOBILITY:dev]
 
MOVで実践したサーバーAPI実装の超最適化について [MOBILITY:dev]
MOVで実践したサーバーAPI実装の超最適化について [MOBILITY:dev]MOVで実践したサーバーAPI実装の超最適化について [MOBILITY:dev]
MOVで実践したサーバーAPI実装の超最適化について [MOBILITY:dev]
 
MOV お客さま探索ナビの GCP ML開発フローについて
MOV お客さま探索ナビの GCP ML開発フローについてMOV お客さま探索ナビの GCP ML開発フローについて
MOV お客さま探索ナビの GCP ML開発フローについて
 
課題ドリブン、フルスタックAI開発術 [MOBILITY:dev]
課題ドリブン、フルスタックAI開発術 [MOBILITY:dev]課題ドリブン、フルスタックAI開発術 [MOBILITY:dev]
課題ドリブン、フルスタックAI開発術 [MOBILITY:dev]
 
DeNA の AWS アカウント管理とセキュリティ監査自動化
DeNA の AWS アカウント管理とセキュリティ監査自動化DeNA の AWS アカウント管理とセキュリティ監査自動化
DeNA の AWS アカウント管理とセキュリティ監査自動化
 

Recently uploaded

SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する       2024/04/19 の勉強会で発表されたものですSOPを理解する       2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものですiPride Co., Ltd.
 
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)Hiroki Ichikura
 
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...Toru Tamaki
 
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A surveyToru Tamaki
 
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNetToru Tamaki
 
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介Yuma Ohgami
 
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システムスマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システムsugiuralab
 
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略Ryo Sasaki
 
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdfTSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdftaisei2219
 

Recently uploaded (9)

SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する       2024/04/19 の勉強会で発表されたものですSOPを理解する       2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
 
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
 
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
 
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
 
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
 
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
 
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システムスマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
 
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
 
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdfTSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
 

運用中のゲームにAIを導入するには〜プロジェクト推進・ユースケース・運用〜 [DeNA TechCon 2019]

  • 1. 運用中 ゲーム AIを導入する 〜プロジェクト推進・ユースケース・運用〜 奥村 純、岡田 健 (in collaboration with 田中 一樹、甲野 佑)
  • 3. 登壇者紹介:奥村 エルネスト 純 ● 理学博士(専門:宇宙物理学) ● データアナリスト @ 分析部 ○ 『逆転オセロニア』リードアナリスト ○ オートモーティブ事業 ● AI研究開発エンジニア @ AIシステム部 ○ ゲームAI・強化学習 チームリーダー ■ ゲームAI 案件推進 ■ 強化学習領域 戦略策定・案件推進 『データサイエンティスト養成読本 ビジネス活用編』 (技術評論社) @pacocat 星博士レオ 『逆転オセロニア』 公式サイト 登場
  • 4. ゲーム×AI:これま 活動 https://www.slideshare.net/juneokumura/dena-techcon2018 https://www.slideshare.net/juneokumura/cedec2018ai ● 『逆転オセロニア』 おけるAI導入 研究開発 TechCon2018 ゲーム体験を支えるため 強化学習 CEDEC2018 『逆転オセロニア』 おけるAI活用
  • 6. 本日 講演内容 ユースケース検討 ビジネスデザイン データ設計 データ収集 データ分析 モデル作成 モデル評価 仕様検討 システム設計 実装 運用 AIプロジェクト ライフサイクル これま 主 発表し いた内容 ● 使 いるデータ・AI技術 ● 検証段階 結果概念検証(PoC; Proof of Consept): プロトタイプ検証を繰り返し ケース 確度を高める 実現可能性が確認 き から、 本格的 仕様検討・実装 進む
  • 7. 本日 講演内容 ユースケース検討 ビジネスデザイン データ設計 データ収集 データ分析 モデル作成 モデル評価 仕様検討 システム設計 実装 運用 概念検証(PoC; Proof of Consept): プロトタイプ検証を繰り返し ケース 確度を高める 実現可能性が確認 き から、 本格的 仕様検討・実装 進む これま 主 発表し いた内容 ● 使 いるデータ・AI技術 ● 検証段階 結果 1.プロジェクト 全体像 ● よう ユースケースを作 たか ● これま 成果 今後 ● ゲームAIプロジェクト 進め方 AIプロジェクト ライフサイクル
  • 8. 本日 講演内容 ユースケース検討 ビジネスデザイン データ設計 データ収集 データ分析 モデル作成 モデル評価 仕様検討 システム設計 実装 運用 概念検証(PoC; Proof of Consept): プロトタイプ検証を繰り返し ケース 確度を高める 実現可能性が確認 き から、 本格的 仕様検討・実装 進む これま 主 発表し いた内容 ● 使 いるデータ・AI技術 ● 検証段階 結果 1.プロジェクト 全体像 ● よう ユースケースを作 たか ● これま 成果 今後 ● ゲームAIプロジェクト 進め方 2.AI施策を運用 乗せるため ML Ops ● システム設計 ● 高負荷 耐えられる仕組み ● 運用を楽 する仕組み AIプロジェクト ライフサイクル
  • 9. 講演 流れ 1 2 3 AI施策を実現するため 技術 AI施策を よう 作 きたか プロジェクト 振り返り 今後
  • 10. 1 AI施策を よう 作 きたか ● 課題 背景 ● AI施策 紹介 1. デッキ編成をサポートするAI 2. 戦略 学習をサポートするAI
  • 11. 『逆転オセロニア』 い ● オセロをベース した、シンプルだが奥深い戦略対戦ゲーム ○ 対戦相手 読み合いや逆転が巻き起こるゲームシステム ● 2016年2月 リリース後、継続的 成長※1 ○ 2018年 累計2,300万ダウンロード突破 ● 「コミュニティ」 一緒 創るソーシャルゲーム※2 ※2: 一周年 爆発した『逆転オセロニア』 おけるゲーム分析 貢献事例 (CEDEC2017) http://cedil.cesa.or.jp/cedil_sessions/view/1729 ※3: 『逆転オセロニア』が実践した “コミュニティ 共創するゲーム運営 ” (CEDEC2018) https://www.slideshare.net/dena_genom/ss-112897402 オセロ・Othello 登録商標 す。TM&Ⓒ Othello,Co. and MegaHouse © 2016 DeNA Co.,Ltd
  • 12. デッキ・キャラクター ● 3,000種類を超える選択肢から16キャラクターから るデッキを構築 ● キャラクター それぞれ独自 ステータスやスキルを持 いる ○ 新しいキャラクター 週 2,3体程度追加され いく ステータス HP、攻撃力、… キャラクター固有 ス キル デッキ よ 様々 戦略 バリエーションが生まれる
  • 13. バトルシステム ● 基本ルール 、盤面が 6×6 オセロ ● コマを置く 攻撃力やスキル 応じ 相手 ダメージを与えられる 局面 応じ 、戦略的 駒 運用を考える必要がある 相手 HPを削り切る 勝利 手駒 ランダム 選択される 特定 条件を満たす スキルが発動 きる 特殊 効果を持 マスが存在する
  • 14. 『逆転オセロニア』 解決したい課題 ● ゲーム 継続を妨げるよう ネガティブ 体験を無くしたい ○ 「面白さ」を体験するま 多く 試行錯誤を要求し しまう ■ よう デッキを組め 駒同士 相性が良く る か ■ 駒を活用するため よう 戦い方をすれ いい か ● 「デッキ 編成」や「戦い方 学習」をサポートし くれる機能 ○ 技術検証が完了し、一部リリースされ いる
  • 15. AI 活用事例① オススメ編成 ● 2018年11月 リリースされた機能 デッキ 属性 デッキコスト 利用したい駒 を選択 所持駒からオススメ デッキを編成
  • 16. AI 活用事例① オススメ編成 ● 上位プレイヤー デッキ編成ログをも キャラクター 関係性を学習 ● 学習されたモデルをも 、オススメ デッキをプレイヤー 提示 大規模 デッキログ キャラクター 関係を定量化 (アソシエーションルール) デッキ編成ログ … デッキ オススメ 活用 相性がいい 相性がよく い
  • 17. アソシエーション分析 ● 大規模データ 存在する関係性を抽出する分析手法※ ○ 関係が支持度、信頼度、リフト 呼 れる指標 定量化 きる ルール 支持度 信頼度 リフト アバドン → アズリエル 5% 50% 2.0 ガラム → ジークフリート 25% 40% 1.5 フレデリカ → アルキメデス 20% 45% 2.1 ラヴーシュカ → アルキメデス 5% 30% 2.0 デネヴ → クロリス 55% 60% 2.3 … … … … 組み合わせ 頻度 ルール 有用度 前者 キャラがいる き 後者 キャラが含まれる確率 ※『逆転オセロニア』 おける運用効率化支援 〜デッキログ データマイニング〜 https://www.slideshare.net/dena_tech/ss-87960853 基本的 スコア 高い組み合わせを オススメし いけ 定番 デッキを作れる
  • 18. リリース後 状況 時間 オススメ編成 利用回数 ● メインターゲット し いる序盤プレイヤー 順調 利用され いる リリース デッキ編成を促すイベント期間中 需要が急拡大 イベント終了後も 継続的 利用され いる ※ 新キャラ獲得を契機 オススメ 編成を   確かめる傾向も確認され いる
  • 19. リリース後 状況 ● 初心者 PvP 勝率がオススメ編成を使 た場合 +5pt 程度改善 ○ 逆 上位プレイヤー 場合 自分 編成した方が勝率が高い※ ○ ゲーム 習熟するほ 自分 デッキを工夫する必要性が出 くる ● 事業的 もポジティブ 数字が見え き いる ※ 上位プレイヤー 「取りあえずオススメ編成 デッキを作 からカスタマイズする」 いう使われ方も   され いるよう 、そ 意味 全方位的 プレイヤー 負担を軽減し いる
  • 20. Tips:「納得感」を作るため ● 分析結果 単純適用 不十分 ○ 基本的 関係性 指標が強いも から順 オススメするが、 それだけだ プレイヤー 文脈 即したオススメ ら い ● 細かいチューニングを繰り返し がら「納得感」を作り上げ いる ○ リーダー駒を選ぶ時 別 ルールを併用する ○ スキルが発動可能かを一部チェックする ○ マイナー 駒を使う時 ルールを変更する ○ …
  • 21. AI 活用事例② 戦略 学習サポート※ ● 棋譜を読み込ん 上位ユーザー 戦略を学習 ● 『逆転オセロニア』を遊べるAIを練習相手 、定番 デッキ運用を学習 ○ 対人戦ほ ハードル 高く く、人間 よう 打ち方をする練習相手 ※ まだ未リリース 機能 ため、今後 リリースを保証するも ありません。   開発中 仕様 ため変更される可能性があります。
  • 22. 深層学習を使 た戦略 学習 ● 『逆転オセロニア』をプレイするため 複雑 戦略 獲得が必要 ○ 表現力を持 DNN(Deep Neural Nework)を採用 ① 盤面情報、手駒情報 を数値 変換 1 6 2 4 9 2 2 5 3 1 8 3 0 1 5 0 9 2 8 7 2 7 3 4 1 4 3 2 3 0 3 5 1 9 8 3 1 6 2 4 9 2 2 5 3 1 8 3 0 1 5 0 9 2 8 7 2 7 3 4 1 4 3 2 3 0 3 5 1 9 8 3 1 6 2 4 9 2 2 5 3 1 8 3 0 1 5 0 9 2 8 7 2 7 3 4 1 4 3 2 3 0 3 5 1 9 8 3 Deep Neural Network ② DNNが入力情報をも 打ち手を推論 打ち手 確率 上位プレイヤー 棋譜ログ ③ 上位プレイヤーが打 たか うかを   教師信号 し 比較 (Cross-Entropy Loss) ④ 打ち方が上位プレイヤー 近 くよう   ネットワークを更新 (数千万 バトルデータを用い 何度も繰り返し学習) 5000程度 特徴
  • 23. (参考)ネットワーク アーキテクチャ ※ 本講演 詳細 立ち入りません(概要 以下資料を参考 し ください)   https://www.slideshare.net/juneokumura/cedec2018ai
  • 24. こ パート お話したこ ● 施策 デザイン 過程 ○ プレイヤー ネガを軽減するため 施策を検証 ● 各AI施策 説明 結果 ○ デッキを編成するAI ■ 既 リリースされ おり、ポジティブ 数字が出 き いる ○ 戦略 学習をサポートするAI ■ 技術検証が完了し、機能 検討を進め いる
  • 25. 2 AI施策を実現するため 技術 ● システム設計 ○ オススメ編成 ○ 対戦 AI ● 高負荷 耐えられる仕組み ○ Cloud ML Engine オンライン予測 利用 ● 運用を楽 する仕組み ○ Experiment as Code
  • 26. 登壇者紹介:岡田 健 ● 理学修士(専門:数論幾何) ● エンジニア @ ゲーム事業本部 (~2017/12) ○ 『FINAL FANTASY Record Keeper』エンジニア ● AI研究開発エンジニア @ AIシステム部 (2018/01~) ○ ゲームAI・強化学習 AI エンジニア ■ エンジニアリング担当 ■ 学習高速化(教師あり学習, 強化学習), 実験管理 仕組み くり, CI/CD @keno_ss
  • 28. PoC =
  • 29. 機械学習サービス 課題 引用: Sculley, et al., Hidden Technical Debt in Machine Learning Systems, NIPS, 2015
  • 30. 機械学習サービス 課題 引用: Sculley, et al., Hidden Technical Debt in Machine Learning Systems, NIPS, 2015 サービス し 提供するため モデル 学習以外 も いろいろ必要
  • 32. トピック ● システム設計 ○ オススメ編成 ○ 対戦 AI ● 高負荷 耐えられる仕組み ○ Cloud ML Engine オンライン予測 利用 ● 運用を楽 する仕組み ○ Experiment as Code
  • 33. 2 AI施策を実現するため 技術 ● システム設計 ○ オススメ編成 ○ 対戦 AI ● 高負荷 耐えられる仕組み ○ Cloud ML Engine オンライン予測 利用 ● 運用を楽 する仕組み ○ Experiment as Code
  • 35. オススメ編成 (再掲) 大規模 デッキログ デッキ編成ログ デッキ オススメ 活用キャラクター 関係を定量化 (アソシエーションルール) … 相性がいい 相性がよく い
  • 36. training serving batch システム設計: オススメ編成 分析 batch ユーザー デッキ編成データ レコメンド API App Engine BigQuery アソシエーション分析 Compute Engine Cloud Storage Cloud Pub/Sub Cloud Storage Cloud Datastore App Engine Cloud Functions 更新日時 マスタデータ アソシエーションルール (pickle) マスタデータ アソシエーションルール (sqlite) ユーザー id 所持し いる駒 レコメンドオプション レコメンド結果 デッキ (cron)
  • 37. 対戦 AI (再掲) 1 6 2 4 9 2 2 5 3 1 8 3 0 1 5 0 9 2 8 7 2 7 3 4 1 4 3 2 3 0 3 5 1 9 8 3 1 6 2 4 9 2 2 5 3 1 8 3 0 1 5 0 9 2 8 7 2 7 3 4 1 4 3 2 3 0 3 5 1 9 8 3 1 6 2 4 9 2 2 5 3 1 8 3 0 1 5 0 9 2 8 7 2 7 3 4 1 4 3 2 3 0 3 5 1 9 8 3 Deep Neural Network 打ち手 確率 上位プレイヤー 棋譜ログ
  • 38. training serving システム設計: 対戦 AI serving training棋譜 AI モデル よる推論 Cloud Machine Learning 推論 API App Engine 打ち手 価値 打ち手 価値 AI PvE マッチ PvP マッチ Training AI model BigQuery Preprocessing Compute Engine Training Compute Engine Cloud Storage 棋譜 棋譜 AI model 特徴量 Cloud Storage AI model棋譜
  • 39. 2 AI施策を実現するため 技術 ● システム設計 ○ オススメ編成 ○ 対戦 AI ● 高負荷 耐えられる仕組み ○ Cloud ML Engine オンライン予測 利用 ● 運用を楽 する仕組み ○ Experiment as Code
  • 40. Cloud ML Engine オンライン予測 利用
  • 41. スケーラビリティ ● ゲーム イベントが開始された瞬間(~10分) アクセスが急増する ○ 試算 結果, 推論 API サーバー おい 700 RPS (= リクエスト/sec) ● オンライン予測 (not バッチ予測) ○ クライアントから棋譜を受け取り, レスポンス し 推論結果を返す ⇒ Cloud ML Engine auto scaling 任せたい 想定 RPS
  • 42. 推論 API 求められる要件 推論 API App Engine AI モデル よる推論 Cloud Machine Learning 持ち時間: 15秒 ターン制バトル 持ち時間がある 満たせ けれ UX 影響する 相手 次 こ 置い くるか ...?
  • 43. Cloud ML Engine 負荷検証 ● 評価観点 ○ 想定 RPS 耐えられるか ■ 10 分 1000 RPS ま 増加する負荷をかける ○ レイテンシ ○ エラー率, エラー 起き方 ○ 暖機 必要か ● 検証結果 ○ す やくスケールし くれる ○ レイテンシ 3 秒以下※1 ○ ただし, 一定割合 タイムアウトする※2 ■ インスタンス数が増加するタイミング 起きる (一例) リクエスト数 エラー数 ※1 我々 モデル 場合 . ※2 リクエストする側 10秒 タイムアウト. 実際 200 返 くる.
  • 44. タイムアウトへ 対処 推論 API App Engine AI モデル よる推論 Cloud Machine Learning AI モデル よる推論 Cloud Machine Learning 5秒待 帰 こ か たら 何かあ た 判断し backup 再度リクエスト backupmain ● main auto scaling ● backup 最低ノード数(minNodes)指定 + auto scaling
  • 45. タイムアウトへ 対処: 結果 全 上手く捌け いる!!
  • 46. 2 AI施策を実現するため 技術 ● システム設計 ○ オススメ編成 ○ 対戦 AI ● 高負荷 耐えられる仕組み ○ Cloud ML Engine オンライン予測 利用 ● 運用を楽 する仕組み ○ Experiment as Code
  • 48. モデル管理あるある (スプレッドシートを確認する ) えー , 2018MMDD_classAB_2048_emd56252_sb_flat す . あ き 使 たモデル れだ け ? (2048? sb_flat?) ぐ ... 表現ベクトル サイズが合わ く ビルド き い... 表現ベクトル い 昨年 TechCon を参照https://www.slideshare.net/juneokumura/dena-techcon2018 「運用 カバー」 限界 (一人 作業し い も起きる問題 )
  • 49.
  • 50. Experiment as Code Experiment = モデルを生成/学習する1単位 ● Configration ○ 学習 用いる棋譜 (期間, ユーザー クラス帯) ○ 隠れ層 ユニット数, 活性化関数, 学習率, バッチサイズ, etc… ○ キャラクター 表現ベクトル version ○ 特徴量抽出器 version ○ … をコード 記述し ● Data Collection ○ 必要 素材を集め き ● Feature Extraction ○ 指定された特徴量抽出器を使い学習したい
  • 51. extraction Cloud ML ModelRecipe Model.train feature module ModelRecipe ModelRecipe feature module feature module 特徴量 特徴量 ※説明 ためコード 簡略化し います 実験 (experiment) デプロイ (deployment) を コード 制御したい
  • 52. extraction Cloud ML ModelRecipe Model.train feature module ModelRecipe ModelRecipe feature module feature module 特徴量 特徴量 ※説明 ためコード 簡略化し います ModelRecipe (or model name) ● ↔ experiment ● → deployment ● こ モデルが保存されるか (local & GCS)も決定
  • 53. extraction Cloud ML ModelRecipe Model.train feature module ModelRecipe ModelRecipe feature module feature module 特徴量 特徴量 ※説明 ためコード 簡略化し います feature module (or feature version) ● 特徴量 スキーマ定義 ● FeatureExtractor 実装 正しいも を使わ い 精度が落ちる
  • 54. extraction Cloud ML ModelRecipe Model.train feature module ModelRecipe ModelRecipe feature module feature module 特徴量 特徴量 ※説明 ためコード 簡略化し います ModelRecipe から特徴量抽出器を 学習データ生成や推論 利用
  • 55. Experiment as Code: CLI tool $ python util_model.py COMMAND --model-name=sl/v001_alpha AI model embedding vector Cloud Storage download_dependencies build check_trainable download_model log training log download_model inference AI model train がエラー く実行 きるか 学習回せるか チェックま local やり, 学習自体 学習サーバー 行う
  • 56.
  • 57. 技術パートま め ● システム設計 ○ クラウド環境を積極的 利用 ■ 運用コストを低く保ち , 負荷 柔軟 対応可能 AI サービス きた. ● 高負荷 耐えられる仕組み ○ レイテンシ要求がそこま 高く い場合, Cloud ML Engine 便利 ■ ひ 手間かけれ 更 堅牢 するこ が可能. ● 運用を楽 する仕組み ○ Experiment as Code を徹底 ■ 学習やデプロイ 手順が明確 り, 再実験/共有が容易 .
  • 58. 3 プロジェクト 振り返り 今後 ● プロジェクトを通し 意識したこ ● 今後 い
  • 59. プロジェクトを通じ 意識したこ 1. スモールスタート じめよう 2. 期待値を合意し いこう 3. 機械学習チーム 役割を分散しよう 4. 目的を見失わ い
  • 60. 1. スモールスタート 始めよう ● AIプロジェクト 最大 課題 不確実性 ○ 「AI 何が きる か」「 れくらい きる か」が分から い 計画 準備 施策がブレる 評価指標があいまい る 実装 検証 実現 期待値が膨らん 非現実的 ゴールを作 しまう 成果が不透明 状況 予算・工数 GO判断を出し らい 精度が出 い 手戻りが発生
  • 61. 1. スモールスタート 始めよう ● AIプロジェクト 最大 課題 不確実性 ○ 「AI 何が きる か」「 れくらい きる か」が分から い 大計画 準備 実装 検証 実現 小計画 準備 実装 検証 小計画 準備 実装 検証 小計画 準備 実装 検証 課題を分解し 少しず 不確実性を ぶし がら、 継続 判断 工数・予算 調整を繰り返した
  • 62. 1. スモールスタート 始めよう 検証内容 1. そもそもAI 学習 きる か 基本3デッキ NPCより勝率が高いか ● シミュレータ、学習環境 ● 基本デッキを使 た棋譜データ ● DNNアーキテクチャ設計 2. キャラを拡張するこ 可能か 定番14デッキ 拡張し も 勝率が維持 きるか ● AIエージェント 場合 イメージ(※簡略化し います) 3. 勝率を上げるこ 可能か 定番14デッキ 勝率を◯pt改善 きるか ● 定番デッキ 抽出(クラスタリング) ● 定番デッキを使 た棋譜データ ● 拡張技術候補(ohe、表現学習、…) アーキテクチャや特徴量検証 ため 分散学習設計 4. 現実 ユースケース 耐えうるか ● 全キャラ拡張し 勝率を維持 きるか ● 高負荷を現実的 予算 さ けるか ● 強さを体感するため ツール開発 ● サーバーサイド 仮実装 負荷検証 期間◯ヶ月 ◯人月、◯万円 期間◯ヶ月 ◯人月、◯万円 期間◯ヶ月 ◯人月、◯万円 期間◯ヶ月 ◯人月、◯万円 判断基準 必要 も ・技術 リソース … … … …
  • 63. 2. 期待値を合意しよう ● 不確実性がある 、期待値 人それぞれ ● 以下 点 一緒 認識形成するべき 1. AI パフォーマンス 不確実性があるこ (一喜一憂し い) 2. 不確実性 度合い、リリース後 変動 「思 たより勝率が出た!」 「あれ、想像し いたより弱い…」 「勝率が◯%ま いく 思 たが、  そこま 改善し か た」 「前回 言 いるこ が違う…」 AIメンバー 事業部メンバー
  • 64. 2. 期待値を合意しよう ● 3 見通しをすり合わせるこ 、共通 期待値が醸成され い た ※『データサイエンティスト養成読本 ビジネス活用編』第3章より引用
  • 65. 2. 期待値を合意しよう ● 3 見通しをすり合わせるこ 、共通 期待値が醸成され い た ○ 重要度:最低ライン > 現実ライン > 理想ライン ※『データサイエンティスト養成読本 ビジネス活用編』第3章より引用
  • 66. 3. AIチーム 役割を分散しよう ● AIチーム プロジェクト すべ フェーズ 関わるこ る ● フェーズご 必要 スキルも様々 ケース 設計 ● ビジネス理解 ● KPI設計 ● コミュニケーション ● プロジェクトマネジメント データ設計・収集 ● インフラ構築 ● アーキテクチャ設計 ● ETL モデル構築・評価 ● 特徴量エンジニアリング ● モデリング ● 最新研究 サーベイ ● 分散コンピューティング ● ドメイン理解 実装・運用 ● システム設計 ● アプリケーション開発 ● DevOps、CD/CI ● 想像以上 プロジェクト 生態系 複雑 ● ん もカバー きる「スーパーマン」人材を求め しまいがち
  • 67. 3. AIチーム 役割を分散しよう ● AIチーム プロジェクト すべ フェーズ 関わるこ る ● フェーズご 必要 スキルも様々 ケース 設計 ● ビジネス理解 ● KPI設計 ● コミュニケーション ● プロジェクトマネジメント データ設計・収集 ● インフラ構築 ● アーキテクチャ設計 ● ETL モデル構築・評価 ● 特徴量エンジニアリング ● モデリング ● 最新研究 サーベイ ● 分散コンピューティング ● ドメイン理解 実装・運用 ● システム設計 ● アプリケーション開発 ● ML DevOps、CD/CI 事業部メンバー 分析基盤チーム データアナリスト データサイエンティスト リサーチャー アプリケーションエンジニア AI PM 機械学習エンジニア ● DeNA スキルご 専門 チームがおり柔軟 チーム編成が可能 ● AIメンバーが複数 スキルをかけもちし 全体をカバーし いる
  • 68. 4. 目的を見失わ い ● AI ため AI開発をし い ○ 「強いAI」や「AI 対戦 きるこ 」それ自体 メリット ら い ● ゲームが面白く るこ 、面白さを阻害するハードルを くすこ が目的 ● 今回 「AIが黒子 徹する」くらいがちょう いい付き合い方
  • 69. 今後 い ● ゲームAI開発 経験値を活かし 徐々 拡大したい ○ 今回 紹介 き か たが検討され いるケース ○ 他 タイトルへ 知見 展開 ● 「0→1」 「1→10」 プロジェクト 性質が変わる ○ ゲームタイトルを横断した共通 基盤 必要性 ○ ゲームAIを専門 したチーム体制 構築 ○ より長期的 戦略策定 試行錯誤 真 最中
  • 70. 社外 がり い ● 業界全体 技術共有を進め いく必要性 ○ ゲーム開発 今後も大規模化・高度化が続い いく ○ 単独チームや一 会社だけ 話が進ま い ○ TechCon 情報発信やコミュニティ活動もそうした一環 ゲームAIコミュニティ Slack: game-ai-ja https://goo.gl/jqEgLf Google Group: game-ai https://goo.gl/4dVN2o