Se ha denunciado esta presentación.
Utilizamos tu perfil de LinkedIn y tus datos de actividad para personalizar los anuncios y mostrarte publicidad más relevante. Puedes cambiar tus preferencias de publicidad en cualquier momento.
Reactive Workflow
Argo Eventsの紹介
Daisuke Taniwaki, Engineer
Preferred Networks, Inc.
2019/3/18 Kubernetes Meetup Tokyo #17...
自己紹介
谷脇 大輔 (Daisuke Taniwaki)
職歴
2008~2012 Trend Micro - 未知の脅威を発見するWebクローラ
2012~2014 Kakaku.com - Tabelog USの立ち上げ
2014~201...
Argoとは
- KubernetesネイティブなOSSワークフローエンジン
- ステップごとにPodや任意のリソースを定義
- DAGの形成、条件分岐、パラメータ実行
- Argo UIでワークフローの結果・進捗も可視化
- Intuitを中...
PFNでの利用例
- サーバの設定反映のフロー制御
- データセットの前処理をCPUノードで実行した後に、
GPUノードで深層学習を実行
- 実行環境のDocker imageをCPUノードでビルドした後に
、GPUノードで深層学習を実行
4
Argo Eventsとは
- Kubernetesのためのイベントベース依存関係管理システ
ム
- 様々なイベントソースによる依存関係の管理
- イベントの依存関係の解決ロジックをカスタマイズできる
- 独自のイベントソースに対して拡張可能
...
Architecture
6Gateway
Sensor
サポートされているGateway
- Calendar
- Webhooks
- Kubernetes Resources
- Artifacts (S3, Minio)
- Streams
- NATS
- MQTT
- Kafka
- AM...
PFNでの利用想定
- HDFS上のファイルを監視し、前処理したデータセットが
アップロードされたら、作成されたデータに応じてワー
クフローを実行
- Kubernetes Resourceを監視し、Kuberetes上でDockerイ
メージ...
9
We’re hiring!!
効率的な研究者向けクラスター管理システムを
一緒に構築してくれる仲間を募集中です!
https://www.workable.com/j/BBA8B7D984
Próxima SlideShare
Cargando en…5
×

Reactive Workflow Argo Eventsの紹介

Kubernetes Meetup Tokyo #17にて自身も開発に参加しているArgo Eventsを紹介しました。

  • Sé el primero en comentar

Reactive Workflow Argo Eventsの紹介

  1. 1. Reactive Workflow Argo Eventsの紹介 Daisuke Taniwaki, Engineer Preferred Networks, Inc. 2019/3/18 Kubernetes Meetup Tokyo #17 1
  2. 2. 自己紹介 谷脇 大輔 (Daisuke Taniwaki) 職歴 2008~2012 Trend Micro - 未知の脅威を発見するWebクローラ 2012~2014 Kakaku.com - Tabelog USの立ち上げ 2014~2017 Kaizen Platform - Kaizen Optimization Platform 2017~現在 Preferred Networks - ジョブスケジューラやクラスター向けツール 技術領域 dtaniwaki dtaniwaki 2
  3. 3. Argoとは - KubernetesネイティブなOSSワークフローエンジン - ステップごとにPodや任意のリソースを定義 - DAGの形成、条件分岐、パラメータ実行 - Argo UIでワークフローの結果・進捗も可視化 - Intuitを中心に開発 - CI/CDのサイドプロジェクトもある 3
  4. 4. PFNでの利用例 - サーバの設定反映のフロー制御 - データセットの前処理をCPUノードで実行した後に、 GPUノードで深層学習を実行 - 実行環境のDocker imageをCPUノードでビルドした後に 、GPUノードで深層学習を実行 4
  5. 5. Argo Eventsとは - Kubernetesのためのイベントベース依存関係管理システ ム - 様々なイベントソースによる依存関係の管理 - イベントの依存関係の解決ロジックをカスタマイズできる - 独自のイベントソースに対して拡張可能 - CloudEvents準拠 - GatewayとSensorのCRDからなる - もともとはBlackRockが開発、 Argo projectに合流 5
  6. 6. Architecture 6Gateway Sensor
  7. 7. サポートされているGateway - Calendar - Webhooks - Kubernetes Resources - Artifacts (S3, Minio) - Streams - NATS - MQTT - Kafka - AMQP (Apache ActiveMQ, Apache Qpid, StormMQ, RabbitMQ) 7 - Community - Github - Gitlab - HDFS - Trello - Slack - GCP Pub/Sub - AWS SQS, SNS - etc.
  8. 8. PFNでの利用想定 - HDFS上のファイルを監視し、前処理したデータセットが アップロードされたら、作成されたデータに応じてワー クフローを実行 - Kubernetes Resourceを監視し、Kuberetes上でDockerイ メージがビルドされたら、作成されたイメージに応じて ワークフローを実行 8 現在、導入準備中!
  9. 9. 9 We’re hiring!! 効率的な研究者向けクラスター管理システムを 一緒に構築してくれる仲間を募集中です! https://www.workable.com/j/BBA8B7D984

×