More Related Content
Similar to Pachyderm Introduction (20)
More from Tetsurou Yano (20)
Pachyderm Introduction
- 14. Pachydermの使い方
14
Pachydermを使う
1. データを入れるリポジトリを作る(pachctl create-repo hogehoge)
2. ファイルをレポジトリーにputする
3. パイプラインファイルをjsonファイルで作成する
4. パイプラインファイルを取り込む
パイプラインサンプル
{
"pipeline":{
"name": "wordcount"
},
"transform":{
"image": "wordcount-image",
"cmd": ["/binary", "/pfs/data","/pfs/out"]
},
"input":{
"atom":{
"repo":"data",
"glob": "/*"
}
}
}
パイプライン動作イメージ
Dockerイメージと
オプションを実行指定
- 17. Pachyderm 情報リンク
17
Pachyderm - Scalable, Reproducible Data Science
https://pachyderm.io/
Fully Reproducible ML Deployment with Spark, Pachyderm, and MLeap - YouTube
https://www.youtube.com/watch?v=TmTYenyOU0s
Pachyderm Developer Documentation — Pachyderm 1.8.2 documentation
https://pachyderm.readthedocs.io/en/latest/index.html
Pachydermによるデータ管理とパイプライン | Research Blog
https://adtech.cyberagent.io/research/archives/890
Modern Linux Pipeline Programmingを補助してくれるツールたち - Qiita
https://qiita.com/mumoshu/items/fc6f6a3149e82f7b375f#pachyderm
3 go/debian での機械学習環境構築について
https://tokyodebian-team.pages.debian.net/pdf2018/debianmeetingresume201803.pdf
CoreOSとDockerの上でビッグデータ分析の敷居をフロントエンドプログラマ向けに低くするPachyderm |
TechCrunch Japan
https://jp.techcrunch.com/2015/01/24/20150123pachyderm/