Se ha denunciado esta presentación.
Utilizamos tu perfil de LinkedIn y tus datos de actividad para personalizar los anuncios y mostrarte publicidad más relevante. Puedes cambiar tus preferencias de publicidad en cualquier momento.

ドローン農業最前線

5.274 visualizaciones

Publicado el

tokyowebmining 58th

Publicado en: Educación
  • Sé el primero en comentar

ドローン農業最前線

  1. 1. ドローン農業最前線 TokyoWebmining #58th 2017/03/25 古川哲也 (@negative_t28)   1/35
  2. 2. 自己紹介 2/35 ニューラルネット ネオコグニトロン大変そう〜 変分ベイズ パダワン中退 SunGridEngine 分散処理! 顔検出 OpenCVやめて~、特許もうや~ ベンチャー1 お腹いっぱい(検索,レコメンド,CDN,DRM,EC,STB) Solr、Hadoop 検索はレコメンド ベンチャー2 いつの間にか濱田さんが隣 ドローン フルスタックなフレンズと、すごーい!、たのしー!
  3. 3. 目次 1. ドローン入門 2. 農業分野のドローン活用 2.1. リモートセンシング 2.2. 農薬散布 3. 位置推測技術 3.1. GPS 3.2. Visual SLAM 4. まとめ 3/35
  4. 4. 1. ドローン入門 4/35
  5. 5. ドローン構成 5/35 気圧センサー 角速度センサー(ジャイロ ) 加速度センサー ステレオカメラ レーザー距離計(LiDAR) 超音波距離計(SONAR) ブラシレスモーター プロペラ Power Management Unit (PMU) Electric Speed Controler (ESC) GPS リチウムポリマーバッテリー フライトコントローラ 通信 モジュール 地磁気センサー フレーム 慣性計測装置(Inertial Measurement Unit) 電気自動車とほぼ同じ
  6. 6. ドローン制御 6/35 フライトコントローラ 通信 モジュール 電源系 センサー系 駆動系 駆動制御 PID 制御 姿勢・位置推定 - 相補フィルタ - カルマンフィルタ 飛行指示・状態報告 フライトコントローラ基盤上に乗ってるセンサーも多数 フライトコントローラ以外でも、一部モジュールは CPUを搭載しソフトウェア稼働=>分散処理
  7. 7. 代表的会社 7/35 社名 DJI(中国) Parrot (フランス) 3D Robotics(アメリカ) 社員数 5000人以上 840人→ 550人(ドローンだけ) 350 → 未公表 特色 覇者 ・一人勝ち ・コントローラ、キット販売 先駆者 ・産業系に力入れ始めた? ・子会社(Micasence,Pix4D) 伝道者 ・オープン戦略、産業系へ (Autodesk) ・HW:pixhawk SW:ardupilot, px4 機体 ※画像は各社HPより転記
  8. 8. インテルの本気 8/35 買収 ● Asending(ドローン) ● MAVinci(ドローン) ● Movidius(画像処理+カメラ) ● Mobileye(画像処理+カメラ) ● Itseez(画像処理,OpenCV) ● Altera(FPGA) ● Yogitech(FPGA開発ツール) 出資 ● ZMP(自動運転) ● Yuneec(ドローン) ● PresicionHawk(データ加工) ● Airware(ドローンソフト) ※intel社 HPより転記
  9. 9. フライトコントローラ 9/35 名前 A3 Pixhawk NAVIO2 開発元 DJI 3D Robotics Emlid 特徴 ・DJIキットとセット利用 ・開発用SDKあり ・10万円 ・CPU: 不明 ・PX4、ArduPilotの標準ハード ・オープンハード(コピー品有) ・3万円 ・CPU 168MHz ・ラズパイ拡張ボード ・PX4、ArduPilot動作 ・3万円 ・CPU 1.2GHz ※画像は各社HPより転記
  10. 10. 業界動向 ● コンシューマーはDJI一人勝ち ● 産業用途のソリューションで勝負(観測センサー、データ管理、収集、分析 ) ○ 空撮、測量、施工管理、運輸、農業、監視、セキュリティ ● 関連する法律 ○ 航空法で以下条件は国土交通大臣の許可・承認が必要 (200g未満は対象外) ■ 空港周辺、人工密集地、高度 150m以上の飛行 ■ 夜間、目視外、危険物輸送、投下、安全距離 (30m)未満 の飛行 ○ 電波法 ■ 技適マークのない無線は NG (海外製品はNGが多い) ■ 携帯をドローン搭載に載せるのは NG (免許あれば実験はOK) ○ その他: 民法(土地所有権 上空300m)、 道路交通法、条例、etc ● 法的には免許不要(民間免許のみ) 10/35
  11. 11. 2. 農業分野のドローン活用 11/35
  12. 12. 2.1 リモートセンシング 12/35
  13. 13. 農業分野における用途 13/35 ● 付面積調査 ● 土壌分析 ● 収量予測 ● 生育状況監視(肥料散布・農薬散布・収穫 時期決定) ○ 正規化植生指数(Normalized Difference Vegetation Index)=NDVI ● 衛星(SPOT, ALOS...) を使ったものが主流 ○ 時間・空間解像度低 → ドローン使おう!
  14. 14. NDVIとは? NDVI = (IR - R) / (IR + R), -1.0 <= NDVI <= 1 ● IR: 近赤外光(波長 720 - 1200 nm) の反射率 ● R: 可視光赤(波長 620 - 690 nm) の反射率 ● 光合成は赤い光を吸収 = 赤の反射率低下(=緑に見える) ● 近赤外光は光合成に利用されない ● 光合成不活発 → NDVI小 ● 光合成活発  → NDVI大 反射率なので基準必要 14/35
  15. 15. ドローンによるNDVI計測 15/35 ※ parrot 社 HPより転記 マルチスペクトルカメラ 照度計 較正板 装着方法 parrot sequoia 反射率基準
  16. 16. 撮影方法 + データ量(sequoia の場合) 16/35 飛行経路 農場 撮影範囲 ● 30m以上の高度で撮影 ● オーバーラップ80%を確保して飛行 ○ 画像結合のため ● 波長ごとの画像を取得 ● gps位置および、撮影時カメラ姿勢記録 ○ 地図重畳、画像結合補助 ● データ量 (90m x 90m 高度30m) = 2GByte ○ 225枚 x 4波長 x (1280 x 960) x 2Byte 正確な飛行は結構難しい(自動化)
  17. 17. NDVI解析アプリ(ATLAS) 17/35 ● 全撮影画像をクラウドにアップ ● クラウドで画像結合+NDVI計算 ● 計算終了後、結果をwebで確認 ○ ダウンロードして加工可能 ● 画像結合(スティッチング) ○ SfM(Structure From Motion) ● 地理情報連動 ○ GIS(Geographic Informatin System) ○ GeoTiff フォーマット
  18. 18. SfM の有名ソフト 18/35 製品名 Photoscan Pix4D OpenMVG Photosynth 開発元 Aigsoft社 Pix4D社 Pierre Moulon 氏 Microsoft社 特徴 SfM定番 産業系で強い? クラウド処理可 parrot子会社 オープンソース (MPL2) SfM 先駆け? クラウド+スマフォ サービス終了 ● 計算コストが高いため、強力なGPUがあったほうがよい ● クラウドと相性良さそう(回線太ければ) ● OpebMVGはGPU対応してないので辛いかも
  19. 19. 2.1 農薬散布 19/35
  20. 20. 農薬散布ヘリ 20/35 ● 1987年 ヤマハ + ヒロボーが農薬散布ヘリ発売、以降ほぼ独占 ● 全国の水稲の3割~4割で農薬散布実施 ● エンジン駆動で60分飛行可能 ● 30リットル搭載可能 ● 価格 1000万~ ● 一般社団法人 農林水産航空協会の免許制 ○ 散布業務は委託が多い ■ 適時散布、ピンポイント散布は難しい もっと簡単に、もう少し手ごろに→ ドローンに期待 ※ ヤマハ発動機社 HPより転記
  21. 21. 農薬散布ドローン 21/35 ● 操縦が簡単 → 自動化し易い ○ 適時散布、ピンポイント散布可能 ● 構造が単純 ○ メンテしやすい ○ 安い 100万円〜300万円 ● 飛行時間が 20分程度 ● 搭載可能量が10リットル しばらくは規模、用途でヘリと済み分け? ※ ナイルワークス社 HPより転記
  22. 22. 農薬散布の課題 ● 農場の端から端まできっちり飛ばすことは難しい ○ 散布漏れは生育不良、害虫被害に直結 ○ 重複散布は薬害の恐れ ○ 対象外に飛散すると大問題(別作物に悪影響、健康被害) ■ プロペラの作る下降気流に乗せた散布 ■ 速度と連動した散布制御 ■ 10センチ以下の位置制御 22/35 ● 空中散布可能な農薬は限られている ○ 通常散布に比べ農薬の濃度が濃い ○ 農薬特性の違い  人間には無理=自動化 ドローンだけではだめ
  23. 23. 動画デモ 23/35
  24. 24. 3. 位置推測技術 24/35
  25. 25. 3.1 GPS 25/35
  26. 26. GPSとは? ● GPS = Global Positioning System ○ アメリカが開発・運用する人工衛星を使った測位システム ● アメリカ以外も衛星を使った測位システムを開発・運用! ○ ロシア GLONASS(GLOval NAvigation Satellite System) ○ 中国 BeiDou(北斗衛星導航系統)→ 次世代Compass ○ EU Galileo ○ インド IRNSS(Indian Regional Navigational Satellite System) ○ 日本 QZSS(Quasi-Zenith Satellite System 準天頂衛星システム) 26/35 人工衛星による位置情報サービスをひっくるめて、 GNSS: Global Navigation Satellite System ※最近のGPS受信機は、大抵複数システムをサポートするので、正確には GNSS受信 機
  27. 27. さいたま市の衛星状態 2017/03/20 10:30 27/35 GPS(12) GPS(12), QGS(1) GPS(12),QZS(1), GLO(7), BDS(10), GAL(4) 衛星が多いほど位置精度が向上
  28. 28. GNSS の仕組み 28/35 衛星1 衛星2 衛星N 地上観測網 受信機 ● 衛星の位置、誤差用情報観測 ● 衛星にアップロード 衛星ごとに決まったコード波形で、 衛星位置、補正情報をエンコード、 さらに放送電波に変調して放送 ● 既知の各衛星コード波形を使って電波を分離 ● コード波形に乗っている衛星情報をデコード ● 複数衛星の情報を合わせて測位計算
  29. 29. 測位方法の種類 29/35 単独測位 数m 通常方法 ドップラー測位 数cm/s ドップラーシフトで受信機移動速度を計測 時間積分で相対位置を算出可能(誤差累積) 相対測位 RealTimeKinematic 数cm 基準点との相対距離を計測 数百万円 → 数万円 衛星数増加 + 高須先生のRTKLIB(BSD) 高精度単測位 数cm 準天頂衛星(2018年4月から稼働) 大幅な精度向上 観測精度向上+補正データ放送周波数追加
  30. 30. 実精度比較(静止時) 30/35
  31. 31. 3.2 Visual SLAM 31/35
  32. 32. Visual SLAM ● Simultaneous Localization And Mapping 地図と位置の同時推定 ● Visual SLAM の種類 ○ 特徴点ベースのもの PTAM, SVO, ORB-SLAM.... ■ SfM のリアルタイム化 ○ ピクセルベースのもの LSD-SLAM ● Visual SLAM の弱点 ○ 初期化重要: 失敗するとアウト ○ 逐次処理のため誤差蓄積: 何らかの方法で補正が必要 ■ Loop Closing(一度見た場所にもう一度戻った時に、まとめて補正) ■ 別センサー情報(GNSSなど)と組み合わせ 32/35
  33. 33. デモ(ORB-SLAM) 33/35
  34. 34. 4. まとめ 34/35
  35. 35. まとめ...というか感想 35/35 ● cm精度はセンシングの世界を変える予感 ● things は楽しいが、スタックが拡大して結構大変 ○ センサー評価、ドライバ実装、ロジック検討、高速化実装、システム結合 ● 物理強し ○ アルゴリズムよりセンサー精度・サンプルレート。 ○ 力技は王道 ● WEBと対象は違えど、実装で重要なことは類似 ○ データの ETL(Extract Transform Load)がメイン ○ pub/sub モデル(PX4)
  36. 36. 多すぎたのでカット 36/35
  37. 37. 単独測位方法 37/35 衛星1 衛星2 衛星N 受信機   各衛星と受信機の疑似距離 各衛星位置 =真の距離 + 受信機時計誤差  ✕光速c 受信機位置 コード波形の位相ずれから算出し た電波到達にかかった時間Tiと 光速cで算出可能 ニュートン・ラフソン法で解く ● 初期値決定 ● 初期値周りで線形化 ● 線形化した方程式を解く ● 初期値更新 ● 収束するまで繰り返し 精度: 数m
  38. 38. ドップラー測位方法 38/35 衛星1 衛星2 衛星N 受信機 精度: 数 ㎝/s 各衛星速度 擬似距離変化率 受信機移動速度 受信機時計誤差の時間変化 ドップラーシフト関係式に、これらを代入 すると、線形連立方程式が成立 速度積分で相対位置を算出可能(累積誤算発生)
  39. 39. 相対測位方法(RealTime Kinematic) 39/35 衛星1 衛星2 受信機 衛星N 基準点 衛星位置 dx =放送電波の波長✕ 整数倍x + 余りx dy = 放送電波の波長✕整数倍y + 余りy dz = 放送電波の波長✕整数倍z + 余りz 放送電波の位相ずれで距離推定 コード波形に比べ周波数が高いため距離精度が向上 するが、余り部分しか計測できない 既知の基準点からの距離を推定 様々な誤差が打ち消しあって精度向上 精度: 数cm dを解いた後、整数制約をLAMBDA法で探索 Leastsquare Ambiguity Decorrelation Adjustment
  40. 40. RTK搭載ドローンと基準局 40/35 基準局位置を(0, 0, 0)とした時 左アンテナ位置 (north1, east1, down1) 右アンテナ位置 (north2, east2, down2) がcm単位でわかる → コンパスにも使える
  41. 41. 高精度単独測位 ● 準天頂衛星から放送される補正データを使った測位方法 ● 基本的には、単独測位方法と同じ ● 誤差修正データがより精密化、地域別に分割 ● 準天頂衛星システムが正式稼働するまでテスト難しい ○ 現在衛星1台 → 2018年4月 4台体制 ○ 地上観測網の整備中 ● RTKいらなくなる? 41/35 誤差: 数cm
  42. 42. SfM: Structure From Motion ● 多数の画像から、3次元形状を復元する技術 ● 計算フロー 1. 各画像で画像特徴量(SIFT, SURF, ORB)計算 2. キーポイントとしてふさわしいもの抽出 3. 画像間のキーポイント対応を抽出(RANSAC) 4. 対応点関係からカメラ位置姿勢推定、各点の3次元位置を推測 a. カメラ位置姿勢は、IMUの値を利用することもあり 5. 4を初期値として、再投影誤差最小化基準で非線形最適化(Bundle調節) 42/35
  43. 43. 特徴点ベース visual SLAMのフロー 1. 追跡するキーポイント決定+3次元位置推定 2. カメラ移動・姿勢変化 3. キーポイントを追跡して、画像位置変化補足 4. 画像位置変化からカメラ位置・姿勢推定とキーポイント3次元位置推測 (SfM のときとほぼ一緒) 5. 新しいキーポイント登録 6. カメラ位置・姿勢、キーポイント3次元位置を非線形最適化(Bundle調節) 7. 2から6を繰り返し 43/35

×