超音波 + IMUセンサーフュージョンを用いた、屋内自律ドローン・ロボット向けの高速・低レイテンシIPS / RTLS
概要
- 80 Hzの位置更新レート（同じハードウェアのまま、今後のソフトウェアリリースでさらに高くなる可能性があります）
- 12〜20 ms のレイテンシ：移動体の動きの種類と設定によって異なります
- 3Dトラッキング。1Dおよび2Dトラッキングにも対応しています（もちろんです 🙂
- 特に適した用途：自律型ドローンなど、ノイズの多い対象
- 本記事の対象は NIA と MF NIA。IA向け超音波 + IMUセンサーフュージョンは数か月前にリリースされています
- このシステムでは、1個のビーコンで方向を取得できます。位置＋方向を得るペアードビーコン構成にも対応しています
- 一時的な見通し外環境でのトラッキングのロバスト性が大幅に向上
- 新しい Marvelmind Dashboard 3D がパックに含まれ、3D表示がより簡単になりました（現時点ではプレーヤー専用モード）
- この機能を有効にするには、次が必要です：MMSW0021：リアルタイム超音波 + IMUセンサーフュージョン ライセンス（IA・NIA共通）
- すでに商用で提供中です。今すぐダウンロードしてご利用ください
最小構成
この NIA 屋内測位システム（IMUセンサーフュージョン搭載）は、いくつかの主要な要素で構成されています：
- モバイルビーコン：移動体に取り付けます。例：ドローン
- 固定ビーコン ：周囲に配置してカバレッジを確保します。イメージをつかむには上の動画をご覧ください。推奨事項については配置マニュアルをご確認ください
- モデム：全体を制御します。NIAでは、モデムはもう位置を計算しません。計算するのはモバイルビーコンです。これは今回からの新しい仕組みです
- RHU：モデム側で高速なIMUデータを受信します。さらに、いくつかのレイヤーの後処理を行い、トラッキングのロバスト性と品質をさらに高めます。比較的新しい存在ですが、モデム側で低レイテンシのIMUセンサーフュージョンデータを得たい場合に主流となりつつあるスプリットモデムアーキテクチャの重要な要素となっています。モバイルビーコン側でデータを利用する場合は、RHUは不要です
したがって、推奨最小構成（高速・低レイテンシのトラッキングを実現するための構成）は次のとおりです：
- Starter Set Super-MP-3D
- Modem HW v5.1：RHU用です。ハードウェアはモデムと同じですが、ソフトウェアが異なります：パックに含まれる別のソフトウェア
- 4 x マグネットホルダー（固定ビーコン用）
- 1 x MMSW0021：リアルタイム超音波 + IMUセンサーフュージョン
名称に「-4」以降が付く新しいビーコンのみサポート
現在サポートされているモバイルビーコンは次のとおりです：
- Super-Beacon-4
- Industrial Super-Beacon-4
- Industrial-RX-4 with Omni
- Industrial-RX-4 with Horn
今ハードウェアを購入される場合は、販売代理店に確認のうえ-4バージョンを出荷するよう依頼できます。当社の倉庫には、-4しか残っていません。ただし、現場ではまだ-1、-2、-3バージョンも数多く使われています。
これらのモバイルビーコンやその他のモバイルビーコンの新しいハードウェアバージョンも、次に対応する見込みです：MMSW0021：リアルタイム超音波 + IMUセンサーフュージョン。
誤解のないように：
- Super-Beacon、Super-Beacon-2、Super-Beacon-3、Industrial Super-Beacon-2および-3、Industrial-RX-2および-3、その他の旧世代のデバイスは、次の機能に対応していません：MMSW0021：リアルタイム超音波 + IMUセンサーフュージョン（モバイルデバイスとして使用する場合）
- ただし、固定ビーコンについては制限はなく、固定ビーコンとして問題なく使用できます（IAで固定ビーコンとして動作できるものに限ります）。たとえば、Industrial-RXはトランスデューサーを一切持たず超音波を発信できないため、IAでは固定ビーコンとして機能できません。この機能とは関係ありませんが、アーキテクチャの要件に関する基本は忘れないでください。非常に古いBeacons HW v4.9でも固定ビーコンとして使用できます
センサーフュージョンはロボティクスの「聖杯」
センサーフュージョンにより、両方の長所を兼ね備えることができます：
- 超音波は高精度な測位を実現し、位置のドリフトもありませんが、短時間の遮蔽やノイズでも位置が飛ぶことがあります
- IMU は非常に高い角度分解能を持ち、位置の飛びもありませんが、ドリフトします
両方の情報源を適切に融合するのは技術的に非常に難しく、移動体についていくつかの仮定も必要ですが、超音波のみ、あるいはIMUのみのシステムでは達成できない結果が得られます。非常に高い位置更新レート、低レイテンシ、遮蔽に対するより高いロバスト性、そしてより高い精度です。まさに文字どおり、両方の長所を兼ね備えているのです。
センサーフュージョンは技術のツリーであり、すべてに対応する単一のソリューションではありません
次の資料で解説しているとおり、（前回の記事） IMUセンサーフュージョンにはいくつかの系統があります。概要は次のとおりです：
- NIA向けIMUセンサーフュージョン：ドローンなど、ノイズの多い対象に最適
- IA向けIMUセンサーフュージョン：モバイルビーコンが超音波を受信する場合。人員の追跡や、ドローン群・ロボット群向け
- IMUセンサーフュージョンのポストプロセッシング：データ全体をすでに把握したうえで処理できるため、レイテンシが重要でなく、総合的なトラッキング品質を重視する場合（たとえばスポーツや軌跡の分析）に適しています
- 方向取得のためのIMUセンサーフュージョン：ペアードビーコン構成
- 外挿：厳密にはセンサーフュージョンではありませんが、経路が予測可能なケースには最適な解決策です
低レイテンシ、高速、高いロバスト性、1個のビーコンによる方向取得、その他のメリット
以前公開した IA向けIMUセンサーフュージョンに関する記事では、IMUセンサーフュージョンがもたらす位置データの低レイテンシと、その測定方法に重点を置きました。そのため同記事では、機械的な衝撃からIMUの積分、位置の処理・計算に至るまでのレイテンシをどのように測定したかについて、多数の衝撃グラフと説明を掲載しています。
NIA向けの新しいIMUセンサーフュージョンソフトウェアと、IA向けとNIA向けのIMUセンサーフュージョンを1つの大型ソフトウェアリリースに統合する今後の開発では、位置データの低レイテンシよりも、IMUセンサーフュージョンという手法の総合的な優位性に重点を置いています：
- 高い更新レート：80 Hz（将来はさらに高く）。実際の産業用途の大多数には十分です
- 低レイテンシ：12〜20 ms。実際に測定するのは難しく、設定やマップ、対象物の動きの履歴によって変わります。つまり適応的です。しかし重要なのは、これも実際の用途の大多数には十分だという点です。結局のところ、私たちは産業オートメーションのビジネスをしているのですから
- 精度の向上（特に静止時）
- 大幅に向上したロバスト性（短時間の遮蔽、音響ノイズ、その他の悪条件に対して）と、改善されたトラッキング品質（レイヤー化アプローチによる）
- A 1個のモバイルビーコンで方向/姿勢を取得できるようになりました。方向は動的に決定されます。いずれかの方向に約50 cm移動する必要があります。システムは方向を判定して高精度に測定し、システムの電源を切るまで、静止時でもそれを維持します。
まとめると、IMUセンサーフュージョンは、ロボティクス全般において、そしてその一分野である屋内測位においても、まさに「聖杯」であり、多くのメリットをもたらします。
精度の向上
IMUセンサーフュージョンは、より多くのデータを組み合わせ、一部の飛びを除去することで、精度を向上させます。
IMUセンサーフュージョンは、静止状態での精度向上に特に効果的です。一方、動的な状態では、IMUセンサーフュージョンによって誤差の振れ幅が大きくなる場合もありますが、結果はセットアップ、条件、動きの種類に完全に依存します。対象物についての知見が増えれば、設定と性能をさらに最適化できます。
1個のモバイルビーコンで方向も取得可能に
以前は、次の構成が必要でした：方向を知るためのペアードビーコン構成。
現在は、1個のモバイルビーコンでの飛行を推奨しています。ペアードビーコンも引き続き選択肢として利用できます。
1個のモバイルビーコン ：
- 軽量な選択肢：2台目のビーコン、フレーム、ベース距離、モバイルビーコン間の2本の配線（IAのみ）が不要
- 方向を判定するにはいずれかの方向に約50 cm動く必要があり、判定後は方向をロックします
- システムの電源を切るまで、静止時でも方向を維持・記憶します
- DJI Mini以下の小型ドローンでは、事実上唯一の選択肢です
ペアードビーコン：
- 方向を判定するために先に飛行する必要がなく、静止時でも方向が得られます
- ビーコンの重量が問題にならず、十分なベース距離が取れる大型ドローンに特に適しています
トラッキングのロバスト性と品質の向上
トラッキングにはレイヤー化アプローチを採用しています：
- 超音波トラッキング：従来からの方式で、Dashboard 2Dでは青い点として表示されます
- 超音波データとIMUデータをもとに、センサーフュージョンしたデータを生成します。この段階ですでに、低レイテンシと高い更新レートというメリットがすべて得られます。このデータはモバイルビーコン（hedgehog）側では利用できますが、モデム側ではまだ利用できません。そのため、完全自律型のPixHawkドローンでは利用できますが、「頭脳」がドローンの外部にあるDJIドローンでは利用できません
- 比較的低速（約8 Hz）のデータは、従来どおりモデムにストリーミングされます。一方、高速（80 Hz）のIMUフュージョンデータはRHUにストリーミングされます。動画で見える、尾を引くように非常に速く動く青い点が、IMUフュージョンデータです
- RHUはデータを受信するだけでなく、IMUレイヤーで、さらに超音波レイヤーでも、より多くのデータを使って改めて高度な処理を行います。処理には複数のレイヤーがあります。最終レイヤーは「ゴールデン」レイヤーで、すべてのレイヤーの中から信頼度が最も高い情報を選び出します。そのため、ユーザーは、レイテンシ12〜20 msの非常に高速なIMUデータと、その約200〜300 ms後に得られる、さらに検証されたゴールデンデータの両方を利用できます。その結果、トラッキングのロバスト性が大幅に向上します。条件があまり良くない場合や、部分的・一時的な遮蔽がある場合でも、トラッキングがよりきれいで一貫していることを、目で見て簡単に確認できます。
ユーザー機器への接続と、余分なレイテンシを避ける方法
本機能である MMSW0021：リアルタイム超音波 + IMUセンサーフュージョンの大きな魅力の一つは、位置データの低レイテンシです。そのため、インターフェースやオペレーティングシステムによる余分なレイテンシを生じさせずに位置データを取得する方法を、明確に理解しておくことが重要です。
新バージョンでは、次の方法に対応しています：
- モバイルビーコンからの通常のUART（hedge、hedgehogとも呼ばれます）：Super-Beaconの4×4ピン、またはIndustrialビーコンの7ピンデータコネクタ内のピンを使用します。これが最適かつ簡単な方法です。これにより、目立った追加レイテンシなしで低レイテンシの位置データを取得できます
- モバイルビーコンからのUSB経由（追加レイテンシ約1 ms + USBドライバーのレイテンシ（OSに依存））。最大の懸念は、OSのレイテンシとそのジッターが予測できないことです。追加レイテンシは評価が難しく、気にならない程度から大きなものまで幅があります。OSが制御できない遅延によるレイテンシのジッターも、もう一つの懸念点です。ただし実際には、こうした懸念は誇張されすぎている場合もあり、そうであれば、USBを使うこの接続方法は、UART（上記参照）の配線よりもさらに簡単です
- RHUのUSB/UART経由。実質的には、スプリットモデムアーキテクチャを採用しています。モバイルビーコン側ではなくモデム側で低レイテンシのデータを取得するには、これが最適な方法です。たとえば、高い位置更新レートと低レイテンシでのトラッキング を行いたい場合や、DJIドローンを飛行させたい場合に適しています。DJIのシステムでは、「頭脳」がドローン上ではなく外部にあるためです
このほかにも位置データを取り出す方法はありますが、実用上推奨できるものではなく、理論上は可能という方法です：
- モバイルビーコンをUSBで接続したDashboardからのUDP経由（追加レイテンシ約1 ms + USBドライバーのレイテンシ + UDP転送のレイテンシ（ネットワークにより通常3〜50 ms））
- マスターモバイルビーコンをUSB接続したDashboardからRESTまたはMQTT経由（追加レイテンシは約1 ms + USBドライバのレイテンシ + REST/MQTT転送のレイテンシ）。追加レイテンシの合計を評価するのは困難ですが、この方法もサポートされています
- 特殊ファームウェアを搭載したModem HW v5.1を接続したDashboardから、UDP/REST/MQTT/ログ経由。構成：スプリットモデムアーキテクチャ（追加レイテンシは、モバイルビーコンをDashboardに接続した場合と同じ + 500 kbpsの無線で約1 ms）
- マスターモバイルビーコンをUSB接続したDashboardのログファイル経由（ポストプロセッシング用 – レイテンシは対象外）
精度が高く、高速で、低レイテンシな屋内トラッキングのために進化し続けるセンサーフュージョン
NIAとIMUセンサーフュージョンはすでに正式に提供されており、今日からご注文、ダウンロードしてご利用いただけます：
とはいえ、進化が止まることはありません。より多くのデータを融合し、賢く組み合わせて、さらに高速・低レイテンシ・高ロバスト性のトラッキングを実現するというアプローチは、これからも有効であり続けます。