RaspberryPiCamera+OpenCVでカメラ画像のUDP送信
「GoogleCardboardとRaspberryPiを使って視界を共有できるロボットを作る」
第二回はラズパイ側のUDP通信についてです．
C言語でのUDP通信については以下の内容が非常に参考になりました．
http://www.sbcr.jp/books/img/Linuxnet_03.pdf
今回のロボットにおけるラズパイのUDP通信部分は
・カメラ画像の送信
・Androidの傾き情報の受信
をそれぞれ行います．なお，簡単のため送信と受信でポートを分けて実装しました．
画像の送信については
OpenCVでWebカメラのストリーミング - kivantium活動日記
様のコードをベースに使わせていただきました．
RasPiカメラモジュールの画像をOpenCVで取得する方法については過去記事参照
shikky-lab.hatenablog.com
#include <iostream> #include <vector> #include <sys/socket.h> #include <netdb.h>//gethostbyname #include <arpa/inet.h>//inet_ntop #include <raspicam/raspicam_cv.h> //ipアドレスの確認用 void print_host_info(struct hostent *host, struct sockaddr_in &send_addr) { unsigned int **addrptr; addrptr = (unsigned int **) host->h_addr_list; send_addr.sin_addr.s_addr = *(*addrptr); //送信先IPアドレス /*ipアドレスの確認*/ char sender_str[256] = {0}; inet_ntop(AF_INET, &send_addr.sin_addr, sender_str, sizeof (sender_str)); std::cout << "sendto:" << sender_str << ",Port=" << ntohs(send_addr.sin_port) << std::endl; } int main(int argc, char *argv[]) { //送信ソケットの設定 int send_sock; struct sockaddr_in send_addr; send_sock = socket(AF_INET, SOCK_DGRAM, 0); send_addr.sin_family = AF_INET; send_addr.sin_port = htons(8765); //送信用のポート番号．好きな値を設定． struct hostent *host; host = gethostbyname("192.168.43.1");//各自の環境に合わせて．bonjourに対応していれば"ホスト名.local"でも可 if (host == NULL) { return 1; } print_host_info(host, send_addr);//IPアドレスの確認 //カメラの設定 raspicam::RaspiCam_Cv Camera; //set camera params Camera.set(CV_CAP_PROP_FORMAT, CV_8UC3); Camera.set(CV_CAP_PROP_FRAME_WIDTH, 640);//画像サイズの設定． Camera.set(CV_CAP_PROP_FRAME_HEIGHT, 720);//後々Android上で分割表示するため，スマホ画面サイズの半分に設定 std::cout << "Opening Camera..." << std::endl; if (!Camera.open()) { std::cerr << "Error opening the camera" << std::endl; return -1; } static const int sendSize = 65000; //UDPの仕様により上限は65kB cv::Mat image; std::vector<unsigned char> ibuff; std::vector<int> param = std::vector<int>(2);//jpeg変換時のパラメータ設定 param[0] = CV_IMWRITE_JPEG_QUALITY; param[1] = 80; while (cvWaitKey(10) == -1) {//sleepの代用．基本的にはsleepなしでも構わないが，joystickをつなぐと不安定になったりするっぽい？ Camera.grab();//カメラ画像の取得 Camera.retrieve(image); imencode(".jpg", image, ibuff, param); if (ibuff.size() < sendSize) {//上限オーバーの場合は送らない sendto(send_sock, ibuff.data(), ibuff.size(), 0, (struct sockaddr *) &send_addr, sizeof (send_addr)); } ibuff.clear(); } }
コンパイルの際にはリンカに-lraspicam -lraspicam_cv -lopencv_highgui -lopencv_core -lopencv_imgcodecs のオプションが必要です．
UDPでは1パケットの最大サイズがヘッダ込みで65535byteとなるため送信できる画像は最大で約65kBとなります．ラズパイのカメラモジュールは無駄に？解像度がすごいので注意が必要です．今回は画像の幅と高さをスマホ画面サイズの半分にしたうえで，jpegのクオリティを変えることで調整しています．リアルタイム性を追求するならjpegクオリティを更に落として送信サイズを小さくしたほうがいいです(正確にはAndroid側の受信サイズを小さく)．
※補足
jpeg画像は内部でハフマン符号化を行っているため画像サイズは毎回変わります(カラフルな画像ほど大きくなる)．そのため効率的な通信のためには送受信のサイズを可変にする必要があります．送信サイズを可変にするのは簡単ですが，遅延に直接影響するのは受信サイズのようなのであまり意味ないようです(少なくとも実感はありませんでした)．結局最終的な実装では各画像を10kBごとに分割して送信し，受信側で再構成するという処理を行いました．
※補足終わり
受信についてはマルチスレッドやマルチプロセスで並列処理する方法が理想的なのだと思いますが，いまいち扱いづらかったので
ノンブロッキングソケット:Geekなぺーじ
様の記事を参考にノンブロッキング処理によって実装しました．
GoogleCardboardとRaspberryPiを使って視界を共有できるロボットを作る
私の子供のころからの夢の一つに，ロボットに乗って操縦したいというものがありました．人が乗れるロボットを作るのはあまりに大変ですが，視覚が共有できるロボットなら作れそうな気がしたのでやってみました．
カギになるのはGoogleCardbordというGoogle謹製のお手軽VR体験装置．
段ボールだけでそこそこVRを体験できる非常に素晴らしい装置なのですが，今回はこれとRaspberryPiおよびカメラジンバルを組み合わせて，頭の動きとカメラの向きが同期する視覚共有装置の製作を試みました．そのカメラを台車に乗せてPS3コントローラで遠隔操作できるようにすることで疑似的にロボットを操縦している感覚を味わおうという魂胆です．
まだ一次完成版ですが一応形になったので整理を兼ねてまとめたいと思います．そこそこ長くなりそうなので分割で．
外観はこんな感じ．右にあるのがGoogleCardbordのケースです．
動画
今回は装置概要をまとめます．接続関係はこんな感じ．
以下詳細
・RaspberryPi3+カメラモジュール
今回の主役その1．周辺機器については過去記事参照のこと(RaspberryPi3の下準備 - 徒然創作記)
カメラ画像の取得と同時にAndroidとはWi-Fi(UDP)通信，コントローラとはBluetooth通信，マイコンとはUART通信と大忙し．マイコンとの通信にはUSB接続のシリアル変換モジュールを使用しました．
・サーボジンバル
フリスクでraspberry piカメラのケースを作る - 徒然創作記 でカメラ雲台といっていたやつです．
・サーボ駆動用マイコン(AVR ATmega88P)
RaspberryPiから直接サーボモータを動かすこともできますが，念のためモータ駆動用には別のマイコンを置きました．
今回の主役その2．ちゃんとGoogleがCardboad用のAPIを用意してくれているのでそれをベースに実装します．ちなみにGoogleはiPhone用のAPIもちゃんと出してくれてます．
今回はテザリングを使うことでAndroidとRspberryPiを疑似的に直接接続しました．
・Cardboard対応ケース
ebayで買ったプラ製のケースを使用．ヘッドバンド付きで900円という素晴らしさでした．
・台車
テキトーな板にタミヤさんのギヤボックスをテキトーに取り付けて，テキトーなモータドライバで動かします．モータドライバについては過去に設計したものを流用しましたが，今回の負荷ならモータドライバICで十分そう．
・PS3コントローラ
主に台車操作用に使用．
概ねこのような構成で作成しました．ここまで書いて思いましたが，ただの台車をロボットというのはかなり無理がありますね．でもまあこれだけで結構楽しめます．
何部構成になるかわかりませんが，次回はRaspberryPiのUDP通信部分について書きたいと思います．
getter関数のvolatile宣言
AVRの割り込みでクラス内変数を書き替える場合，その変数にgetterでアクセスして値の変更を待つ次のような文がうまく動かなかった．
while(!hoge.getval());
変数自体にvolatile宣言しても変わりがない．どうやら関数自体にvolatile宣言が必要らしい．
int class::getval(void) volatile { }
のように宣言すると一応動いた．しかし想定通りの動きとは少し異なってしまい，結局
volatile int temp; do{ temp=hoge.getval(); }while(!temp);
と書いたらうまくいった．とはいえただのポーリングに4行も書くのは何かばからしい．何とかならないものか．
RaspberryPi3にopencv3.1を導入してRaspiカメラモジュールを使う
RaspberryPi3で画像処理をするにあたり，とりあえずopencvを導入することに．
せっかくなので最新版のopencv3.1を自前でbuildして入れる．(opencv2.xで構わないという人はapt-getで入れられるのでそっちで入れた方がずっと楽)
opencvをbuildするための参考ページはいろいろ探してみたけど
Install guide: Raspberry Pi 3 + Raspbian Jessie + OpenCV 3 - PyImageSearch
ここが環境が完全に一致しているうえ，説明も丁寧で非常に分かりやすかった．結構長い手順だけど途中でpythonとvirtualenvの話をかなりがっつりやっているため，すでに入れている人やPythonを使う気がない人は無視してしまっていいかも．
opencvのmakeは結構重い作業で，二回ほど途中で止まっていた(再開したら何事もなく進むという謎)．結局4コアすべて使って合計80分程度かかった．
opencvの準備はこれで完了だが，Raspiのカメラモジュールをopencvで使うためにはRaspicam_cvを導入する必要がある．
GitHub - cedricve/raspicam: AVA RaspiCam: C++ API for using Raspberry camera with/without OpenCv
READMEが結構詳しいため導入は割と順調に進んだ．動作確認のためにREADME下部にあるOpenCV Interfaceのサンプルコードをコンパイルしてみる．NetBeansの場合はプロジェクトプロパティのリンカ―タブの追加のオプションの項に
-lraspicam -lraspicam_cv -lopencv_core -lopencv_highgui
を書いてライブラリの指定を行ってからビルド．
(追加のオプションの指定)
ところがDSO missingが出て怒られた．どうもimwriteで怒られているらしい．
原因はimwriteの含まれるライブラリで，opencv3からはhighguiではなくopencv_imcodecsが必要らしい．
というわけで先ほどのオプションに-lopencv_imgcodecsを追加してビルドしてみると無事に通った．
RaspberryPiの開発環境の構築
RaspberryPi3の開発を始めるにあたり，ひとまず以前A+の開発に使っていたときの環境をベースに環境構築．
基本的に母艦のWindowsベースで開発するので基本操作はVNCかSSH経由．
SSHに関してはraspi-configからSSHをenableにするだけで準備は完了するので楽ちん．
の記事を参考に導入していく．VNCサーバは自動起動させておきたいので
Raspberry Piで遊ぼう [No.5:VNC接続をしよう]：アシマネくんのほんわか日記：So-netブログ
に従って設定．
あと，VNC接続中にクリップボードの内容を同期できるautocutselは非常に便利なので一緒に導入
raspbian - TightVNC copy/paste between local OS and Raspberry Pi? - Raspberry Pi Stack Exchange
ホスト名参照
ラズパイと接続するときにいちいちIPアドレスを調べてられないのでホスト名による参照を導入．
Raspberry Piにホスト名の設定をしたメモ – 1ft-seabass.jp.MEMO
Windows側の準備としてはBonjourを導入する必要があったのだが，Windows10からはデフォルトでホスト名参照できるらしい．なおどちらにせよファイアウォールの登録が必要．受信と送信のどちらにも必要っぽい．
登録の手順
コントロールパネル→システムとセキリュティ→Windowsファイアウォールから詳細設定をクリック．受信or送信の規則→新しい規則 を選び，
規則の種類：ポート
プロトコルおよびポート：UDP，特定のリモートポート:5353
後は適用範囲や名前を適当に決めて完了．
以降ホスト名.localでアクセスできるようになる．
フォルダ共有
VNCベースで開発を進めていると共有フォルダがほしくなることが多いので，
プログラムの開発についてはNetBeansというIDEを使用．NetBeansはWindows上で開発しながらコンパイルのみラズパイ上で行うという器用なことができる．
https://netbeans.org/downloads/
から対象のインストーラを入手してインストール．
以降ラズパイとの接続設定．C/C++の例だがたぶん他も同じ．これらはネットワーク上にラズパイが繋がっていることを確認してから行う．
１．ひとまず普通にプロジェクトを作成
２．ツール→オプション→C/C++のビルド・ツールタブをクリック
３．右上の編集ボタンをクリックしてRaspberryPiの情報を追加
４．プロジェクトのプロパティのビルドの項でビルド・ホストを選択
これでラズパイ上でのコンパイルが可能に．
なおデフォルト設定でコンパイルを行った場合，実行ファイルは
~/.netbeans/remote/ホスト名/ユーザー名-Windows-x86_64/Windows上でのプロジェクトのパス/dist/Debug/GNU-Linux-x86
というめちゃくちゃ深いところに作られる．プロジェクトのプロパティのリンカの項目から，出力ディレクトリを
/home/pi/ファイル名
のように指定すれば変更できるが，IDE上での実行やデバッグはできなくなる？
実行やデバッグのパスを合わせればできそうなものだけど，どうもうまくいかないのでSSHやVNCで直接起動している．いずれなんとかしたい．
今のところの開発環境はこんな感じ．また便利なものを見つけたら紹介する予定．
RaspberryPi3の下準備
若干時間に余裕ができてきたので，この機にRaspberryPi3をセットアップ．以前に初代A+で開発してたので機材については使いまわせるかと思いきや，Pi3の圧倒的な消費電力のせいで電源回りは総とっかえ．2.5A消費ておいおい．．．
とりあえず最終的に自作ロボットに乗せる予定なので電源はモバイルバッテリーを使いたい．容量はそんなになくてもいいので軽くて2.5A流せるモバイルバッテリーを探していたらTECさんのモバイルバッテリーが見つかった．
次に2.5A流せる上で短くて安いUSBケーブルを見繕っていたところ，秋月電子で取り扱ってた．さすが秋月．痒い所に手が届く．
ＵＳＢケーブル Ａオス−マイクロＢオス ０．１５ｍ Ａ−ｍｉｃｒｏＢ: パーツ一般 秋月電子通商 電子部品 ネット通販
ただモバイルバッテリーで本当に使用に耐えるのかはまた別問題．Pi3の電源問題は結構話題になっているらしく，スイッチサイエンスさんが比較検証してくれていた．
http://doc.switch-science.com/support/RaspberryPi3/raspi3power.pdf
これを見るに2.4A対応のACアダプタでぎりぎりといった様子．でもこのグラフを見る限り突入電流でやられてる感じがするからバカでかい平滑コンデンサ乗せればなんとかならないのかなぁ．．．
それはそれとして，モバイルバッテリーはACアダプタに比べて出力容量が少ないような気がするので低電圧になりやすい気がする．若干不安．
追記
openCVのmake(CPU100%使用で1時間以上かかる)をしたところ，2回ほどエラーで中断された．再開すると何事もなかったかのように進んだので電源に起因する可能性有？
ただmakeにかかった時間は70~80分と他の方の情報と大差ないので実用的には問題なさそうか．
追記終わり．
後はmicroSDカードを適当に見繕って．．．
![Toshiba microSDHC 東芝 UHS-I 超高速 Class10 [並行輸入品] (16GB, 40MB/s)](http://ecx.images-amazon.com/images/I/51O1%2BlYCcKL._SL160_.jpg "Toshiba microSDHC 東芝 UHS-I 超高速 Class10 [並行輸入品] (16GB, 40MB/s)")
Toshiba microSDHC 東芝 UHS-I 超高速 Class10 [並行輸入品] (16GB, 40MB/s)
- 出版社/メーカー: 東芝
- メディア: エレクトロニクス
- この商品を含むブログを見る
いまや16GBでこんなに安いのか．昔は2GBを5000円で買った記憶があるが，すごいもんだ．
ともあれこれで準備完了．A+のときはWifiドングルやらBluetoothドングルやら必要だったのでいろいろ調べた覚えがあるけどPi3は楽でいい．
フリスクでraspberry piカメラのケースを作る
raspberry piカメラを買ったはいいものの，いかんせんむき出しの回路．公式でも静電気に注意しろと言っているのでぜひともケースがほしいところ．
そんな折にフリスクを使ってケースを作っている記事を見つけた
ラズパイのカメラモジュール用ケースの自作 | hiro345
ので試してみることに．(ついでにカメラ雲台の存在を初めて知って衝動買いしてしまった)
どうにもカメラの寸法図は見当たらなかったので，手元の安物ノギスで適当に寸法を測ってinventorにてモデルを作成してみた．
ケースのほうはこんな感じ．
一応図面．寸法は参考値ということで．
購入した雲台の固定部分の幅は30mmだったため，フリスクの29.5mmの幅は実によくフィットする．すごい．
雲台に取り付けてみたところ
雲台を使わないときはカバーを付けられるし，このカメラモジュールとフリスクの相性は抜群だと思う．目を付けた人すごいな．
ケースには満足できたけど，それはそれとしてカメラケーブルの短さにびっくり．取り回しが悪すぎるでしょうに．
というわけでアマゾンで長いケーブルを探してみたら，見つかりはするけど価格設定にびっくり．コネクタもないただのケーブルなのに．
さすがに手が出ないのでeBayで探してみると，100円くらいでわらわらと見つかる．
http://www.ebay.com/sch/i.html?_from=R40&_sacat=0&LH_BIN=1&_nkw=raspberry+camera+cable&_sop=15
とりあえず使い勝手のよさそうな30cmと50cmのものを買ってみた．届くまで時間がかかるけどこの安さは正義．とはいえ品質に問題がないかはわからないので届いたらしっかり検証しよう．
