2018/05/03

Xamarin.Formsで画像を表示する

Xamarin.Formsで画像を表示する方法はググるとたくさん出てきますが、
なぜか自分の環境だと上手く表示されません。
https://qiita.com/suzu-king/items/a0fe98e7b371e13e49b5
http://oxamarin.com/control-image/
ちなみに自分の環境は下記です。
  • Windows10 64bit
  • Visual Studio Community 2017
  • Xamarin.Forms(UWP + Android + iOS)
  • Prism Template Packでひな形を作成
画像が表示されなかったり、"System.ArgumentNullException: 'Value cannot be null.'とエラーが出てしまいます。(おそらく画像へのPATHが当たっていないと思うのですが、なかなか解決できません。)

よって、ちょっと違う方法で画像を表示させることができたのでその方法を書きます。
まずはXamlのコードを張ります。


    
        
Prism Templateをベースとしているので、余計なコードも入っていますが、重要なのはImageタグでSourceをImgにバインディングしていることだけです。
 次はViewModelのコードです。
namespace ShowImage.ViewModels
{
    public class MainPageViewModel : ViewModelBase
    {
        private ImageSource img;
        public ImageSource Img
        {
            get { return img; }
            set { SetProperty(ref img, value); }
        }

        public MainPageViewModel(INavigationService navigationService) 
            : base (navigationService)
        {
            Title = "Main Page";
            Img = ImageSource.FromFile("lena.png");
            
        }
    }
}
重要な点は、ImageSource.FromFileを使用している点です。他の記事ではFromResourceを使用しているものが多いですが、Resourceとしてではなく、ただのファイルとして指定します。
Prismを用いているので、ImgはSetProertyで変更通知を行っています。

次に画像ファイルをプロジェクトに登録します。
ここで1つ目のポイントはForms用の画像ファイルについて
  • ビルドアクションは"コンテンツ"(なしでもいいと思います)
  • 出力ディレクトリにコピーは"新しい場合はコピーする”

2つ目のポイントはAndroid, iOS, UWPのプロジェクトに画像ファイルを追加するときには、Formsに追加した画像ファイルを"リンクとして追加"することです。

これで各プロジェクトに画像ファイルが登録されますが、実体はFormsに登録してある1つのみにすることができます。
このようにすることでFormsに登録してある画像1つを変更すればすべてのPlatformにおいて変更されます。

初めの方で紹介したURLのやり方がもしできるのであればそれの方がシンプルでよいと思いますが、もしできない場合はこちらの方法も試してもらえればと思います。

参考にしたサイト

http://matatabi-ux.hateblo.jp/entry/2015/05/18/120000

2018/04/11

Deep Learningのハリーポッター組分け帽子をLINE Botにしてみた

先日、Deep Learningを使ってハリーポッターの組分け帽子を作りました。

作ったはいいものの、利用するには環境を構築して、試さなければいけません。。。
ですので、作ったソフト"Sorting Deep Hat"をLINE Botにしてみました!

QRコードは下記です。
LINE Botで公開しているので、誰でも利用することができるのですが、
LINE Botのプランはフリーのものを使用しているため、送信数に限度があります。
よって、そのうち利用できなくなる可能性があります。
(MAXになってLINE Botが使えなくなったら、Twitter Botにでもしようかな。)

送信された画像は送り返すために一時ファイルとして保存していますが、
プログラム終了時に消えるようになっています。

また、デバッグ等を行っている時には正常に動作しない場合もありますので、その場合はご了承ください。

LINE Botの使い方

Botに画像を送信すると、すぐに結果を文字と画像で送信してくれるというものです。
文字を送信した場合には同じ文字をオウム返しで送り直してきます。
もしも、画像内に顔が見つからない場合には、「もっと大きく写る写真を使う」よう言われます。
顔認識にはOpenCVを用いていて、模様等をご認識することがよくあるので、顔が大きく写っている画像でないと認識しないよう厳し目にパラメータを設定しています。
大まかに画像の縦1/3程度は顔になるくらい顔が大きく写っているものを送信してください。

HerokuでWebサーバーを立てて、運用していますが、その中のプログラムはGithubで公開しています。

2018/04/03

Heroku, PythonでLine Botを作る

ここでは送信したメッセージをオウム返しするLine Botを作ります。
基本的に他のブログの引用ですが、体系的にまとめました。

Lineアカウント作成

Botを作るためには、下記の2アカウントを作る必要があります。
  • Line Business
  • Messasing API
ここは下記URLを参考に
https://qiita.com/yoshizaki_kkgk/items/bd4277d3943200beab26

Herokuアカウント作成

下記URLを参考に
https://j-hack.gitbooks.io/deploy-meteor-app-to-heroku/content/step1.html

Line Bot作成

基本的には下記URLと同じです。

しかし、この説明ではHeroku Gitのみを使用していますが、
ここではGithubとHerokuを連携させて使用します。

Githubレポジトリ作成・実装

まずは、Githubで連携したいレポジトリを新規作成します。
そのレポジトリ内に上記URLの「実装」章を参考にして、ファイルの追加・編集を行い、レポジトリにpushしてください。
tree
.
├── LICENSE
├── Procfile
├── README.md
├── main.py
└── requirements.txt

次にブラウザでHerokuのアカウントにログインをして、"Create new app"等を押して、アプリケーションを作成します。
設定画面の"Deploy"タブ内のDevelopment methodでGithubを選び、先ほど作成したレポジトリを設定します。

初期設定・デプロイ

まずは初期設定を行います。下記コマンドでHerokuにログインします。
参考にしているサイトではheroku createでアプリケーションを作成していますが、先ほどブラウザ上で作成しましたので不要です。
heroku login
次に同じようにLINEのアカウント設定を環境変数に追加する必要があるのですが、、、
  • LINE_CHANNEL_SECRET
  • LINE_CHANNEL_ACCESS_TOKEN
参考にしたサイトと同じようにconfig:setのコマンドを打ってもエラーになってしまいます。。。
これは、heroku createをCLIで行っていないため、config:setコマンドがどのHerokuアプリケーションを対象にしているのかわからないためだと思います。
よって、下記のように変更して実行します。
heroku config:set LINE_CHANNEL_SECRET="チャンネルシークレット" -app アプリケーション名
heroku config:set LINE_CHANNEL_ACCESS_TOKEN="アクセストークン" -app アプリケーション名
その後、ブラウザ上で手動でデプロイします。

最後に、同じようにLine DevelopperサイトのChannel基本設定画面で、Webhook URLを登録します。
ここで注意するのは、URLは下記のように最後に"callback"がつきます。
(自分はこれを追加しないで長い間悩んでしまいました。。。)
https://アプリケーション名.herokuapp.com/callback
これで自分のスマホでBotを友達にして、メッセージを投げるとオウム返しします。

2018/03/31

Bing Image Search APIでネット上の画像を集める

Deep Learningで画像を学習させるために、大量の画像が必要ですが、
それを1つ1つ手で保存していくととても時間がかかります。

ですので、ある言葉に関連のある(ググったら出てくる)画像を自動的に保存するプログラムを使います。

Bringだったり、GoogleだったりでAPIが提供されているのですが、
下記のURLを参考にして、"Bing Image Search API"を使うことにしました。
https://qiita.com/ysdyt/items/565a0bf3228e12a2c503

ちなみに、ユーザー登録してから1ヶ月程度はある上限まで無料で使えますが、
それ以降は有料です。
ですが、それほど高価な金額になるわけでもないですので、これを使っていきます。

Microsoft Azureのユーザー登録

Bring Image Search APIはMicrosoft Azureの一部の機能になっていますので、ユーザー登録が必要です。

登録は下記URLを参考に。ちなみにコードについてはAPIのVerが古いので、別のサイトを参考にしました。
https://qiita.com/ysdyt/items/49e99416079546b65dfc

使ってみる

下記URLを見て、コードをすべてコピペしたら動きました。
まずはやりたいことはこれでできます。
https://qiita.com/hirosemi/items/086f8375fd0f3fa5237b

Deep Learningでハリーポッターの組分け帽子を作りました

ホグワーツには"グリフィンドール"、"レイブンクロー"、"ハッフルパフ"、"スリザリン"という4つの寮があり、映画の作品を見てみると、顔だったり雰囲気だったりになんとなく違いがあると思います。
誰しも「自分はどの寮に入るのかな??」と思ったことがありますよね!

よって、任意の画像から顔を判別し、その人が4つの寮のどれに入るのかをDeep Learningで判断するソフト"Sorting Deep Hat"を作りました!

(調べたところ、全く同じ動機から、全く同じようなソフトを作った人がいらっしゃいますし、そちらのほうがわかりやすいかもしれません。このSorting Deep Hatもこの記事の影響を大きく受けています。)
https://qiita.com/tokkuman/items/aec887ff918fc164567e

ソースはGithubに公開しています。
https://github.com/naonaorange/sorting_deep_hat

動作環境

Deep Learingライブラリとしては、"Keras"を使っています。
  • Ubuntu 16.04 64bit
  • Python 3.6 64bit
  • Jupyter 4.4
  • Tensorflow 1.5
  • Keras 2.1.5
  • OpenCV 3.4

画像集め

映画内で各寮に入っているキャラクターの顔画像を集めます。
学習画像としては各寮100枚ずつの計400枚。
評価画像としては各寮20枚ずつの計80枚を準備しました。

データ集めはDeep Learingにおいて、一番重要で一番大変な作業なので、
他でも参考できるように別記事にします。

下の記事で簡単に説明しました。
「Bing Image Search APIでネット上の画像を集める」
http://kowaimononantenai.blogspot.jp/2018/03/bing-image-search-api.html


モデル作成

CNNで実装していきます。
最終的に全結合層で出力数を4にしています。
Deep Learingについて、始めたばかりなので、パラメータ等もっとよいものがあるのかもしれません。
from keras.models import Sequential
from keras.layers import Dense, Dropout, Flatten, Activation
from keras.layers import Conv2D, MaxPooling2D, ZeroPadding2D
from keras import optimizers
from keras.preprocessing.image import ImageDataGenerator
from keras.callbacks import EarlyStopping, CSVLogger
from keras import backend as K
import matplotlib.pyplot as plt
import numpy as np 


img_width = 100
img_height = 100
train_data_dir = 'data/train'
valid_data_dir = 'data/validation'

datagen = ImageDataGenerator(rescale = 1./255)

train_generator = datagen.flow_from_directory(directory=train_data_dir,
                                              target_size=(img_width,img_height),
                                              classes=['Glyffindor','Hufflpuff','Ravenclaw','Slytherin'],
                                              batch_size=16)

validation_generator = datagen.flow_from_directory(directory=valid_data_dir,
                                                   target_size=(img_width,img_height),
                                                   classes=['Glyffindor','Hufflpuff','Ravenclaw','Slytherin'],
                                                   batch_size=16)

model =Sequential()

model.add(Conv2D(32,(3,3), input_shape=(img_width, img_height, 3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2,2)))

model.add(Conv2D(32,(3,3), input_shape=(img_width, img_height, 3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2,2)))

model.add(Conv2D(64,(3,3), input_shape=(img_width, img_height, 3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2,2)))

model.add(Flatten())
model.add(Dense(64))
model.add(Activation('relu'))
model.add(Dropout(0.5))
model.add(Dense(4))
model.add(Activation('softmax'))

model.summary()

model.compile(loss='categorical_crossentropy',optimizer='rmsprop',metrics=['accuracy'])

es = EarlyStopping(monitor='val_loss', patience=2)
training = model.fit_generator(generator=train_generator,
                               steps_per_epoch=400 // 16,
                               epochs=20,
                               validation_data=validation_generator,
                               validation_steps=80//16,
                               callbacks=[es])

model.save('models/sorting_deep_hat.h5')


精度確認

作ったモデルの精度を確認していきます。
最終的には、学習画像については約85%。評価画像については約73%の精度となっています。
まずはこの程度でしょうか。
引き続き精度向上のため変更していきます。

動作確認

任意の画像からOpenCVで顔画像を切り取り、作成したモデルで寮を判別します。
その結果に応じて、顔に矩形と寮名を描画します。
from keras.models import load_model
import cv2
import matplotlib.pyplot as plt
import numpy as np

model = load_model('models/sorting_deep_hat.h5')

image = cv2.imread('data/sample/harrypotter.jpg')

gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
face_cascade = cv2.CascadeClassifier('haarcascade_frontalface_default.xml')
faces = face_cascade.detectMultiScale(gray, 1.1, 3)

for (x, y, w, h) in faces:
    face_image = image[y:y+h, x:x+w]
    face_image = cv2.resize(face_image, (100, 100))
    
    b,g,r = cv2.split(image)
    i = cv2.merge([r,g,b])
    i = cv2.resize(i,(100, 100))
    i = np.array([i / 255.])
    
    house = np.argmax(model.predict(i))
    if house == 0:
        house_name = 'Glyffindor'
        color = (0, 0, 255)
    elif house == 1:
        house_name = 'Hufflpuff'
        color = (0, 255, 255)
    elif house == 2:
        house_name = 'Ravenclaw'
        color = (255, 0, 0)
    elif house == 3:
        house_name = 'Slytherin'
        color = (0, 255, 0) 
    
    cv2.rectangle(image, (x, y), (x + w, y + h), color, 2)
    cv2.putText(image, house_name, (x, y), cv2.FONT_HERSHEY_PLAIN, 2, color, 4)
    
plt.imshow(cv2.cvtColor(image, cv2.COLOR_BGR2RGB))
plt.show()

実際にハリーポッターの画像を入力してみると、こんな感じになりました。
きちんとハリーはグリフィンドールに判断されています。
マルフォイはスリザリン。

いろんな人を何枚か試しましたが、確かに間違えるときはありますが、それなりに判断しています。

いろんな人で試してみる

イチローはグリフィンドール。
確かに、勇気とか騎士道精神とかありそうですね。
トランプ大統領はレイブンクロー。
確かに、頭はいいからね!(スリザリンだと思ったのに。。。)
ジョブズはスリザリン。
ちょっと意外ですが、確かに「巧妙さ」とかはあるかなと、自伝を読んで感じました。


ガッキーはグリフィンドール。まあ、どの寮でもかわいいからOK!

参考サイト


2018/03/27

pyenvとpyenv-virtualenvのインストール

同一PCで複数のPythonのバージョンを使い分ける必要ができてしまったので、調べてみるとpyenvというものがあるそうです。
また、pyenv-virtualenvも使うと幸せになれるそうです。

簡単に説明すると、以下。
  • pyenv
同一PC内に複数のバージョンのPythonの共存させるソフト。
2系と3系とかのレベルではなく、3.5.2と3.6.4を共存させたりできる。
  • pyenv-virtualenv
pyenvを使いやすくするためのソフト。
virtualenvとは別物(かなりややこしい。ネットでは一緒のものとして誤って説明されていたりするのでググるときには要注意!!)
pyenvだけでも使えるが、pyenv-virtualenvを使うことで何が嬉しいかというと。。。

(以下、URLからの引用)
https://qiita.com/maskedw/items/aaa2fd7abfd493cf2820
pyenv-virtualenvはpyenvのプラグインです。pyenvでは複数のPythonバージョンをインストールできますが、各Pythonバージョンのモジュールを管理するsite-packagesというディレクトリは共通です。pyenv-virtualenvを使用すると同じPythonバージョンで別々のsite-packagesを管理することができます。
開発中のアプリーケーションで使用しているモジュールのバージョンを全て固定したり、必要最小限だけのモジュールをインストールしたりすることによって、開発環境と実行環境の違いを最小限にすることができます。



pyenvのインストール

基本的にGithubのREADMEと同じです。
https://github.com/pyenv/pyenv
gitから持ってきます(pipでインストールできればいいのに。。。)
git clone https://github.com/pyenv/pyenv.git ~/.pyenv
次に、設定をしていきます。
echo 'export PYENV_ROOT="$HOME/.pyenv"' >> ~/.bashrc
echo 'export PATH="$PYENV_ROOT/bin:$PATH"' >> ~/.bashrc
echo -e 'if command -v pyenv 1>/dev/null 2>&1; then\n  eval "$(pyenv init -)"\nfi' >> ~/.bashrc
pyenvコマンドを実行して使えるかどうかを確認してください。

pyenv-virtualenvのインストール

こちらもGithubの説明と同様です。
https://github.com/pyenv/pyenv-virtualenv
git clone https://github.com/pyenv/pyenv-virtualenv.git ~/.pyenv/plugins/pyenv-virtualenv
echo 'eval "$(pyenv virtualenv-init -)"' >> ~/.bash_profile

使い方

#Pythonのコンパイルに必要なライブラリ軍をまずはインストール
sudo apt-get install git gcc make openssl libssl-dev libbz2-dev libreadline-dev libsqlite3-dev

#pyenvでインストールできるバージョンの確認
pyenv install --list
#使用するバージョンのPythonをコンパイル
pyenv install 3.6.4

#仮想環境を作成
#ENV_NAMEは仮想環境の名前を入れます
pyenv virtualenv 3.6.4 ENV_NAME

#現在ある仮想環境を確認
pyenv virtualenvs

#仮想環境の有効化、無効化
pyenv activate ENV_NAME
pyenv deactivate

#仮想環境の削除
pyenv uninstall ENV_NAME

参考にしたサイト

https://qiita.com/akito1986/items/be5dcd1a502aaf22010b

2018/03/23

Jupyter Notebookを起動するとAttributeError: type object 'IOLoop' has no attribute 'initialized'とエラーが出る

Jupyterをインストール後、Jupyter Notebookを起動すると、下記のようなエラーが出てしまいます。

AttributeError: type object 'IOLoop' has no attribute 'initialized'

GitHubにはissueがすでに上がっているそうで、
https://github.com/ipython/ipython/issues/8374

下記コマンドを実行して、tornadoというソフトをダウングレードすることで、一時的に回避できるそうです。
pip3 uninstall tornado
pip3 install tornado=4.5.3

2018/03/21

Tensorflowが"Illegal instruction (コアダンプ)"で動かない

Tensorflowをインストールして実行しようとしたところ、エラーで動かなくなってしまいました。
Python 3.5.2 (default, Nov 23 2017, 16:37:01) 
[GCC 5.4.0 20160609] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import tensorflow as tf
Illegal instruction (コアダンプ)
環境は下記です。
  • Tensorflow 1.6
  • Python 3.5
原因はよくわかっていませんが、一応TensorflowのVerを1.5にすることでエラーが出なくなりました。
(Ver 1.5.1では同様のエラーが出てしまいました。)
とりあえずはこれでやっていきます。
pip uninstall tensorflow tensorflow-tensorboard
pip install tensorflow==1.5

2018/01/26

Galaxy S7 Edge SC-02H をAndroid6にダウングレード

Galaxy S7 Edge SC-02HをAndroid6にダウングレードしてみました。

ROMを書き込むにはOdinを使用するので、ダウンロードします。
現時点での最新3.12.3をとってきました。
https://samsungodin.com/

次にSC-02H用Android6のROMをダウンロードし、展開しておきます。
下記URLのStock ODIN firmwareを落とします。
https://forum.xda-developers.com/s7-edge/samsung-galaxy-s7-edge-snapdragon-roms-kernels-recoveries--other-development/rom-kernel-twrp-snapdragon-sm-g935d-t3540431

次はGalaxy S7 Edgeの設定です。
  1. 開発者モード内のOEMロック解除をON
  2. 一度電源を切り、電源ボタン+音量下ボタン+ホームボタンを同時長押ししてDownloadモードで起動
  3. 注意事項を読み、音量上ボタンで承諾
  4. USBでPCとつなぐ
  5. Galaxy S7 Edgeが認識されたか(ドライバは入ったか)確認
次に、Odinを起動します。
ログ画面に"Added."と出力されていれば、スマホが認識されています。

Odinの画面の右側に"BL"、"AP"、"CP"、"CSC"の入力欄があります。そこにダウンロードしたROMファイルの先頭の名前が対応するように選択していきます。
(APなどの容量の大きいファイルを選択した際には、認識までに時間がかかるので、待ちます。)

次に"Start"を押します。

これでOKです。
しばらく待つと、スマホが自動的に再起動して、初期設定画面になります。

参考にしたサイト
http://reviewdays.com/archives/56765

2017/11/25

pybluezを利用すると"untimeError: Channel or attrib not ready"とエラーになる

pybluezをインストールしたので、サンプルなどを動作させようとしたのですが、、、
https://github.com/karulis/pybluez/tree/master/examples/ble
"read_name.py"を実行したのですが、下記のエラーで動作しません。
Connecting... Traceback (most recent call last):
  File "read_name.py", line 41, in 
    Reader("C7:7A:98:EA:17:17")
  File "read_name.py", line 16, in __init__
    self.connect()
  File "read_name.py", line 23, in connect
    self.requester.connect(True)
RuntimeError: Channel or attrib not ready
エラー名でぐぐってみると、gattlibが古いことが原因かもしれないと書いてあるので、
https://github.com/ev3dev/ev3dev/issues/775
pybluez, pygattlibともにソースからインストールしましたが、現状変わりません。
https://github.com/karulis/pybluez
https://bitbucket.org/OscarAcena/pygattlib
(というか、pygattlibは2年更新があまり無いですね。。。)

解決したら、また記事にする予定ですが、一応pybluez以外も試してみます。。。