ロボットを作る

子供のころ、映画「STARWARS」 を観てワクワクし、ガンプラにドキドキしていた。時間が経つのも忘れてしまう、そんな時間をもう一度、取り戻すために、Raspberry pi を使って、オヤジがロボット作りに挑戦する!

やり始めてみると、なかなか思い通りに行かない。時間の経つのも忘れて悪戦苦闘中。 「こんなちっちゃな Raspberry Pi で、こんなことができるんだ」を日々実感している今日この頃。

2017年05月

Raspberry Pi3 で Google Assistant SDK に入れてみる。 

Google Assistant SDK

以下を参考にさせていただいた。

Raspberry Pi にGoogle Assistant SDKを搭載して「OK Google」してみる。



downloadした client_secret_XXXX.json ファイル(長いファイル名)をもとに、以下を実行して、assistant_credentials.json ファイルを作る。

$ python -m googlesamples.assistant.auth_helpers --client-secrets /home/pi/client_secret_XXXX.json

$ python -m googlesamples.assistant
を実行時に、

「Actually, there are some basic settings that need your permission first...」

となって動かなかったが、 # これが聞き取れたわけでなく、ググっていたらたどり着いただけ。
Troubleshooting
のページの一番上 Permissions issues に出てきた対処を行って解決した。

以前、Amazon Alexa を同じく Raspi3 に入れてみたが、それに比べて、言葉の認識度合が高い気がする。
単なる英語の発音の悪さだけかもしれないが。


LSTM (Long short-term memory) は、RNN (Recurrent Neural Network) の拡張で、時系列データ (Sequential Data)に対するモデル

lstm.py 

#
#import pdb; pdb.set_trace()

import sys
import numpy as np
import pandas as pd

length_of_sequences = 5

def convert_data(values):
   returns = pd.Series(values).pct_change()
   #returns = pd.DataFrame(values).pct_change()
   ret_index = (1 + returns).cumprod()
   ret_index[0] = 1.0
   return ret_index

def create_train_data(values,samples):
   train_x = []
   train_y = []

   for i in np.arange(0, (len(values) - samples - 1)):
      s = i + samples
      feature = values.iloc[i:s]
      if feature[s - 1] < values[s]:
      #if feature.loc[s - 1] < values.loc[s]:
         train_y.append([1])    # up
      else:
         train_y.append([0])    # down
      train_x.append([[x] for x in feature.values])

   return np.array(train_x),np.array(train_y)

file_name = 'stock_yasukawa.csv'
#adj_end = pd.read_csv(file_name,usecols=[6])
adj_end = pd.read_csv(file_name)
adj_end = adj_end['5']
adj_end = convert_data(adj_end)
#print adj_end

X,Y = create_train_data(adj_end,length_of_sequences)

split_pos = int(len(X) * 0.8)
train_x = X[:split_pos]
train_y = Y[:split_pos]
test_x = X[:split_pos]
test_y = Y[:split_pos]


# keras/tensorflow で、LSTM
from keras.models import Sequential
from keras.layers import Dense, Activation, Dropout
from keras.layers.recurrent import LSTM

hidden_neurons = 128
in_out_neurons = 1

def create_model():
   model = Sequential()
   model.add(LSTM(hidden_neurons,batch_input_shape=(None,length_of_sequences,in_out_n
eurons)))
   model.add(Dropout(0.5))
   model.add(Dense(in_out_neurons))
   model.add(Activation("sigmoid"))

   return model

model = create_model()
model.compile(loss="binary_crossentropy",optimizer="adam",metrics=['accuracy'])
history = model.fit(train_x,train_y,batch_size=10,verbose=1)

# evaluation

score = model.evaluate(test_x,test_y,batch_size=10,verbose=1)
print("score: ",score)

preds = model.predict(test_x)
correct = 0
for i in range(len(preds)):
   p = 0 if preds[i][0] < 0.5 else 1
   t = test_y[i][0]
   if p == t:
      correct += 1

print("correct rate: ",correct/len(preds))




計算できたのだが、期待するような数字にはもちろんならない。世の中そんなに甘くないことを再び確認する。

◆ネタ元
LSTM で株価予測してみる


株価をスクレイピングして、グラフ表示する。 いろいろググって、やっと収まった。

プログラムを2つに分けて

(1)データ取得編
Yahoo financeから「安川電機:6506」の2016/4/1-2017/5/1 の株価をGet


(2)グラフ化編
CSVに落としたデータを成形してグラフ化


(1)データ取得編
stockDataGet.py
最初のSSL 2行は、Yahoo Webでの SSLでつまずいたので入れた。

# -*- coding: utf-8 -*-
import ssl
ssl._create_default_https_context = ssl._create_unverified_context

from bs4 import BeautifulSoup
import urllib2
import time
import numpy as np
import pandas as pd

page_num = 90 #適当に多めのページ数
stock_temp = []

# Code
# 6506.T : yasukawa 

for i in range(page_num):
   url = "https://info.finance.yahoo.co.jp/history/?code=6506.T&sy=2016&sm=4&sd=1&ey=
2017&em=5&ed=1&tm=d&p=" + str(i+1)

   html = urllib2.urlopen(url)
   soup = BeautifulSoup(html,"lxml")

   table = soup.find_all("table",{"class":"boardFin yjSt marB6"})[0]
   stock_extract = [value.get_text() for value in table.find_all("td")]
   stock_temp.extend(stock_extract)

   time.sleep(0.4)

stock_temp = np.array(stock_temp)

stock = stock_temp.reshape(int(len(stock_temp)/7), 7) #取得データは7項目
stock = pd.DataFrame(stock[:,1:8],index=stock[:,0])
#stock = pd.DataFrame(stock[:,1:8],columns=["date","start","high","low","end","volumn
s","adjusted"], index=stock[:,0])

# 取得した株価データのカンマ , を外す作業。ほんとに必要?
for i in range(6):
   stock.ix[:,i] = stock.ix[:,i].astype(str)
   stock.ix[:,i] = stock.ix[:,i].str.replace(",","").astype(float)

# Save to csv file.
stock.to_csv('stock_yasukawa.csv',encoding='UTF-8')



(2)グラフ化編
つぎに、入手した株価データをグラフ化する

stockAnalyse.py 

# -*- coding: utf-8 -*-
 
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import matplotlib.finance as mpf
from matplotlib.dates import date2num

fig = plt.figure()
ax = plt.subplot()

# indexとして使う日付を、matplotlib.finance.candlestick_ohlc関数で使えるようにtype変換する
# 日本語がなければ、pandas.read_csv の parse_dates で変換できたそうだ。
# Japanese date (string) -> Timestamp date
fmt='%Y年%m月%d日'
my_parser=lambda date: pd.datetime.strptime(date,fmt)
df=pd.read_csv('stock_yasukawa.csv',index_col=0,parse_dates=0,date_parser=my_parser)
df=df.sort_index(ascending=True)

# mpf.candlestick_ohlc use "datetime"
xdate = [x.date() for x in df.index]  # Timestamp -> datetime
ohlc = np.vstack((date2num(xdate),df.values.T)).T
mpf.candlestick_ohlc(ax,ohlc,width=0.7,colorup='g',colordown='r')

ax.grid()
ax.set_xlim(df.index[0].date(),df.index[-1].date())  # range of X-axis
fig.autofmt_xdate()

plt.show()


取り敢えずグラフ化できた。

★お世話になったページ
pandasで様々な日付フォーマットを取り扱う
Pythonでローソク足チャートの表示(matplotlib編)


↑このページのトップヘ