クラウドインフラ構築記

Instance Templates、Instance Group(AWSだとAutoScaling)を使う場合、以前はheath checkに失敗していも、インスタンスのre-createが行えなかったが、（いつからはわかりませんが）heath checkがNGの場合、インスタンスを作り直してくれるAutoHealingに対応しています。GCE(Google Compute Engine)の場合、0.5sでパケロスなしで別の仮想サーバーにマイグレーションと組み合わせることで可用性を高めることも可能。

揮発性ディスクであるLocalSSDをインスタンスに対して8diskまで付けることも可能。LocalSSDは、ディスク容量375GBかつ高いディスクIOを特徴をもっている。f2-microでもLocalSSDは使用可能。

Google の画像認識APIであるGoogle Cloud Visionが使えるようになりましたので、少しいじってみました。

Google Cloud Visonは、物体検知、有害コンテンツ検知、ランドマーク検知、OCR、顔検知など画像の情報を抜き出すことが可能です。REST APIでGoogleサイドと通信していると想定される。

Vision用のService Accountを作成し、credentialsの設定をするしておく必要があります。

export GOOGLE_APPLICATION_CREDENTIALS=deeplearning-environment-78bacd3d4b5b.json

Google APIにアクセスするのに、API discovery documentをベースとしたservice objectを作成する。GAリリースしたものは自動でfetchされるのだが、Vision APIは、alphaリリースなので、下記よりダウンロードする必要があります。

https://cloud.google.com/vision/docs/vision_discovery_v1alpha1.json

def get_vision_service():
 credentials = GoogleCredentials.get_application_default()
 with open(API_DISCOVERY_FILE, 'r') as f:
 doc = f.read()

 return discovery.build_from_document(
 doc, credentials=credentials, http=httplib2.Http())

以下ランドマーク認識の例です。以下で画像データをbase64にエンコードし、Vison APIに渡しています。

 with open(photo_file, 'rb') as image:
 image_content = image.read()
 batch_request = [{
 'image': {
 'content': base64.b64encode(image_content)
 },
 'features': [{
 'type': 'LANDMARK_DETECTION',
 'maxResults': 4,
 }]
 }]

 service = get_vision_service()
 request = service.images().annotate(body={
 'requests': batch_request,
 })
 response = request.execute()

過去デジカメで撮影した写真を解析すると大阪城(Osaka Castle)として認識されています。位置情報もばっしり。

 {u'responses': [{u'landmarkAnnotations': [{u'locations': [{u'latLng': {u'latitude': 34.686777, u'longitude': 135.525799}}], u'score': 0.613115, u'mid': u'/m/024b_g', u'boundingPoly': {u'vertices': [{u'y': 955, u'x': 1545}, {u'y': 955, u'x': 2411}, {u'y': 1346, u'x': 2411}, {u'y': 1346, u'x': 1545}]}, u'description': u'Osaka Castle'}]}]}

TEXT_DETECTIONを使うと、ちらし画像から文字情報を取り出す(OCR)することもできます。

顔認識は、認識したポリゴン点の座標(fdBoundingPoly)を返してくれます。ただ、画像の中のすべての顔を認識してくれない、顔認識に失敗するケースがあるようです。

インスタンスの自動復旧機能として、Auto recoveryが用意されています。一時的な障害、インスタンスストアがアタッチしている、１日3度のリカバリのリトライに失敗する際、Auto recoveryを諦めるという運用上致命的な仕様があります。諦めたインスタンスの復旧は手動でstop/startを行えること。Autorecoveryを復旧手段に頼るのはやめるのがいいかもしれません。

上記仕様については、トラブルシューティングで記載されております。(トラブルシューティングは英語版ドキュメントのみです。）

http://docs.aws.amazon.com/AWSEC2/latest/UserGuide/TroubleshootingInstanceRecovery.html

この一方、GCEは稼働中のVMを0.5sでパケロスなしで別の仮想サーバーに移動してくれる。(http://qiita.com/kazunori279/items/41520689337a644a87b4 にGoogleの中の人が詳しく書いています。）

本ブログ稼働中のGCEインスタンスは100day連続稼働中です。instance template差し替え後止まっていないじゃないかと。

ツイートに以下がありましたので、

GCEインスタンス間でscpすると普通に1.8Gbpsくらい出て快適だなー #gcpja

— Kazunori Sato (@kazunori_279) 2016, 1月 23

iperf3で実際GCE間スループットを計測してみました。Preemptible VMでも制限されることなく、2Gbit/secでます。

同じリージョン間

0.00-10.00  sec  2.33 GBytes  2.00 Gbits/sec  491             sender

異なるリージョン間

.00-10.00  sec   131 MBytes   110 Mbits/sec   59             sender

2Gbits/secのスループットが出るのは、同一リージョンのGCE間になります。
異なるリージョンのGCEでも同じNetworkに属しているなら、Private IPで通信が可能。GCPの場合、リージョンを意識しないシステム構成も可能です。

Google Dataflowが、GAになりましたので、Google Dataflowを改めて。

cloudservice accountとか、Compute Engine Service Accountとか、新規プロジェクト作成時のみしか自動追加されない。既存プロジェクトに追加する方法が知りたいところ。Service Accountが登録されているなら、credentailsは不要のようだ。

• maven 3.3.9
• Java8 1.8.0_66

$git clone https://github.com/GoogleCloudPlatform/DataflowJavaSDK-examples.git

WordCountのサンプルを実行。実行過程で、VM インスタンスが起動します。

$ ../apache-maven-3.3.9/bin/mvn compile exec:java -Dexec.mainClass=com.google.cloud.dataflow.examples.WordCount &nbsp;-Dexec.args="--runner=BlockingDataflowPipelineRunner --project=<project name> --stagingLocation=gs://<GCS bucket>/staging/"

dataflowのコードテンプレートを生成は以下で行えます。

mvn archetype:generate \
 -DarchetypeArtifactId=google-cloud-dataflow-java-archetypes-starter \
 -DarchetypeGroupId=com.google.cloud.dataflo

Cloud Pub/Sub(PubSubIO)からデータを取得、処理を行い、BigQuery IO(BigQueryIO)でGoogle BigQueryに書き込むのもできてしまいます。

google dataflow は、現在のところ、preemptible VMに対応していません。preemptible VMはDataflowのようなジョブの使い方にはマッチすると思われるので今後のサポートに期待したい。

マシンタイプは、DataflowPipelineOptionsでディスクサイズ、Workerのサイズ、マシンタイプのカスタマイズは可能です。

オプションについては、https://cloud.google.com/dataflow/pipelines/specifying-exec-params

eclipse用のDataflow pluginも用意されているので、eclipse上からDataflowアプリケーションを実行させることも可能です。ローカル実行も。

https://cloud.google.com/dataflow/getting-started-eclipse?hl=ja

先週12/17 のJAWS-UGアーキテクチャー専門支部の中でインタラクティブなWEBドキュメントを作成できるSwaggerからAWS APIGateway にインポートするツールを試してみました。

Amazon Swagger Importerは下記で取得します。

git clone https://github.com/awslabs/aws-apigateway-swagger-importer.git

• Apache Maven 3.3.9

mvn assembly:assembly

コマンド自体はこれで実行が可能ですが、credentialsの設定が必要です。

aws-api-import.cmd --create --region ap-northeast-1 path/to/swagger.json

credentialsですが、role_arn、source_profile プロパティは使用することはできません。つまり、STS経由でアクセスすることはできません。

Swaggerでエクスポートしたものをインポートして、同じ状態で復元できました。

Swaggerはswagger-editor等ツールも充実しているので、SwaggerでAPIを設計して、API Gatewayにインポートする使い方もできると思われる。