クラウドインフラ構築記

GCPUG しょうなん 一周年記念パーティとあり、GCP、GAEの2パネルディスカッションで進行しました。

スイートとかN.Gの話とかもありましたので、ここに書けないことも。

• 東京リージョンの話

asia-east-1だと、時間により速度にむれがあるが、東京リージョンは安定している。

東京リージョンのWindows Serverインスタンスでデータコピーが速い

• BigQuery

某データウェア製品と比べても、BigQueryはお安くできてしまう。

Bigqueryは、viewとか作成できますが、極力正規化すべき。（来年から価格体系が変わるらしい）

Auditログで、テーブルをフルスキャンする「SELECT *」しているユーザを特定することも。

• Google Dataflow

GAE → Task Queue →プリエンプティブ インスタンス起動してやっていた処理も、Google Dataflow (Apache Beam)でかなりスマートにできる。 サポート言語は、Java、pythonだけど。

• GAE

近年のサーバレスアーキテクチャーの流れで、PaaSが再注目。

プロジェクト作成時しかGAEのリージョン指定できないので、海外から東京リージョン(asia-northeast-1)に移行する際、プロジェクト作成から、IAM、Service Accountとかデータストア移行とかが発生する

App Engine Flexible Environment(FE)  １度の処理は保証されるTask Queueが使えるGCE

一周年記念パーティとのこともあり、料理も豪華でした。

次回は、12/4予定とのこと。BigQueryとData StudioのVisualizationらしい。

CloudSQL インスタンスに接続するのに、通常の3306/tcpを行う方法とは別に、CloudSQL Proxyを使う方法があります。

CloudSQL Proxyを使わない場合、Authorized networksに、GCEインスタンスの外部向けIPアドレス（グローバルＩＰ）を追加する必要があります。追加する必要がないのが、CloudSQL Proxyを使用した接続方法になります。

続きを読む →

9/6 　GCP(Google Cloud Platform)のグローバルイベント GCP Net World Tour in Tokyoが開催され、参加してきました。

続きを読む →

Cloud SQL Second Editionの特徴から

• On Demand activation policy サポートされていない。Always On/Off
• IPv6 未サポート
• Storage Engineは、InnoDB
• GTID replication
• MySQL 5.6/5.7　デフォルトは5.7
• ディスク自動拡張

続きを読む →

9/1に、OSSユーザの勉強会 TensorFlow編でGoogle 中井様(@enakai00)から、jupyterでTensorFlowの話がありましたので、jupyter　notebookをUbuntu 14.04に、jupyter notebook & TensorFlowをインストールしてみました。

続きを読む →

getSerialPortOutputでもboot時のメッセージは確認はできますが、この方法だとread-onlyで、アクションを実行させることはできない。

シリアルコンソール接続てものが。

シリアルポート接続の有効化は以下コマンドで完了。

gcloud compute instances add-metadata [INSTANCE_NAME]  \
    --metadata=serial-port-enable=1

シリアルポート接続を有効にすると、Enable connecting to serail portsが有効化されます。Web UIでは有効にできなそう。

firewall ruleで22/tcpを閉じた状態でもコンソールのログインプロンプトが出ます。

https://cloud.google.com/compute/docs/instances/interacting-with-serial-console

注意書きにも書かれていますが、SSH鍵、IPアドレス、GCPプロジェクト名がわかっているとどこからでも接続できてしまう。IPベースのアクセス制限に対応してないとのこと。

昨日GCPUG信州の機械学習がテーマの勉強会に参加してきました。

Google Cloud Platform概要

• Googleのデータセンターの電力管理も、GoogleDeepMindにて、40%の削減
• Googleのサーバーはリソース状況により、どのサービスに使われるか変わる
• Googleのデータセンターの使用効率も80%
• 1Pbpsのネットワーク
• Region とZone。現在5つ。日本リージョンも近々？
• AppEngineの起動は速い。Go言語だと40s位
• インスタンス使用時間により、自動割引。同じマシンタイプを合算して割り引きしてくれる
• Preemtible VMs Borgのプライオリティの低いサービスを利用
• GCEのインスタンス課金は10分単位。10～20分程度の利用時間だと、1H課金のクラウドに比べ、単純に計算するだけでも、コストは1/2

Speech API

• 文脈認識率は8割。Cortana、WindowsAPIはせいぜい3～4割※単語レベルは高いが。
• US方言も。ただ、日本語の方言は対応していない
• しゃべり言葉はあまりよくない？
• Cloud Natural language API

Speech API、βリリースにあたり、長い時間の音声ファイルの認識に使えるAsyncRecognizeの新機能が。gRPCプロトコルを使用している

TensorFlow

• PythonAPI、C++ APIが提供されているが、Python APIを使うのがよさそう
• 並列分散処理を簡単に実装できる。
• アルゴリズムを実装する道具、位置づけ
• APIも豊富 https://www.tensorflow.org/versions/r0.9/api_docs/python/index.html
• TensorFlow独自のプロセッサーを作成していた（TPU）。AlphaGoも使用されていた。
• ただ、GCEには、GPUインスタンスがない。GPUはCloud Machine Learningでは使えるとのこと。現在Limit Preview

CloudVisionAPIをIoTに

• プライバシー保護が重要。人の顔にマスク（モザイク）を掛ける
• ＡＰＩベースなので、リソースが限られたRaspberryPiとかに有益

Docker

• コンテナの粒度はアプリ単位
• SwarmがDocker Engineに統合されたので、kubernatesとの使い分けはどうするか。今は過渡期

GCEをTensorFlow計算エンジン

• パーセプトロン
• バックプロパゲーション
• 畳み込みCNN。画像認識に使われている
• 過去にもネオコグニトロンと同等の機能があったが、ネットワークの性能、ＣＰＵパワーとかが当時に比べて向上したことで、DeepLearningが進化
• gcloud config-ssh ssh configurationに、インスタンスのaliasを登録してくれる。ssh <instance>.<region>.<project>でアクセスが可能に。Ansibleで複数インスタンスで学習自動化するのに役に立つ

CloudVisionAPI、Speech API、バックでは、DeepLearning技術は使われているので、Googleの基盤を少しわかった気がします。

待望の　Google Cloud Platform (GCP)にも、L4ベースInternal Load Balancingが登場。

Private IPアドレスのインスタンスでLoad Balancingも可能に。

まだ、使えないので、ドキュメントからわかる範囲で書いています。αサービスが使えるようになれば後日レポートします。

ドキュメントはこちらから。　https://cloud.google.com/compute/docs/load-balancing/internal/

主な特徴としては。

• リージョン内のインスタンスにアクセスが可能。リージョン跨ぎでインスタンスをロードバランシングできない模様
• ヘルスチェック ※133.211.0.0/22からの通信はFirewallなり許可しておく必要がる

もうPrivateなインスタンスのロードバランスの可用性に心配する必要がない

ユースケース

• 3-Tier Web サービス（アプリケーションレイヤー、バックエンドデータベース）
• データベースインスタンス他Internalなサービスのロードバランシング

Google Cloud Internal Load Balancingは、Andromeda network virtualization stack上に構築された lightweight load-balancing、インスタンスベースではなく、ソフトウェアベースのロードバランシング

気になる点

• Load Balancing用ＩＰの割り当て。手動とネットワーク内でＩＰを自動割り当てが可能？

gcloud alpha compute forwarding-rules create NAME --address ADDRESS --load-balancing-scheme internal 

• Load Balancing用に割り当てられるPrivate IPはスケールアウトにより、MAX IPアドレスを割り当てる？

–capacity-scaler,–max-rate,–max-rate,-per-instanceのオプションはinternal load balacingでは使えません。

alphaバージョンでは以下制限があるようです。

• 500インスタンスへのアクセスに制限
• next-hop IP
• VPNを通じた通信は行えない
• オンプレからInternal Load Balancingへの通信は未サポート

三層構造のアーキテクチャー、イントラネット向けWEBインフラなどの構築に使えると思われます。

Google Cloud Functionsで、Cloud Vision APIを使ってみました。Cloud Functionsを使う利点は、credentialsをアプリに埋め込む必要がない点（内部でAWSだとIAM Role的にcredentialsを取得してくれる。）

まず、ディレクトリの作成。

 mkdir visiontest; cd visiontest;

次に、ライブラリのインストール。node versionは、v0.12.7を使用。

 npm install --save gcloud 

node.jsのvision APIは以下を参照

https://googlecloudplatform.github.io/gcloud-node/#/docs/v0.36.0/vision?method=detectText

Cloud functionsのコードサンプルは以下になります。

var gcloud = require('gcloud')({
projectId: 'xxxxxxxxxx'
});

exports.visiontest = function (context, data){
var vision = gcloud.vision();
if ( data != null ){
var gcs = gcloud.storage();
var myBucket = gcs.bucket('vision-load-image');
var file = myBucket.file(data.name);

vision.detectText(file, function(err, text, apiResponse) {
console.log('text ', text);
data = null;

});
}
context.success();
}

functionｓをデプロイ。

gcloud alpha functions deploy visiontest --bucket deploy-bucket --trigger-gs-uri vision-load-image

以前デジカメで撮影した画像をGCSバケットにアップロード。

gsutil cp IMAG0105.jpg gs://vision-load-image/

Stackdriver loggingに、解析結果が表示されることがわかります。おもけに、精度も高い。コマンドでアップロードする場合は、1度のみ実行されるのだが、Cyberduckで画像ファイルをドラッグドロップすると、なぜうか2回functionsが実行される。

GCSに登録された画像を画像解析結果をBigQueryに蓄積していくようなことが可能になります。

安価なＯＣＲシステムが構築できる！？チュートリアルも公開されています。

https://cloud.google.com/functions/docs/tutorials/ocr

今はまだnodeのAPIが公開されていないSpeech APIもよくよくは使えるようになるのかなあ。（GCSに音声ファイルをアップロードすると、音声ファイルを解析して結果を返すとか）

2016/9/22 Update

packages.jsonをデプロイするフォルダに置いておけば、npm install –save gloud等不要です。0.29.0からVision APIのfunctionが使えるようです。

{
"name": "visiontest",
"version": "1.0.0",
"main": "index.js",
"dependencies": {
"gcloud": "^0.37.0",
"node-uuid": "^1.4.7"
}
}