クラウドインフラ構築記

AWS Lambdaを使った、分散負荷試験ツールgoadについて。Serverless Confのツイートだったと思うが、goadについてあったので、少し使ってみました。

https://github.com/goadapp/goad#usage

https://github.com/goadapp/goad/releases　からgoad-osx-x86-64.zipをダウンロード

Lambda workersを作成する関係上、AWSのcredentialsを設定しておく必要がある。
Lambda、SQS、IAM Roleが作成され、Cloudwatch logsにログが記録されます。

Usageページにも下記のように書かれています。

AWS credentials
Goad will read your credentials from ~/.aws/credentials or from the AWS_ACCESS_KEY_ID and AWS_SECRET_ACCESS_KEY environment variables (more info).

多重度(-c)も変更できます。header、GET/POST等のhttp methodも設定できたりします。

a$ ./goad -n 100 -c 5 https://www.hogehogehoge.biz
Regional results

Region: ap-northeast-1
TotReqs TotBytes AvgTime AvgReq/s (post)unzip
36 2.6 MB 1.574s 0.64 46 kB/s
Slowest Fastest Timeouts TotErrors
2.627s 1.348s 0 0
Region: eu-west-1
TotReqs TotBytes AvgTime AvgReq/s (post)unzip
33 2.4 MB 1.546s 0.65 47 kB/s
Slowest Fastest Timeouts TotErrors
2.595s 1.353s 0 0
Region: us-east-1
TotReqs TotBytes AvgTime AvgReq/s (post)unzip
33 2.4 MB 1.515s 0.66 48 kB/s
Slowest Fastest Timeouts TotErrors
1.771s 1.370s 0 0

Overall

TotReqs TotBytes AvgTime AvgReq/s (post)unzip
102 7.4 MB 1.545s 1.94 140 kB/s
Slowest Fastest Timeouts TotErrors
2.627s 1.348s 0 0
HTTPStatus Requests
200 102

Google Cloud Functionsのローカルエミュレータとして昨日のGCPUG shonanで話がありました。

ただ、ローカルエミュレータはNode.js v6.11.1必要なので、MBAで動かすにはnodeをインストール（アップグレード）が必要になります。

https://github.com/GoogleCloudPlatform/cloud-functions-emulator/

 brew update
brew upgrade node
npm install -g npm

local emualtorは、下記でインストールできます。

 npm install -g @google-cloud/functions-emulator

v8.7のnode.jsが入ったので、warningがでましたが、functionsのデプロイ(deploy)、呼び出し(call) は問題ありませんでした。

 Warning: You're using Node.js v8.7.0 but Google Cloud Functions only supports v6.11.1

昨日も話されていましたが、Cloud Functionsのデプロイ調子悪いときとか、デバッグに有益かと思われます。

なお、CloudShellだと、functionsのローカルエミュレータはプリインストールされています。

公式には、node.jsのみサポートされていますが、cloud-function-pythonというpython scriptをCloud FunctionsにデプロイするCLIツールがあるので少し試してみました。（cloud-function-pythonはpureなpython sciriptをnode.jsに変換するツールので、直接cloud functionsにはデプロイは行えません。）

ローカルなmac環境をpyenvを利用してpython実行環境を構築しているのだが、通常のpyenv installでインストールされた環境では、py-cloud-fnを実行する際、python-dev、pyton3-devがないようとエラーになってしまう。

 py-cloud-fn -f myfunction.py my-function http 

そこで、pyenv installでshared libraryをサポートしたpythonをインストールする必要があります。

 env PYTHON_CONFIGURE_OPTS="--enable-shared" pyenv install -v 2.7.12

py-cloud-fnでinde.js等がcloudfn/targetフォルダに出力されているので、gcloud beta functions deployをすれば。Cloud Functionsにデプロイすることができます。

※ネイティブなpythonがCloud Functionsにサポートされることを期待したい。

RDSのログをダウンロードするには、REST APIで取得しますが、一日経過したログはローテーションされて削除されます。

長期保存するには、定期的にS3にダウンロードする仕組みが必要。

そのまま使えるLambda functionが下記に公開されていました。

AWS Lambda function to export Amazon RDS MySQL Query Logs to S3

上記は差分更新に対応していない、圧縮対応とか改良してくれるスクリプトが公開されていました。（python 3対応）

https://github.com/om732/rdslogs2s3

Cloudwatch Eventsのスケジュールで定期起動するには、複数RDSのログを環境変数より変数のほうが都合がいいので両者を組み合わせてスクリプトを作成しました。

https://github.com/webse/rdslog_s3

また、ansibleからLambda functionsもデプロイすることができます。

 - hosts: localhost
tasks:
- name: looped creation
lambda:
name: '{{ item.name }}'
state: present
zip_file: '{{ item.zip_file }}'
runtime: 'python3.6'
role: 'arn:aws:iam::xxxxxxxxxxxx:role/role-test-dv-rdslog'
handler: 'rdslog2s3.lambda_handler'
region: ap-northeast-1
with_items:
- name: rdslog2s3-test
zip_file: rdslog2s3.zip

本日（ていうか日付変わっていたので昨日）Cloud Spannerの設計について解説セッションがありました。

酒とゲームとインフラとGCP 第6回　〜早く暑気払いしないと死ぬぞ〜@デジタルハリウッド@御茶ノ水！ 

分散リレーショナルデータベースを使う上での設計のポイントが話された。

Cloud Spanner概要

　MySQLのスケールアウトが手間がかかるが、Spannerはノード追加削除でスケールアウトが自由自在

　リージョンなものの提供

　今後マルチリージョンを提供

　MySQLでないので意識するとよいパフォーマンスがでる

　低ワークロードではパフォーマンスが出ない

PKの使い方によってはデータが分散しない（データが偏る）

　オートインクリメントだと１ノードで入る（データが分散しない）可能性あるのでサポートしていない

　サポートしないのも１理由

　UUIDを使う　※128bitのを使うといい

　PKの選択でノードの偏りがある場合あり

　　日付だと偏るケースがある

インターリーブ

　　インターリーブ＝親子関係

　　関連したデータのロカリテティを管理できる

　　関連したデータはあっちこっちにいくことがなくなる

　　PKはインデックスいらない

　　どこかのSpannerサーバに格納される場合あり

　　セカンダリインデックスは、不要な場合は作成しない、できるだけ使わない

gRPC

　　ｇRPCコネクション　デフォルト4、最大256

       デフォルトの4で十分とのこと

　　負荷試験でもそう変わらない

　　try-errorを繰り返す

   セッション

　　トランザクションを実行できるコンテキスト

　　並列で行われるトランザクションは各自セッションを利用する必要あり

　　セッション数＝スレッド数

　　MAX10,000

    Developer consoleのエラーレート

　　abortしたトランザクションは自動リトライしてくれる

　　例外がでていなければエラーレートは無視していい

　　ノードは分散ストレージのデータを管理している

　　ノードを削除すると管理していたスプリットのオーナが変わる

　　障害時も同

　　（ドキュメントに記載されていないことだが、）２GB per parent record

テーブル分割

    Size-based splits データの容量でテーブル分割

　Load-base splits　負荷によりテーブル分割

  シーケンシャルINSERTだと分割されない

　負荷試験は20-30分j実施

　5分だとノードが十分に活用されていない

　負荷試験はデータベースをドロップしないと、正確な負荷試験ができない場合も

　LSM Treeを使っているとレコード削除だけでは削除されない

　テーブルのクリーンアップは一週間かかる

　TPS

ノード削除できない場合がある。データの容量が多すぎる。5TB Writeして1ノードにしても3ノード必要できないので削除できない

75%CPU超えたら、functionsでノード追加などできる

75%を１ノードの負荷目安

Dailyで取っているのでサポートに問い合わせて別のインスタンスに戻せる

Query Plan cache

  IDを変えると３つのキャッシュが作られるのでParameter Binding

 （ JDBCのPrepareStatementと同じ？）

ノード追加すると若干レイテンシーが落ちるが、しばらくすると回復する

リアルユースケース、実データで負荷試験

ロードツール

年内にもロードツールがでる？Dataflow IO？

現状公式にはDML（ていうかWrite系SQL）にはサポートされていないが、SQLを書くと、Spannerコードにしてくれるツールを開発されたが、後々OSS化もあるとのこと

Spanner用のWirte系SQLをサポートした（制限有りの）JDBCドライバもあるが

ザ・プリンス パークタワー東京で開催中の Google Cloud Next ‘17 in Tokyo に参加しました。

分散データベースCloud Spannerが明日（6/16?)から東京リージョンasia-northeast1で使用可能になることがキーノートで発表されました。

Container Engine 本番環境へのデプロイ

• コンテナだけではないと思うんだが、一貫性であることが必要
• 早急にデプロイを
• Githubリポジトリでkubernates一番活発と言っていたが、最近は、TensorFlowのリポジトリも活発と思う。
• ローリングアップデート（ダウンタイム無し）、過去のバージョンへの戻し（undo）、ロードバック
• コンフィグをエクスポートして、再構成も可
• Build Triggers
  • リポジトリにpushをトリガーにdocker imageも作成、デプロイも
• demoで使ったコード
  • goo.gl/b33IO8
  • Liveness check goo.gl/iboQha

  • Dockerコンテナ goo.gl/48SBjC

  • Bulid Trigger config goo.gl/88ylgC

SORACOMでデバイスとGoogle マシンラーニングの連携で構築するIoTソリューション

• SORACOM Beamで、Cloud IoT Coreに接続。
  • GCPのcredentialsはBeamで管理
  • JSONトークン発行も
  • Cloud IoT Coreにデータ送ってしまえば、後は、Functions、DataflowでBigQueryに蓄積することも。※Cloud ML Engineで機械学習連携も(BQ、Dataflow等はオートスケールなので、処理量に応じてスケールアウト、インもできるのでIoTシステムとして最適と思われる)
• SORACOM FunnelをCloud Pub/Subに接続※新機能

Cloud Platform™ (GCP™)で始める IoT 入門セミナー

BigQueryの先進機能

※NEXT SFの元セッション動画

以前は、スタティックツリー。いまはダイナミックつり－。

Sharedの数を変えることが可能。

ブロードジャストJOINの方が早い

JOINに偏りがあると、クエリ速度が遅くなったり、メモリ不足になる場合も

Limitを指定したり、クエリの分割が重要

カウントもapploximateで。(Hyper LogLog+)

フルサイクルのデータ分析を実現･データ分析基盤を活用したデータサイエンスの実践

※NEXT SFの元セッション動画

GCPは、ほほすべてのサービス（Cloud Pub/Sub、Dataflow、BigQuery他）がオートスケール

スケール状態にかかわらず、全く同じコードを使用可能

ハイパーパラメータチューニングも自動できるCloud ML Engine

仮想マシンでこれらのサービスを作ることもできるが、スケールアウトで問題になる。

様々な分野の事例で解説！クラウドGPUを使ったHPCとリモートデスクトップアプリケーション開発

オンプレミスでGPUを構築するより、クラウドGPUは初期投資なし、構築時間削減が可能

NVIDIA® Tesla® P100 も近々使えるなるとのこと

K80より、8倍速い

将来的には、GPUが使えるゾーン展開も。

Google Datalabにバンドルされていないライブラリはデフォルトの状態では使うことはできない。

バンドルされていないライブラリを使うようにするには

https://cloud.google.com/datalab/docs/how-to/adding-libraries

にも記載されている二通りの方法がある

/content/datalab/.config/startup.sh　に、datalab起動時に、pip installする記載を書き込むか、オリジナルなdocker イメージを作成する方法があります。

前者だと、datalab delete –delete-disk datalab-test とはすると、startup.shの内容は消えてしまう。永続的にするには、オリジナルdocker imageを作成する方法になります。

Dockerfileの作成をまず行います。

 FROM gcr.io/cloud-datalab/datalab:latest

RUN pip install https://storage.googleapis.com/videointelligence-alpha/videointelligence-python.zip

Video Intelligence APIはalpha版ライブラリをインストールする例になります。

dockerイメージのビルド

 docker build -t asia.gcr.io/[project-id]/datalab:1.0 . 

Container Registryにアップロード

 gcloud docker -- push asia.gcr.io/[project-id]/datalab

Datalabインスタンスの作成

 datalab create --image-name asia.gcr.io/[project-id]/datalab:1.0 --disk-size-gb 10 datalab-test 

昨日のGCPUG Shonan https://gcpug-shonan.connpass.com/event/52208/ にて、

Private beta の申請が通って、試した内容を少し話す機会を作っていただきました。

このときのスライド（一部カット版）を公開します。

Private betaとか、Try a demo NOW ( https://cloud.google.com/video-intelligence/#demo ) に書かれていないAPI Response の情報も記載しています。

http://qiita.com/web_se/items/0cf74a808b404da671b7

現在対応していないGoogle Cloud Client Libraryへの対応が待たれるところ。

Committed Use DiscountsがGCPでも使えるようになりましたので、すでに利用できている継続利用割引(Sustained use discount)と比べて、どの位安価か調べてみました。

https://cloud.google.com/compute/docs/instances/signing-up-committed-use-discounts?hl=en_US&_ga=1.230413599.2091612383.1481360112

Standardインスタンスタイプで比較（月単位、単位ドル）

n1-standard-1程度ではCommitted Use Discountsでなくても、いいのでは。

継続割引の段階でも、AWSより安価でしたが、さらに安くなっている。

高スペックになればほど、Committed Use Discountsのメリットが享受できるとみられます。