GCP Next World Tour in Tokyoに参加しました。 #GCPNext

2016年9月11日から hiruta

9/6 　GCP(Google Cloud Platform)のグローバルイベント GCP Net World Tour in Tokyoが開催され、参加してきました。

東京リージョンは2016 Q4に開設予定で現在最終テスト中。2016/10-12のどこかてことか

Googleのデータセンターは他のクラウド事業者とは違う。

サーバーレスアーキテクチャーがGCPの多くのサービスで取り入られている

What’s the Best Cloud? Probably GCP https://t.co/l66Gz5L5sw

セキュリティも各種認証を取得済み。2段階認証、データ損失防止、楕円曲線暗号ECC 、デフォルト暗号化

AbemaTVもGCPを基盤として採用。障害とか品質を考慮して選定したとのこと。AbemaTVも東京リージョンには期待している。

Googleの幅広いサービスですでに使われている。RankBrain等に。

Google 会長「5年後には大型IPOの成功は機械学習によるものになる」

株式会社オモロキ　ボケてでのCloud vision Safe Search Annotationを使って、不健全画像投稿の自動検知

Spotifyのイベント処理基盤

Spotifyを現在kafka 0.7で構築されているが、データ量増大で悩まされている

システム再設計で、Cloud dataflows、kafka 0.8等の検討が行われた。

Reliable Persistent Queueの設計が根幹

Cloud Pub/Sub 未配信データを7日間は保持。一度は送信することが保証

PoCで2,000,000 イベント/secの性能が出たとのこと

Scala API for Google Cloud Dataflow ( Apache Beam) https://github.com/spotify/scio

GKEでセキュリティパッチとか開発環境、本番環境の環境差分の解消

Containers 基盤としてlmctfy が公開されたが、使い勝手のいいものではなかった。https://github.com/google/lmctfy

kubernetesの誕生。ギリシャ語で、「操舵手」「統治者」「人工頭脳」という語の語源。

複数のクラウドで動作可能。100% OSS。ベンダーロックインが避けられる。

Github上の開発も活発。上位0.01%。関連プロジェクトで1,200以上のk8sのプロジェクトが動いている。

AbemaTV

[slideshare id=65760479&doc=pdf-160907020657]

Dockerレジストリ、クラスタのスケールが容易、Stackdriver loggingによるログ管理がポイント

Podのスケール設定だけは、現状手動てこと。 kubernetes Horizontail Pod Autoscaling

参加してみて、ビックデータ系だと、Google cloud Platformの優位なことが改めて実感された。

番外編として、bq_sushiと、Google尽くしの１日でした。

クラウドインフラ構築記