3/15 (土) JAWS DAYS 2014に参加しました。1月からJAWS-UG千葉支部のコアメンバーとなって参加になりました。また、3/16 (日)のJAWS-UG総会にも参加し、2014年JAWS-UGが進むべき方向についての議論にも参加しました。
なお、整理できたものから参加レポートを記載します。なお、内容については、随時更新しておきます。
Amazon Kinesisで広がるクラウドによるリアルタイムデータプロセッシングとその未来
大谷 晋平 & 榎並 利晃 [アマゾンデータサービスジャパン株式会社]
Amazon Kinesisはフルマネージドなリアルタイムデータ処理ができる。いままでは、ストリームタイプはありませんでした。
Kinesisの仕組みは肝になるのは下記2つ
- ストリーム (土管をイメージ)
- シャード (分割した単位)
Kinesisは小さいサイズで最適化している。
Kinesisがすごいと思ったのは、Kinesisに流しているEC2インスタンスが何らかで落ちてしまった場合も、チェックポイント(フラグ)を付けておいて、EC2が再起動して、落ちてしまったところから再開することが可能。
Kinesisを使う場合、Kinesis Client Libraryを使うのがGOOD!Kinesis SDKもあるが、非現実的。
サンプルなども同封されたKinesis Connectorもあります。
クックパッドのデプロイとオートスケール
成田 一生 [クックパッド株式会社]
cookpadでは、500-700 EC2 インスタンス、50 ELB、96 のS3バケットで運用。
cookpadでは、EC2のTag(タグ)を使って、管理している。
- Name タグ サーバーのホスト名
- Role タグ インスタンスの役割
- Role:app
- Status タグ バランサーに追加していいかを定義
- Status : working となっている場合、HA Proxy ( cookpadではELBでなくHA Proxyをロードバランサとして使用しているとのこと)に紐づける
オートスケール Instance-hour(AWSの場合、1時間単位の課金)を最小化するのがコスト的に大事。
ELBは以下理由で使っていない。
- 1分後に反映
- Graceful Terminate問題
- 10から8にAuto-Scallingした際、2インスタンスがTerminateされるのだが、ELBがTerminateされたインスタンスに振り向かれて、エラーになる問題
上記問題があり、HA Proxyを利用している。
cookpadの場合、業務時間内しかデプロイしていけない、デプロイ後1時間は待機というルールがあるので、Auto-Scallingでロックする回数をうまく調整している。
Infrastructure as Codeと組織のドキュメンテーション+Immutable Infrastructureの事例
澤登 亨彦[HiganWorks LLC]
作成準備中
※4月に、「Chef活用ガイド」の書籍が発売される予定。ただし、入門本でなく、書籍に記載されたものをそのまま使えるものではないので注意。Chef入門本は他を参照するのがよい。
プロビジョニング&デプロイ on AWSのキホン
吉羽 龍太郎 [アマゾンデータサービスジャパン株式会社]
- 手順書がメンテナンスされない
- マニュアル作業で間違う。1,2台だったら、問題ないが、10.20台だとミスもある
- 職人芸依存
- リリース失敗→チェックリスト追加→チェック項目が増えていく
AWSでは、故障を前提として設計が要
- SPOF N.G.
- 疎結合コンポーネント
- リブートしてもシステムに影響ない設計
- ELBにあげられるように並列処理、マルチスレッドに対応した設計
監視についても、Auto-Scallingによって、自動で対象から外れる仕組みが必要。
監視サーバーとして、Sensu http://sensuapp.org/ について紹介されていました。
Active Directory on AWS
吉松 龍輝 & 渡邉 源太
アマゾンデータサービスジャパン株式会社
- AWSとオンプレに配置
-
FSMO をどこに配置するかがポイント 環境、ネットワークによって変わる
-
- AWS上のみ配置
- リストアに注意が必要!
-
VPN/DirectConnect 、N/Wレイテンシー、スケジュールにかかる時間
-
サイト間複製 180分
-
サイトを分けた場合は、サイト間複製、複製トポロジが意図したもので作成されているかポイント
グローバルカタログは、Exchange Serverを構築する際必要
DNSについて
-
DC上のDNSのフォワーダーがAWSが提供するDNSを設定する ※SRVレコード
-
DHCP Options Setの利用
- ntp-serverは空欄。時刻同期は、PDCエミュレータがドメインに展開するため。こうしないとkerberos認証に影響が出る恐れがある
リストアについて
-
iスナップショットからリストアを取った場合、USNロールバックになってしまい、すべて再構築する羽目になる恐れ。
- ディレクトリサービス復元モード(DSRM)は、AWSでは使えない。
- ActiveDirectoryのゴミ箱機能は有効にする(デフォルトは無効)
全台破損からのリストア
- バックアップデータから仮DC構築
-
ntdsutil metadata clleanup ゴミ情報をきれいに削除
-
AWS上でDC構築。仮DCからデータ複製
-
FSMOを仮DCからDCに移動
-
仮DCを降格
AWSとIAMの連携
- SAML2.0
- IAM Management ConsoleでRoleをADと同じ名前で作成
- ADのアカウントでManagement Consoleすることが可能になる
CloudFrontで実現するセキュアコンテンツ配信と効果のトラッキング
北迫 清訓 & 今井 雄太
[アマゾンデータサービスジャパン株式会社]
CloudFrontのSigned URLについての話。Signed URLを利用することで、期間指定で公開する等が可能になる。
- HTTPS以外受け付けないものも可能
- 期間を指定したURL
- カスタムポリシー
- ワイルドカード許可コンテンツパス(特定URLすべて使用可)
CloudFrontが実力を発揮するのは、動画配信。
そこで、HLS Live Streaming
- HLSの売りは、WEBサーバーがあれば配信可能
- 元の動画をセグメンターで分割要
- マニフェストファイルの漏洩には気をつける (AWS encryptionを利用しているが暗号が解除される場合あり)
- Cache-controlヘッダを調整。w-maxageを長めにして、大規模配信にも可能
- マニフェストファイルは適時更新が要。Cloudfront Distributionは同一パスで
- プレミアムコンテンツの保護にも利用できる
CloudFrontのレポート機能 ※2/14にリリース
- 地域別アクセス、キャッシュヒット率、トラフィックスルーピットなど
- キャッシュヒット率は今後対応予定
Cloudfrontのログ解析を自前でも解析可能
- S3に保存したCloudfrontのログをS3DistCopyなどでEMRで分析
JAWS DAYSでは、javascript aws sdk + DynamoDBで分析結果をグラフで表示するデモが行われました。
2014年AWSイベントスケジュール | |
5/14-16 Cloud Comuting Expo Tokyo | |
6/18-19 Cloud Days Kyushu | |
6/25-26 Cloud Days Nagoya | |
7/17-18 AWS Summit tokyo | ADSJ主催 |
10/15-17 Cloud Days Tokyo Fall | |
10/30 Cloud Roadshow Sapporo | ADSJ主催 |
11/6 Cloud Roadshow Fukuoka | ADSJ主催 |
11/10-16 re:Invent 2014 | |
11/25 Cloud Roadshow Nagoya | ADSJ主催 |
12/2 Cloud Roadshow Osaka | ADSJ主催 |
Cloud Roadshow は地方版AWS Summitとのこと。Cloud Roadshowは詳細は出ていません。やることは確定。 |