先週のAWS関連ブログ 〜3/20(日) - AWS Security Roadshow, Innovation Egg, JAWS-UG福岡

どうも、セクションナイン吉田真吾@yoshidashingo)です。

三連休のんびり過ごしてますでしょうか?

AWS公式

1. Amazon EMR 4.4.0 - Sqoop, HCatalog, Java 8, その他

  • EMRのバージョン4.4.0がリリースし、アプリケーションのサポートバージョンは以下のとおりになった。

f:id:yoshidashingo:20160322042621p:plain

  • このバージョンからSpark executorのdynamic allocationがデフォルトで有効化されており、YARNがリソースを有効活用できるようにexecutorの数を制御できるようになっている。

Configure Spark - Amazon EMR

  • デフォルトのJava実行環境ではJDK 7が利用されるが、configuration objectの環境変数でJAVA_HOMEにJDK 8をしていすることで利用可能になる。ただしHiveはJDK 8と互換性がない。

Configure applications - Amazon EMR

aws.typepad.com

2. 10 Lessons from 10 Years of Amazon Web Services ~ AWS10年に学ぶ10のレッスン

  • Amazon S3のローンチから10周年を迎えたAWSの軌跡を振り返るWerner Vogelsのエントリー
  • 大規模なAWS自体を運用してきた知見から、クラウド時代にシステムを構築・運用するアプローチとして特徴的な違いを読み取ることができる。
    • 進化可能な仕組みを構築する:当初小さく始まったS3はサービス停止せずにシームレスにアーキテクチャ変更を含む大規模なアップデートをこなしてきた。
    • 想定していないことを想定する:予期しないことが起こることを受け入れ、それでもシステム全体がダウンするのではなく、影響範囲を管理(つまり極小化)できる仕組みを設けた。
    • フレームワークでなくプリミティブ:お客さんにとって何がどういう順番で必要になるか知ることは難しいので、機能性をもったコンポーネントとして提供することが大切だった。
    • 自動化がカギ:拡張性を高めるために管理用のAPIを提供し、お客さん側で制御可能にした。
    • APIは永続:APIのデザインは非常に重要であり、正しく設計できるチャンスは一度きり。
    • リソースの使い方を知る:ビジネスの継続性のためにリソースの使われ方を把握し、課金方法を調整した。
    • ゼロからのセキュリティ対策:セキュリティ対策はサービスを企画・設計する初日から考慮される最優先事項。
    • 暗号化は最良の住人:他人が自分のデータを読み取ることができないように、より簡単に使えて強固な暗号化の手段を提供する。
    • ネットワークの重要性:ネットワークでノイジーネイバーによる遅延が起きないように独自にシングルルートの仮想I/Oに対応したNICを実装し、遅延に関して2倍以上、実測で10倍以上の改善を行った。こういった独自の実装もする。
    • イノベーションに制限なし:お客さんには、AWS謹製のサービスだけでなく、パートナーエコシステムも活用し、やりたいことを実現してもらう。

aws.typepad.com

3. AWS Database Migration Service (DMS)が一般公開に!利用可能リージョンも拡大

  • AWS Database Migration ServiceがGAになった。
  • 簡単に継続的なマイグレーション環境が構築できる。

yoshidashingo.hatenablog.com

aws.typepad.com

4. 【アップデート】 AWS IoT が Elasticsearch Service と CloudWatch に連携できるようになりました

  • AWS IoT のルールでが生成したデータを直接、 Amazon Elasticsearch ドメインに渡すことができるようになった。
    • AWS IoT Rule Actionselasticsearch cloudwatchMetric が指定可能
  • JAWS DAYSのSORACOMハンズオンでLambdaでやっていたところのようだけど、手組みすると公式対応されちゃうあるあるだ。

JAWS DAYS 2016 - HackDay / SORACOM Air+AWS IoTでデータ可視化 〜OpenBlocks IoTハンズオン初級編〜 — JAWS DAYS 2016 - HackDay / Beginner 1.0.0 ドキュメント

aws.typepad.com

5. Redshiftアップデート:COPYやVACUUMの機能向上、クラスターリサイズの速度向上等

  • バージョン1.0.1040リリースにおいて新機能や修正が行われる
    • VACUUM時に大半の領域(デフォルト95%。修正可能)がソート済みの場合ソート処理をスキップしてVACUUMにかかる時間を短縮
    • COPY後にVACUUMをしなくても、条件を満たした場合にソート済み領域に格納されるようになる
    • 接続ログテーブル(STL_CONNECTION_LOG)にsslversionとsslcipherという列が追加される

AWS Release Notes

aws.typepad.com

6. Introducing new Amazon S3 Lifecycle Policies

  • マルチパートアップロードがX日未完了なら期限切れ削除できる設定が追加された
  • オブジェクトが最新化されたり削除されたX日後に旧バージョンを削除する設定が追加された

S3 Lifecycle Management Update – Support for Multipart Uploads and Delete Markers | AWS News Blog

7. Amazon Kinesis Firehose announces AWS CloudTrail Support

  • Kinesis FirehoseのAPIコールがCloudTrailに記録されるようになった。

docs.aws.amazon.com

8. Amazon SES Adds Support for Custom MAIL FROM Domains

  • SESのメールのFROMドメインがカスタマイズ可能になった

9. Amazon Lumberyard Beta 1.1 Now Available, Adds Component Entity System, Allegorithmic Substance Integration, FBX Importer, Mobile Support, and More

  • Lumberyardがバージョンアップした。
  • 試したら中国名のユーザーのフルパス問題は治っていた。

10. AWS CloudFormation Supports Amazon GameLift

  • CFnがGameLiftに対応した。

11. AWS Marketplace announces new AWS Marketplace Metering Service

  • まずはTrend Micro, Aspera, Chef, and SoftNASから、ソフトウェアの利用料を集約してモニタリングできるようになった。

12. AWS SDK for C++ - Developer Preview

  • 2015/9からExperimentalだったAWS SDK for C++がDeveloper Previewになった。

AWS Security Roadshow

3/16マンチェスター、3/17エディンバラ、3/23ダブリンでAWS Security Roadshowが開催された

https://aws.amazon.com/events/security-week-2016/

13. The AWS Shared Security Responsibility Model in Practice

  • AWSのセキュリティを理解するうえで最も基本的な、AWSと顧客それぞれの責任境界をあらわす「共有責任モデル」について

www.slideshare.net

14. IAM Best Practices

  • 11のベストプラクティス
    • 0: IAMユーザーを作る
    • 1: 権限は最小限で付与する
    • 2: グループで権限管理する(役割ベースに。IAMユーザー単位ではなく)
    • 3: 条件付きアクセスで権限を絞る
    • 4: CloudTrailでAPIコールのログを取得する
    • 5: 強固なパスワードポリシーを設定する
    • 6: クレデンシャルは定期的にローテートさせる
    • 7: MFAを有効化する
    • 8: アクセス権を共有する場合はIAM rolesを使う(クロスアカウントアクセスやイントラアカウントの代行アクセスやフェデレーション)
    • 9: EC2からリソースへのアクセスもIAM rolesを使う
    • 10: rootアカウントをクレデンシャルを削除する
  • その他、ユースケースに合わせてどちらのソリューションを採用すべきか、それはなぜかというわかりやすい説明

www.slideshare.net

15. Encryption Options on AWS

  • S3やEBS、RDSの暗号化オプションについて。またCloudHSMやVGWでの暗号化内容、その他サービスでの暗号化関連のオプリョンについて

www.slideshare.net

16. Account Separation and Mandatory Access Control

  • もはや一般的になったアカウント分割とその制御について

www.slideshare.net

17. What's (nearly) new

  • 最近のセキュリティ関連のアップデート

www.slideshare.net

18. AWSのオンラインラボ(qwikLABS)が3月末まで無償です

  • 全95ラボが2016年3月末まで無償で利用できる。受けないともったいない!

aws.typepad.com

19. AWS Black Belt Tech Webinar 「AWS Service Catalog」資料公開

  • AWS Service Catalogの使い方

aws.typepad.com

www.slideshare.net

20. AWSクイックスタートリファレンスデプロイ:Microsoft Exchange Server 2013

  • AWS上にExchange Server 2013を構築する方法

aws.typepad.com

AWS関連

Innovation Egg

2016/3/19に大阪で開催されたクラウドイベント

21. Building Scalable Application on the Cloud

  • 特にアプリケーションの実装パターンが実践的でわかりやすい

www.slideshare.net

22. Firebaseを使ったリアルタイム同期アプリケーション開発

  • Google傘下のmBaaS Firebase についての解説
  • メジャーなJSフレームワーク用のマルチプラットフォームなライブラリを提供している

speakerdeck.com

23. What is OWASP 20160319InnovationEGG7th

  • OWASP基礎知識
  • OWASP Top 10、OWASP ZAP、その他要件定義から運用・保守にまで使えるさまざまなツールの紹介

speakerdeck.com

JAWS-UG 福岡「また濃い目にAWSの話をしてみよう」

2016/3/21に福岡で開催されたJAWS-UG福岡

かっぱさんがまとめている。 inokara.hateblo.jp

www.youtube.com

24. 月額10円から作るServerLess Website

  • なんといってもこれはすごい。何がすごいかというとS3でページをホスティングする以外に、以下をサーバーレスで実装している点
    • お問い合わせフォームからS3への書き込みをCognitoで未承認ゲストとして許可(バケットにはCORS設定)
    • その書き込みをトリガーにS3からEvent NotificationでSNSのトピックに投げて、LambdaをInvokeして、SESでメール配信。SNSを挟んであるのであとでここから何かすることも可能。
    • CloudFrontとACMでサイトのHTTPS対応
    • CloudFrontのログをS3にPUTしてEvent Notification→LambdaでElasticsearch+Kibanaで可視化
    • CloudFrontの前にWAFを置く
    • Route 53でCloudFrontが落ちた場合はS3を直接参照するようにフェイルオーバー
    • SESをSendGridに変えるために認証情報をKMSで暗号化して埋め込み、利用時にKMSで復号する
  • うちの会社サイトもさっそく後半部分の対応をしてみようと思いました。

speakerdeck.com

以上