先週のAWS関連ブログ 10/5(月)〜10/18(日) AWS re:Invent!!

どうも、吉田真吾@yoshidashingo)です。

先々週は AWS re:Invent ウィークでしたが、日本に帰ってきてちゃんとまとめてなかったため、こちらのエントリーでいったんオーバービューをまとめます。今週はAWS公式+αのエントリーのみで。

新サービスや新機能については3つの状態があります。それぞれに記載しておきますので参考にしてください。

  • Available Today:すぐに使える
  • Preview:申請をもって一部のユーザーがトライアル利用可能
  • Coming Soon:予告

AWS公式

こちらも参考にしてみてください。よくまとまってます。

www.slideshare.net

[新サービス]

1. AWS WAF 【Available Today】

  • CloudFrontのディストリビューションに「Webアクセス制御リスト(Web ACL)」と「ルール」を設置してアクセスを制御するマネージドなWAFサービス。
  • 設定する「条件(conditions) / ルWル / web ACL / アクション」について
    • 条件(conditions)
      • 検査対象:リクエストURI, クエリ文字列、HTTPヘッダ、HTTPメソッド
      • 条件:検査する前処理:スペース除外、HTMLタグの簡素化、文字の小文字化、URLデコードなど。あるいは送信元IPアドレスのレンジを使った指定。
    • ルール
      • 条件(conditions)の組み合わせ
    • アクション
      • ルール内の条件すべてに合致した場合に「許可」「拒否」「カウント」何をするか定義する。
    • Web ACL
      • ルールやその順番、デフォルトのアクションなどの定義セット。CFのディストリビューション単位に設定可能。

aws.typepad.com

www.slideshare.net

www.youtube.com

http://dev.classmethod.jp/referencecat/aws-waf/dev.classmethod.jp

2. Amazon QuickSight 【Preview】

  • AWS謹製のBIサービス
  • データソースとしてはAWSもオンプレも対応しており、ビルトインでRedshift, RDS, Amazon Aurora, EMR, DynamoDB, Kinesis, S3,MySQL, Oracle, SQL Server, PostgreSQL, フラットファイルに対応、コネクター経由でSalesforceに対応している。
  • SPICE (Super-fast, Parallel, In-memory Calculation Engine)というエンジンを用いて高速処理を実現しているとのこと。
    • SPICE自体がデータストアを持っており、圧縮したりしてるから速いらしい。このあたりはデータベース仮想化技術っぽい印象。
  • SPICEがSQLライクなインタフェースを提供することで、別BIからの接続もサポートしている。
  • QuickSightでのビジュアライズについてはデータソースを自動検知し、表とフィールドを選択すると自動的にいい感じのグラフやグラフ候補を推奨してくれるとのこと。
  • (キーノートで聞いた範囲では)Publicにパブリッシュ(Share機能)できるため、グラフをパーツとして他のダッシュボードに動的に埋め込んだり、Publicなダッシュボードとして共有することが可能。
  • (キーノートで聞いた範囲では)コラボレーション機能(Feedback機能かな?)もあるため、チャットで共有も可能。
  • Editionが2種類(Standard/Enterprise)でそれぞれ以下
    • Standard
      • $12/ユーザー/月(年間契約で$9)
      • $0.25/GB/月:SPICEストレージ
    • Enterprise
      • $24/ユーザー/月(年間契約で$18)
      • $0.38/GB/月:SPICEストレージ
  • 東京リージョンは2016年以降

aws.typepad.com

  • こちらも合わせてどうぞ

Expanding the Cloud: Introducing Amazon QuickSight | All Things Distributed

3. AWS IoT 【Available Today】

  • IoT向けマネージドプラットフォーム
  • 主要なコンポーネントは「メッセージブローカー」「ルールエンジン」「デバイスシャドウ」「デバイスSDK」「レジストリ」
  • メッセージブローカー (AWS IoT Device Gateway)
    • MQTTとHTTP 1.1をサポートしたメッセージブローカー(Pub/Subサービス)。モノはここにメッセージを投げ込み、バックエンドなどはこれをサブスクライブ(購読)することで、非同期かつN:Nのメッセージ仲介ができる。
  • ルールエンジン (AWS IoT Rules Engine)
    • メッセージを入力として、ルールに基づくアクション(DynamoDB,S3,Lambda,Kinesis Streamなどへの連携など)を行うイベントドリブンなエンジン
  • デバイスシャドウ (AWS IoT Thing Shadow)
    • モノのステータス情報を管理する仕組み
    • 以下のMBL312で説明されていたように、一定の照度以下になったときに自動掃除機に掃除を開始させるというときにも。掃除機の接続ステータスをシャドウが管理しているので、アプリケーションはシャドウに対して命令するだけでOK。掃除機がオンラインになったら、シャドウが確実に命令を到達させてくれるようです。つまり、指示と指示応答が揃うまでExponentialな実装などをアプリで行わなくてもよいということのようです。

aws.typepad.com

4. Amazon Inspector 【Preview】

  • 継続的な(実行間隔の指定が可能な)自動セキュリティアセスメントサービス
  • アセスメント対象のリソースはタグで識別する
  • 実行間隔は、15分/1時間/8時間/12時間/1日ごとに指定可能
  • アセスメントの実行のためにEC2には「Inspector Agent」をインストールして利用し、ネットワークやファイルシステム、プロセスの監視を行う。
  • 収集したデータはルールセットとの比較、分析が行われ、レポートされる。
    • 初期リリースでは以下のルールセットがすでに用意されていて選択可能
      • 一般的な脆弱性や漏洩
      • ネットワークセキュリティベストプラクティス
      • 認証におけるベストプラクティス
      • OSのセキュリティベストプラクティス
      • アプリケーションセキュリティのベストプラクティス
      • PCI DSS 3.0 アセスメント

aws.typepad.com

5. AWS Database Migration Service 【Preview】

  • 少ないダウンタイムでデータベースを移行するサービス
    • 移行中、移行後しばらく(期間設定可能)、ログを移行先に適用し続ける論理レプリケーションが可能なため、ダウンタイムを少なく移行が可能。
  • マネジメントコンソールから設定が可能。
  • データ転送のレイテンシーやスループットのモニタリングが可能。
  • 同一エンジン間も可能だし、異なるエンジン間でも移行が可能。
    • Oracle → Oracle:可能 ※GoldenGate要らないじゃん!
    • Oracle → Aurora:可能 ※Attunity Replicate要らないじゃん!
    • SQL Server → MySQL:可能 ※Asteria Warpやらなんやら要らないじゃん!
  • デスクトップにインストールして利用する AWS Schema Conversion Tool (スキーマ変換ツール)も提供される
    • ソースDBとターゲットDBのスキーマの違いを吸収するETL処理の辞書を作成するツール。
    • 自動的に変換できない部分がマークされて表示される(Database Migration Assessment)ということで、たとえばソースDBにしか存在しない集計関数などが埋まってる場合などにどうターゲットにマッピングするかなどが指定できるということだと想定される。
    • サポートするプラットフォームについては未定に見える。
  • 課金はレプリケーションインスタンス(T2系あるいはC4系)とデータ転送料に応じてかかる(インバウンドが無料は他のサービスと変わらず)

aws.typepad.com

6. AWS Import/Export Snowball 【Available Today】

  • AWS Import/Exportで利用可能なAWS謹製レンタルストレージ(今まではユーザーが購入して管理する媒体のみだった)、一般的に10TB以上のインポートに適して設計
  • 6Gの振動に耐えられる耐久性!1人で持ち運ぶのに十分な軽さ!110ボルトの電源!背面に1つの10Gbネットワーク接続!防水仕様!最大50TB!
  • (エクスポート元で)ローカルネットワークに差し込んだら、固定IPを設定するか、DHCPで取得。コンソールマシン側でSnowballクライアントをインストールしてコマンドを実行することでSnowballを起動する
  • 1ジョブあたり$200(10日分)+配送料。1日超えるごとに$15/日。
  • まずはUS EastとUS Westから。

aws.typepad.com

7. AWS Config Rules 【Preview】

  • AWS Configの拡張機能
  • 特定のリソース(IDなどで判別)、リソースタイプ、リソースタグに対して組み込み済みルールやカスタム定義したルールで評価が可能。
    • ルールはLambda Functionでできている。
  • 評価タイミングはリソースの作成・変更時や、定期的(毎時、毎日など)
  • たとえば
    • すべてのEC2にタグがついているか
    • 本番環境のSGで22番ポートが開いていないか
  • アクションの機能はないようなので、ルール違反を発見した後にどうするかは別途つくり込みを考える必要がありそう。

aws.typepad.com

8. Amazon RDS for MariaDB 【Available Today】

  • RDSに新しいエンジンの選択肢として「MariaDB」が加わった。
    • 当初は10.0.17から提供開始
    • ストレージエンジンについてはMariaDBはXtraDBとAriaがあるが、今回のRDSではデフォルトはInnoDB (DB Parameter Groupsから確認)
  • (Oracle回避の選択肢が増えたという見方も)

aws.typepad.com

9. AWS Mobile Hub 【Available Today】

  • AWSサービスを使って作るモバイルアプリの構築、テスト、モニタリングのプロセスを簡潔にするポータルなサービス。
  • 利用するサービス(CognitoやLambdaなど)を選択してプラットフォーム(iOS,android)を選択するとSDK込みなパッケージがダウンロードされるので、IDEですぐに必要なリソースが利用可能になる。

aws.typepad.com

[既存エンハンス]機能追加など

10. AWS Lambdaアップデート 【Available Today】

  • VPCサポート
    • VPC内のリソースへのLambdaによるアクセスはPublicからのアクセスと区別できなかったが、セキュリティグループにLambda固有の設定ができるようにして、PublicではなくLambdaのみへのポート開放が可能になるとのこと。
  • Pythonファンクション
    • Python 2.7で関数が作成可能に
  • Lambda Functionの実行時間が最大60秒→300秒(5分)に延長
  • Lambda Functionのバージョニング
    • 複数バージョンが別々のARNで保存される。
  • スケジュールファンクション(いわゆるCron機能)

aws.typepad.com

11. EC2にX1インスタンスとT2.nanoインスタンスが登場 【Coming Soon】

  • X1インスタンス
    • 4x Intel® Xeon® E7 プロセッサー (物理) → 100以上のvCPU
    • 最大2TBメモリ
  • T2.nano
    • 1 vCPU
    • 512 MB メモリ

aws.typepad.com

12. EC2 Spot Block 【Available Today】

  • 最大6時間まで指定して入札して落札が決まると「確実に指定時間の利用ができ」、「落札価格が指定時間保証されて利用可能」なスポットインスタンスのオプション。
  • 通常のスポットインスタンスとは別の価格で提供される。
  • 指定時間後は自動的にターミネートされる。
  • 処理がすべて終わらないでターミネートされると完全にはじめからリランしないといけないバッチ処理などがある場合にバランスが取れていてよいかもしれない。

aws.typepad.com

13. EC2 Dedicated Host 【Coming Soon】

  • 物理ホストを固定してEC2を起動することができるオプション
  • 他のホストにマイグレーションされることを制限できるため、物理的なホストにライセンスがひもづく製品の持ち込みなどで永続的な(インスタンス変更などを行っても)利用が可能になる。ハードウェアを再利用するという点が特徴である。
  • 追加料金がいくらかは明かされていない。
  • たとえば1ホストにc3.8xlargeは8つまでホストできるということで、物理的な外枠が想像できて面白い。
  • 似た機能に「EC2 Dedicated Instance」というものがあるが、そちらはホスト自体を占有できるためノイジーネイバー防止(ハイパーバイザーの性能次第という見方はあるが)や物理セキュリティの確保(ハイパーバイザーレベルのアイソレーションでは満足できない場合)に利用するオプションであり、Dedicated Hostとの違いは以下の2点と言え、それぞれ一長一短なので要件に応じて選択すべきと言えるのではないか。
    • 同一ハードウェアに他のユーザーが乗らない=EC2 Dedicated Instance 乗る可能性がある=EC2 Dedicated Host
    • 同一ハードウェアを運用上、またはメンテナンスにおいても変更したくない=EC2 Dedicated Host ハードは変更される可能性がある=EC2 Dedicated Instance

aws.typepad.com

14. Amazon Kinesis Firehose【Available Today】

  • Kinesis Streams (今までのKinesis)とは別に、秒間PutRecord(デフォルト2500)回数の指定/PutRecordBatchが可能なストリームの管理から、投げ込まれたデータをS3やRedshiftに自動的に連携することができるサービス
    • 連携時のバッファ間隔やKMSによる暗号化が指定可能。

aws.typepad.com

  • Kinesis StreamのシャードからいったんLambdaで取り出してFirehoseにまた入れてS3に連携する処理

dev.classmethod.jp

15. Amazon Kinesis Analytics 【Coming Soon】

  • Kinesis Streams などのストリームデータに対してSQLクエリを実行できる機能

16. Amazon API Gatewayが東京リージョンで利用可能に 【Available Today】

  • 表題のとおり

aws.typepad.com

17. Amazon RDS for Auroraが東京リージョンで利用可能に 【Available Today】

  • 表題のとおり

aws.typepad.com

18. Amazon EC2 Container Serviceアップデート 【Coming Soon】

  • Amazon EC2 Container Registry (Amazon ECR)
    • Dockerイメージの保存、管理、配布が可能なリポジトリサービス
    • Shippable、CloudBees、CodeShip、WerckerといったCIと連携可能
  • Amazon EC2 Container Service CLI (ecs-cli)
    • ローカルでのコンテナ作成からクラスタ監視などまでできるコマンドラインツール
    • Docker Composeをサポート
  • ServiceスケジューラにおけるAvailability Zoneバランスのスケジューリング

aws.typepad.com

19. Amazon CloudWatch Dashboards 【Available Today】

  • カスタマイズ可能なメトリックスダッシュボード
    • 複数のメトリクス表示が可能
    • 文字(マークダウン)、画像、ボタン、テーブスなどの追加が可能
    • グラフの時間軸(Duration)やリフレッシュ間隔などの指定も可能
  • Publicな利用はできないので、IAM Roleなどを付与し、スイッチしたりして見るとよさそう。
    • GetMetricStatistics:内容閲覧権限
    • PutMetricData:ダッシュボードの作成・編集権限

aws.typepad.com

20. AWS Key Management Serviceで暗号鍵の削除をサポート 【Available Today】

  • KMSで鍵が削除できるようになった。
    • デフォルトは即時削除ではなく、30日の待機期間が設定されるので、削除のキャンセルも可能である。
  • 当該鍵を誰に許可しているか(パーミッション)の調査を行ったうえで、慎重に利用することが推奨される。

aws.typepad.com