先週のAWS関連ブログ 〜6/14(日)

cloudpackエバンジェリストの吉田真吾@yoshidashingo)です。

週一でこうやって世の中の動向をブログで三行コメントつけながら書いてくことを続けるだけでも、広く浅くではありますがだいぶ見通しがいいと思っている今日この頃です。

AWS公式

1. AWS Summit Tokyo 2015 開催レポート

  • キーノートや各セッションのビデオ、スライド資料がまとめられて公開しています。

aws.amazon.com

2. Amazon Redshift - より高速で、最も費用効果が高い新インスタンス

  • DW1を置き換える新しいDS2(Dense storage)インスタンスがローンチし、新旧合わせて3インスタンスファミリーに対応
  • 費用的にDW1とDS2は同じだが、性能的にCPUもメモリも2倍、ネットワークI/O帯域もほぼ倍なので、乗り換えないともったいないお化けが出るレベル
  • リザーブドインスタンスもEC2と同様で(以前の重度利用のみに統一)、前払いなし/一部前払い/すべて前払いから選択する形になります。前払いなしはあまり旨味がないので、1年間の一部前払い/すべて前払いくらいから始めるとよいでしょう。

aws.typepad.com

3. VPC Flow Logs - トラフィックフローの収集、閲覧

  • VPC内のトラフィックを保存できる新機能「VPC Flow Logs」がローンチした。東京リージョンでもすでに使える。
  • VPC単位に機能の有効化ができ、CloudWatch Logsに、約10分間隔で収集・保存がされる。
  • CW Logs画面での閲覧になるので、とても簡素な見た目になる。もう少しひねった見方が必要なら別途考える必要あり。

aws.typepad.com

4. 新しいM4インスタンス (ボーナス:M3とC4の値下げ)

  • M3を置き換える新しいM4.(large|xlarge|2xlarge|4xlarge|10xlarge)インスタンスファミリーがローンチした。東京でも使える。
  • Intel Xeon E5-2676 v3 が載っている。
  • M3やC4を5%値下げした。

aws.typepad.com

5. CloudFormationが ECS, Data Pipeline, Lambda, IAM managed policies に対応

AWS CloudFormation supports Amazon EC2 Container Service, AWS Data Pipeline, AWS Lambda, and IAM managed policies

6. Amazon Elastic MapReduceにおけるIAMロール必須化/AWS Data Pipelineでの注意事項

  • 6/30(UTC)の深夜以降、IAMロールを付与せずにEMRクラスタを起動することができなくなる。
  • すでに起動してるクラスタは影響受けないが、IAMロールに対応していないAMIは起動できなくなるので、クラスタ内のインスタンス増加ができなくなる。
  • Data PipelineでDynamoDBのコピーなど、アクティビティの中身でEMRを利用しているものも、同様にロールを使ってないとエラーになる模様。

aws.typepad.com

7. Auto Scaling Groups に ELBをアタッチしたりデタッチする方法

  • 新機能ではないが、カスタマーからのフィードバックでこういうことができるようになったという例
  • Auto Scaling Groups にELBを複数アタッチしたり、逆にデタッチしたりして「Blue-greenデプロイ」などに利用することが可能。

Attach and Detach Elastic Load Balancers from Auto Scaling Groups | AWS News Blog

8. Amazon MLとRedshiftで二項分類モデルを作る方法

  • Redshiftに分類前のデータをCOPYする→MLでデータロケーションにRedshiftを指定する→ターゲットのカラム(フィールド)を指定する→分類されるのを待つ

http://blogs.aws.amazon.com/bigdata/post/TxGVITXN9DT5V6/Building-a-Binary-Classification-Model-with-Amazon-Machine-Learning-and-Amazon-R

9. CircleCI と AWS CodeDeploy を組み合わせてCIのワークフローを回す方法

  • GitHubをCircleCIを連携する→対象のリポジトリをCircleCIに登録する→リポジトリからデプロイする方法としてCodeDeployを指定する→CodeDeployにこのリポジトリを利用する新規アプリケーションを作成する

Leveraging CircleCI and AWS CodeDeploy for Continuous Integration Workflows | AWS Partner Network (APN) Blog

10. AWS初心者向けWebinar 失敗例を成功に変える AWSアンチパターンのご紹介

  • AWSを使ううえで起こしがちな代表的な失敗例が集約されているので、全エンジニア振り返りのために必見。
  • どうしてもアンチパターンを採用する場合は、制約について十分理解してから利用すること。

www.slideshare.net

11. CognitoとLambdaを使ってモバイルの不正監査

http://mobile.awsblog.com/post/TxH3SWPR48HGAO/Using-Amazon-Cognito-and-AWS-Lambda-to-Detect-Cheating

AWS関連

12. VPC Flow LogsをElasticsearch + Kibana4で可視化する

  • VPC Flow Logsをセットアップする
  • ElasticsearchをEC2にセットアップして、SDK for Goで定期的にログデータを「CloudWatch Logs」からかっぱぐ
  • Kibanaもセットアップして、ESの中のデータをいろいろ可視化する

http://dev.classmethod.jp/cloud/aws/vpc-flow-logs-visualized-kibana4/

13. Mesosphereがベータを脱して一般公開へ、無料利用もありだが当面AWS上のみ

  • Dockerのクラスタをシンプルに管理できると言われているMesosphereがAWS上で公式に稼働サポート。
  • Mesosphere の Datacenter Operating System (DCOS) がAWS上で一般利用が開始。

jp.techcrunch.com mesosphere.com

14. DynamoDB資料まとめ

Amazon DynamoDBに関する資料まとめ

その他

15. 玉川さん7億円調達

  • SORACOMはB2B2CのIoTプラットフォームサービス。秋くらいにローンチするのでまだ全容は明かされてないが、プログラマブル(API)で従量課金のサービス。
  • 現在8人のチームで多様なメンバーで構成されている。
  • 給料がシリコンバレー並みに高く、優秀なメンバーを揃えて戦う。

jp.techcrunch.com

16. Quipper の DevOps のお仕事と技術的課題

  • 自社の仕事や技術的課題を外に発信すると、エンジニアに興味を持ってもらいやすいと思う

hakobera.hatenablog.com

17. 日経電子版アプリ内製開発の舞台裏

speakerdeck.com

18. Presto in Treasure Data

  • Prestoは完全なSQLに対応しててHiveQLより使いやすい。
  • Treasure Dataでは分散SQLクエリエンジン「Presto」をPostgreSQL+S3/RiakCSでできたストレージにかぶせて使っている。
  • Presto coordinator+Presto workerのクラスタをBlue-greenデプロイしたり、負荷テストしたり、DataDogで監視したりしている。

www.slideshare.net