先週のAWS関連ブログ 7/21(火)〜7/26(日)

cloudpackエバンジェリストの吉田真吾（@yoshidashingo）です。

AWS公式

1. Elastic MapReduceリリース4.0.0がアプリケーションのアップデートと共に利用可能に

  • EMRが「S3暗号化」「EMRFSにおける一貫性のある読み取り」「Hive / DynamoDBコネクタを用いたインポート、エクスポート、クエリ」などに対応。
  • EMR上のアプリケーションバージョンもそれぞれ上がった。Hadoop 2.6.0、Hive 1.0、Pig 0.14、Spark 1.4.1。詳細はドキュメント「Differences Introduced in 4.x」参照
  • YARNで動的なパラメータ設定も可能とのこと。「Configure Spark」参照

aws.typepad.com

Amazon EMR

Configure Spark - Amazon EMR

2. CloudWatch 新アクション機能 – EC2インスタンスのリブート

  • CloudWatchのアクション設定に「EC2インスタンスのリブート」が入ったことで、アプリケーション的な原因によるハングなどの状態を素早く復旧させることができる。
  • EC2 Auto Recoveryとともに全台に入れておくことで障害対応の工数を大きく下げることに活用できそう。

aws.typepad.com

3. LinuxインスタンスのSimple ADへの参加 (AWS Directory Service)

  • AWS Directory ServiceのSimple ADに管理範囲のVPC内のLinuxサーバーを参加させて、ユーザー認証管理などを一元化可能。

aws.typepad.com

http://docs.aws.amazon.com/directoryservice/latest/simple-ad/join_linux_instance.htmldocs.aws.amazon.com

4. DynamoDB アップデート – Triggers (Streams + Lambda) + Cross-Region Replication App

  • DynamoDB Streamsがローンチした、テーブルで有効化すると、すべての変更（作成・更新・削除）のストリームデータが作成され、ほぼリアルタイム〜24時間後までシャード内に保存されアクセス可能な状態になる（Kinesisまんまかなと）
  • Lambdaと組み合わせていわゆるトリガー処理と同様のことをさせることができる
  • Beanstalk + ECS で構成するクロスリージョンレプリケーションアプリをCloudFormationで構築可能（これでData Pipeline要らず？）

aws.typepad.com

5. 【和訳】Under the Hood of Amazon EC2 Container Service

  • PaxosベースのKVSとクラスタ管理エンジンを用いて、コンテナを管理している。

aws.typepad.com

6. AWS Black Belt Tech シリーズ 2015 - Amazon API Gateway

  • REST APIについて
  • API GatewayでのAPIの作り方詳細（Lambdaとの組み合わせ方など）

www.slideshare.net

AWS関連

7. Amazon RDSとの比較で学ぶDynamoDB

  • 「ACIDなRDB」と「BASEなNoSQL」の基礎解説としてとてもよいです。

dev.classmethod.jp

8. クラウドがアーキテクチャを変え、 エンジニアの役割も変わる

  • クラウドファーストからクラウドネイティブになる
  • 赤魔道士的なスキルマップだと、クラウドで全体的な価値を増幅しやすい

www.slideshare.net

9. アプリエンジニアからクラウド専用のインフラエンジニアになってみて

  • インフラのコード化、CFつらかったのでkumogata使ってる
  • OS以上の部分はItamae使ってる
  • その他fablicでデプロイしたり、ChatOpsもやってるとのこと

www.slideshare.net

その他

10. とある診断員とSQLインジェクション

  • 脆弱性診断の話としてでなく、何か起きたときにログからトレースしたり、スナップショットからリストアしたりするために基本的な準備（ログやスナップショット取得）はしておきましょうという教訓も感じます。
  • ところでこれLTしたってページ数じゃないような...

www.slideshare.net

11. エンジニアからみた良いプロダクトマネージャとは？

  • つねにユーザーのことを考えた上でプロダクトに信念を持っている人
  • 平凡だけど、実践は大変そう

d.hatena.ne.jp

12. ソフトウェアエンジニアのための「機械学習理論」入門

  • データサイエンス入門から機械学習の各種アルゴリズムなど、圧巻の資料

www.slideshare.net

JTF (July Tech Festa) 2015

togetter.com

13. ベンチャーCTO、AWSエバンジェリストを経て考える、クラウド時代に向き合うエンジニア像のこれから

  • いいアニキをみつけよう
  • CTOになろう

www.slideshare.net

14. Multi Cloud Design Pattern(Beta)

  • 一つのクラウドにこだわらないほうがいい場合もありそう
  • IssueとPRベースで育てていきましょうとのこと

www.slideshare.net

multi-cdp.github.io

15. IoT時代のデバイスクラスタ - Hashicorp consulを用いたIntel Edisonクラスタの構成 -

  • IoTって何だろうという解説から、Wifiメッシュネットワークを構築してBlue-Mixと連携してデータ取得した事例（Wasted energy of TV）
  • TVはついてるがちゃんと見ていない時間の計測に、USBカメラやRaspberry Pi、MQTTでクラウドにデータを投げるゲートウェイなどをWifiメッシュネットワークで構成し、そのノード管理をConsulで行った。
  • ソースコードや動画、構築手順も公開されている

www.slideshare.net

16. フリーでやろうぜ！セキュリティチェック

  • インフラ編として、Nmapでポートスキャン、OpenVASでインフラの脆弱性スキャン
  • Webアプリ編として、OWASP ZAPでWebアプリ診断
  • その他有用なリンクが多数ある

www.slideshare.net