cloudpackエバンジェリストの吉田真吾（@yoshidashingo）です。

先週もたくさんのAWS関連の話題がインターネットを駆け巡りました。まさに「ネットは広大だわ」。

SFの世界におけるコンピューターのアーキテクチャはいわゆる「マザーコンピューター」という"ホストを中心とした"世界観と、"ネットワークを中心にした"「分散システム」が混在して存在することになっていることが多いですが、今後、センサーネットワークが膨大に広がり、クラウドコンピューティングによって計算能力を分散させることを考えると、かなりネットワーク型が主体になり、もしマザーのような表面上一つに見える意思が存在するとしても、その構成要素は基本的に分散環境となり、物理的にどこかに定着したものではないのではないかなとかそんなことを考えました。

映画『攻殻機動隊新劇場版』は昨日6/20(土)から全国ロードショー中です。

それでは今週も行ってみましょう。

AWS公式

1. AWS Lambda が Java をサポート

今までホストできるコードはnode.jsのみだったLambdaがJavaをサポート
JARファイルに固めてruntimeにJavaを指定してzipアップロード(JARもzipだしね)
これと合わせてLambdaアプリケーションに割り当てられるメモリ容量も50%アップして1.5GBに増量。
出典

aws.typepad.com qiita.com dev.classmethod.jp

2. Amazon EMR で Apache Spark の自動セットアップをサポート

EMR起動時にSparkの追加セットアップが選択できるようになった
Sparkは従来のMap-Reduce処理で課題であったストレージのI/O処理をインメモリで抽象化して扱えるため、データを再帰処理するときなどに高いパフォーマンスで実行できるフレームワーク。qiitaのサンプル処理ではトータルで3倍程度高いパフォーマンスであったことが報告されている。
参考
- http://blogs.aws.amazon.com/bigdata/post/Tx21LOP0UQ2ZA9N/Large-Scale-Machine-Learning-with-Spark-on-Amazon-EMR

aws.typepad.com qiita.com

3. Amazon CloudFront が Default TTL と Max TTL をサポート

今までの Minimum TTLに加えて、Default TTLとMax TTLをサポート（コンソール、APIともに）
Behaivior単位での指定が可能なので、Behaviorの設定で.htmlならこの値、.pngならこの値、という指定が可能
3つの値(Min, Max, Default)を全て同一にすることで、オリジン側のCache-Control Headerを完全に上書きさせることもできます。 と記載されているので、オリジンのCache-Controlヘッダがある場合でもDefault TTL、Max TTLが設定されていれば優先されるという挙動と読み取れる。

docs.aws.amazon.com

ちなみにオリジンのCache-ControlヘッダとMinimum TTLとの関係は以下のとおり

aws.typepad.com

そのおさらい記事はこれ

dev.classmethod.jp

実際に「オリジンのCache-Controlヘッダがある場合でもDefault TTL、Max TTLが設定されていれば優先される（ExpiresヘッダとCache-Controlヘッダが付与されていることを確認）」してる記事はこれ

dev.classmethod.jp

ということでキャッシュのTTLはCloudFrontを使う場合はCloudFront側で制御するほうが扱いやすいと感じます。

4. T2.Largeインスタンス！

mediumに比べてvCPU数は「2」で同じだが、メモリは2倍の8GiBであるLargeインスタンスが登場
値段はmediumの2倍
東京リージョンのオンデマンドLinux料金は以下

	vCPU	メモリ（GiB）	インスタンスストレージ（GB）	Linux/UNIX 料金
t2.micro	1	1	EBS のみ	$0.020 /h
t2.small	1	2	EBS のみ	$0.040 /h
t2.medium	2	4	EBS のみ	$0.080 /h
t2.large	2	8	EBS のみ	$0.160 /h

aws.typepad.com

5. Amazon RDS の PIOPSストレージ、gp2ストレージが6TBまでサポート

RDS for Oracle, MySQL, PostgreSQL は SSD系ストレージの最大容量として 6TB までサポート（従来3TB）、RDS for SQL Server は 4TB までサポート（従来1TB）
gp2のバースト上限は3000IOPSのまま
io1(PIOPS)の指定可能IOPSのratioも従来のまま3〜10のままだが、IOPSの上限が30000なので、3TB以上だと上限比率は下がっていくことになる。

Amazon RDS increases maximum database storage size up to 6TB when using Provisioned IOPS and General Purpose (SSD) storage

6. Auto Scaling グループにロードバランサーをアタッチやデタッチできるようになった

先週のJeff Barrの記事の翻訳版

aws.typepad.com

関連記事： dev.classmethod.jp

7. プライバシーとデータセキュリティ

aws.typepad.com

8. クラウドコンピューティングにおけるサーバの利用率と環境

aws.typepad.com

9. Marketing and Commerce という新しいAPNコンピテンシーがはじまった

New APN Competency – Marketing and Commerce | AWS News Blog

10. CloudTrail による操作ログ監視

aws.typepad.com

11. AWSでのBlue/Green Deployment方法

medium.com

12. IAMのウェビナー資料

aws.typepad.com

13. 見逃してないか要チェック、最近のAWS Securityブログの記事まとめ

http://blogs.aws.amazon.com/security/post/Tx11CQNPLHQSRED/In-Case-You-Missed-These-Recent-AWS-Security-Blog-Posts

AWS関連

14. AWS芸人のAWSロボがちまたで増殖中

JAWS-UG神戸で開催されたハンズオンでAWSロボを参加者ごとに制作

AWS ロボを作ろう JAWSUG Kobe from 崇之清水

www.slideshare.net

15. 突如盛り上がってきた re:dash 界隈

先週もお伝えした re:dash が今週も盛り上がってきた様子
re:dashはpython製のデータビジュアライゼーションツール
- Redash helps you make sense of your data
まだ簡易的である印象はあるが、指定したデータソースに接続して、クエリを用いて取得したデータの可視化が可能

https://hiroakis.com/blog/2015/06/17/bigquery-mysql-postgresql-redshift-mongodbのダッシュボードとしてredashが良さそう/ dev.classmethod.jp qiita.com

16. クックパッドさんでの Cognito を使ったモバイルプッシュ基盤

CognitoのIdentity Poolを用いてAndroidの匿名認証を行い、取得したGCMトークンとSNSエンドポイントをDynamoDBに登録
プッシュ通知したいときにDynamoDBからデータを取得して、SNSのトピックへサブスクライブ
1トピックあたり1000万までサブスクライブ可能なので、大規模に使えそう。

techlife.cookpad.com

17. Amazon Machine Learning を用いた天気予報

気象庁のデータとAmazon MLを用いて、対応しているアルゴリズムごとに「二項分類(0か1か)」「多項分類(ABCのどれに近いか)」「回帰分析(どんな値になるか)」を行ってみた結果を公開しています。
まとめ：Amazon Machine Learningを理解するために3つの方法で天気予測をしてみた（まとめ編） – ナレコムAWSレシピ | AIに強い情報サイト

18. AWSスポットインスタンスの真髄

ドリコムさんで利用されている実績からまとめ（ドリコムさん、アネックスの17Fらしい※ADSJは19F）
オンデマンドと比べて起動が少し遅い（入札処理のため）、入札可能価格はオンデマンドの10倍まで、メタデータを5秒間隔でチェックするとTerminate通知に早く気づけて後処理（ログのflush&転送など）が逃げ切れるかもしれない（Auto Scalingの場合はLifecycle Hookを使う）
その他知見がたくさんあるので一度読んだほうがいいです。

AWSスポットインスタンスの真髄 from 外道父

www.slideshare.net

19. Empire という ECS を使った Docker PaaS

自称「12 Factor Apps準拠」な、ECS で自前PaaSを構築できるOSS

engineering.remind.com medium.com

20. Dockerプライベートリポジトリ(Docker Registry)構築レシピ

dev.classmethod.jp

21. Amazon Redshift便利ツール『amazon-redshift-utils』の便利SQLスクリプト紹介(AdminScripts編)

awslabsリポジトリにあるRedshift関連の便利スクリプトの紹介

dev.classmethod.jp

22. Mesospere DCOS on AWS

dev.classmethod.jp

23. はじめてKinesisを使ってみるときに

qiita.com

24. Netflix製自動テストツール NTS

出典： NTS: Real-time Streaming for Test Automation | by Netflix Technology Blog | Netflix TechBlog

25. AWS Lambda using CloudFormation

dev.classmethod.jp

26. AWSの特定OS最新AMIを追いかけるためのワンライナー

qiita.com

27. AWS上のOracleのサポートについて

BYOL=OracleのことはOracleへ、AWSのことはAWSサポートへ。ライセンス込み=AWSサポートへ。
アップグレードの権利はライセンスに含まれる。
PSR適用は単純に可能だが、メジャーバージョンを上げる場合はデータの移動作業が必要となる。

dev.classmethod.jp

28. Netflix のインスタンスパフォーマンス分析方法

Monitorama 2015 Netflix Instance Analysis from Brendan Gregg

www.slideshare.net

その他

29. ちまたの CI SaaS/OSS 25選

SideCIの中の人によるまとめ、CIの範囲は「ビルド→テスト→デプロイ」をカバーしているもの。
CircleCI, TravisCI, Wercker といった有名どころ以外にも雨後の筍のようにたくさんのサービスやOSSが存在する。
個人的には CirclCI だけで今のところ足りているのですが、各SaaSやOSSで課題領域とそれに対する解決アプローチが違うのがこの分野の特徴だと思うので、適材適所というか、利用シーンや構成要素、解決したい課題によって適したサービスを使い分けられるようにつまみ食いは色々としておきたいところです。

sideci.hatenablog.com