どうも、 https://sec9.co.jp の 吉田真吾（@yoshidashingo）です。
コーポレートサイトをオープンしました。
- 静的サイトジェネレーター : Hugo
- ホスト先 : Amazon S3
- DNS : Amazon Route 53
- コンテンツ配信 : Amazon CloudFront
- サーバー証明書 : AWS Certificate Manager
- リポジトリ : GitHub
- 継続デリバリー : CircleCI (デプロイ用)
ということで今週もいってみましょう。
AWS公式
1. Redshiftアップデート：タイムアウトしたクエリーを別キューに転送する新機能queue hoppingの使い方
- WLMでUser groupsやQuery groupsを設定しており、その条件に合致するクエリを投入したが、条件設定していたタイムアウトに到達して破棄された場合でも、WLMの後続の条件に合致するグループがある場合、そのクエリが次のグループに割り当てられ、リランされる機能。
- 後続でタイムアウト時間を延ばし（あるいはT/Oなし）並列度やメモリの割り当てを下げれば、クエリの優先度に合わせたリソース割り当ての制御が可能になる。
- 対象は「リードのクエリ」だけで更新系のクエリやDDLは対象外
2. EMR 4.3.0 - アプリケーションのアップデート + コマンドラインエクスポート
- アプリケーションのアップデート「Spark 1.6.0」「Presto 0.130」「Hadoop 2.7.1」「Ganglia 3.7.2」
- SparkにmaximizeResourceAllocationを設定すると、Apache標準の固定値（1コアあたり2 executorでそれぞれ1GBメモリ）を、ノードに割り当てているメモリを使い切るように自動調整してくれるようになった。
- コンソールから現在のクラスタを作成するCLIコマンド文のエクスポートが可能に。
3. 【New】AWSエンタープライズアクセラレーター - AWSにおけるNIST 800-53向け標準アーキテクチャー
- システムの脅威に対するセキュリティ対策や認証や認定、準拠手順を示した、NISTのSpecial Publication 800-53 がある。
- これに準拠したシステムをAWSでどうやって作るかわかるように、例となるベストプラクティスなシステムが展開できるCloudFormationテンプレートを用意した。
- このテンプレートをAWS Service Catalogに入れておくと便利だよ。
Special Publication 800-53 Revision 4：Security and Privacy Controls for Federal Information Systems and Organizations → http://nvlpubs.nist.gov/nistpubs/SpecialPublications/NIST.SP.800-53r4.pdf
4. Amazon WorkSpacesアップデート – オーディオ入力、高DPIデバイス、登録の保存をサポート
- オーディオ入力に対応したので、クライアントからWorkSpaces上のSkypeのコールに音声入力ができる。
- 高解像度のデバイスに合わせてデスクトップを拡張できるようになった。
- クライアントから接続するときの登録コードを10個まで登録しておけるので、簡単に複数のWorkSpaces間を切り替えることができるようになった。
5. AWS KMSを利用してセンシティブデータを保護する方法
- KMSはPCI DSS対応サービスであり、PCI DSS 3.1 Level 1 アセスメントを完了している。
- クレジットカードの会員番号(PAN:Primary Account Number)を暗号化する方法として「カスタマーデータキー(CDK)を使った暗号化」「カスタマーマスターキー(CMK)を使った暗号化」を紹介している。
- CMKを使った暗号化では、(鍵の管理者ロールの権限で)CMKの作成→(暗号化操作のみ可能なロールで)キーのIDを指定して暗号化→S3にサーバーサイド暗号化して格納。(復号操作のみ可能なロールで)復号する。という使い方ができる。
6. AWS IoT で WebSocket、カスタム キープアライブ インターバルがサポートされ、コンソールが機能強化されました
- AWS IoT Device Gateway が MQTT over WebSockets をサポートしたことで、WebSocketsを使用したリアルタイムなデータのやりとりが可能になった。WebSocketsの認証にCognitoも使える。
- MQTTの個々のコネクションのコネクションタイムアウト時間（Thing→デバイスゲートウェイに一定時間内にデータが送信されなければTCPコネクションの切断を行う）の変更が可能になった。
7. 1月のBlack Belt Webinar資料
www.slideshare.net
www.slideshare.net
http://www.slideshare.net/AmazonWebServicesJapan/aws-black-belt-tech-2016-amazon-route-53www.slideshare.net
www.slideshare.net
8. EMRとCampanileフレームワークで大規模なS3の処理を行う方法
- Campanile frameworkを使って100Gbpsとか1万TPSを超えるS3のコピー処理を行う方法。
- HiveでバケットリストのDiff計算をして、HDFS上のオブジェクトのリストをマルチパートに分割して各ノードにリストを分散してオブジェクトのコピーをさせる（ようだ）
http://blogs.aws.amazon.com/bigdata/post/Tx1XU0OQAZER3MI/Turning-Amazon-EMR-into-a-Massive-Amazon-S3-Processing-Engine-with-Campanile github.com
9. Redshiftのテストコードの実行を自動化する
- CodeCommitにテストコード（SQL）を投入したら各ステージのRedshiftに対して自動テストとして実行させる方法
- Jenkinsで作り込めという話。
- そこCodePipelineのみで自動化できないといけないのではないの（Jenkins立てないといけないし）、とは思った。
https://blogs.aws.amazon.com/bigdata/post/Tx3HHDIXCZFDGTN/Agile-Analytics-with-Amazon-Redshift
AWS関連
10. Scheduled Auto Scalingがマネジメントコンソールから操作可能に
- タイトルのとおり
Scheduled Auto Scaling Now Available in the AWS Management Console dev.classmethod.jp
11. Lambda を利用した分散 Web 負荷テストツール Goad を使ってみた
- Goad を使って「複数リージョンに分散して」「Lambdaをリクエスターとして」Web 負荷テストが可能。
- Lambdaの実行結果はSQSに集約されて結果表示に利用される。（ということは大規模にやりすぎるとSQSへの結果保存が落ちる可能性が高くならないかな？）
- Apache Bench 風に使える。
12. Amazon Mobile Analytics で Custom Dashboard が作れるようになりました
- カスタムイベントを多数使ってる場合に便利なCustom Dashboard機能が追加になった。
13. ApexとLamveryの比較
- 比較軸はたくさんあるが、設定ファイルの書きやすさ（YAML+Jinja2）やKMSとの統合などは明らかにLamveryのほうがよい。
- もっと使われてよいプロダクトだろう。
14. アマゾンが半導体製造 米ネット企業の垂直統合戦略
- アマゾンが1年前に買収したイスラエルの半導体メーカーAnnapurna Labs(アナプルナ・ラボ)の半導体製品を発売した。
- 同社の半導体はホームゲートウェイや無線LANルーター、データ保存装置にすでに使われているらしいが、将来的には「アマゾン謹製のデバイス（KindleやFire TV）」や「AWS」にも利用されるようになるのではないかとのこと。
- 所感：AWSへの適用はだいぶ飛躍した話になるが、当然視野に入れているだろうし、適用するにしてもLambdaやCloudFrontや監査系などのリソースが完全に抽象化されているサービスのCPU、メモリなどになるのではないか。
itpro.nikkeibp.co.jp www.nikkei.com
15. AWS事業の大きさ
- そんなAWS事業、営業利益ベースでは今後EC事業を抜きかねない勢いだ。直近1年(TTM)でECが $28億 に対して、AWSが $18.6億 なので。
- アマゾン全体で言うと、すでに数年前でさえすごく当たり前に使われていたのに、ここ１年でさえフリーキャッシュフローの肥大化がすごい。それにしてもタオバオにはまだ遠く及ばないことから、今後は中国市場をどう攻めるかという感じになるでしょうね。
itpro.nikkeibp.co.jp note.mu urashita.com
16. Amazonのカスタマーサービス経由でアカウント情報が流出したことが判明
- 早急に改善して欲しいですね。
- ちなみに少し前にAmazon.com側にもMFA設定する記事を書いたけど、それでもそもそも防げない話なので。
gigazine.net medium.com yoshidashingo.hatenablog.com
その他
17. otto 0.2.0の変更点
- そういえば数日前に出てたなーと思い確認してなかったが、いくつかの改善が入っている。
18. Making sense of MVP (Minimum Viable Product) – and why I prefer Earliest Testable/Usable/Lovable
- 部品を一つづつ作るのではなく、顧客が利用可能なサービスを作って維持しながら、徐々にビッグにしていこうという話。
- スタートアップも手伝うのでよくわかるが、ここにはもう一つ意味があって、今提供しているサービスよりも遠く遠く「Think Big」でないといけないよというのもあると思う。
19. GoogleがロードバランサーSeesawをオープンソース化
20. 「リファラル採用＝裏切らない」メルカリの急成長を支える人事の活動
- ここで注目すべきはミートアップやGitHub採用で、欲しい人材の属性を考慮したチャネルを生かしてるなという点。ただしこれは採用と応募者がある程度の量にバランスしてきたからこそできることかなと。
- 今よくある「いい人がいない問題」についてはまずは「採用公報」を頑張ることと、社員でもエージェントでも「信頼できる人からの」紹介を強化するというのが確率が高くなる秘訣とのこと。
21. DevOpsの基本
- 非常にわかりやすく書かれているので参考資料によさげ
- 最近はDevOpsの概念がフワっとしているというより、それにより解決したかった本来の組織的な目的が、いまやアジャイルや、特にスクラムという手法で解決したかったところと共通してきており、じゃあどこでどちらの文脈で説明すればいいのかというのが混ざっていることでということではないかと。当然注意して読めば、組織の課題の話、開発手法の話、運用の話、自動化の話で使い分けははっきりしてるのですが、たいていの読み手は注意しながら読まないですし、そこから始まる誤用もまたありうるのではないかと。
その他いくつかリンク置いておきます。
Multi-Tenant Storage with Amazon DynamoDB | AWS Partner Network (APN) Blog
www.slideshare.net www.slideshare.net
