先週のAWS関連ブログ 〜5/31(日)

cloudpackエバンジェリストの吉田真吾@yoshidashingo)です。

AWS公式

1. EC2の歴史

  • 2006年8月にm1.smallがリリースされてEC2が始まった
  • 今まで45のインスタンスタイプがローンチ
  • 2012年10月にm3.xlarge, m3.2xlargeが出てからインスタンスファミリーがCPU別の世代管理になってきた

aws.typepad.com

2. ECSにおけるConsulを使ったサービスディスカバリー

  • Consulを使ってEC2のクラスター内のサービスの管理が自動化できる
  • サンプルアプリケーションを例に、実装内容まで詳しく解説してある

Service Discovery via Consul with Amazon ECS | AWS Compute Blog

3. ウェビナーのRDS資料公開

aws.typepad.com

www.slideshare.net

4. AWS CodeDeployが環境変数をサポート

  • CodeDeployで環境変数 LIFECYCLE_EVENT、DEPLOYMENT_ID、APPLICATION_NAME、DEPLOYMENT_GROUP_NAME がサポートされ、DEPLOYMENT_GROUP_NAME により設定ファイルの内容やログレベルなど環境により違う部分を切り替えしやすくなった。

AWS CodeDeploy Supports Environment Variables http://blogs.aws.amazon.com/application-management/post/Tx1PX2XMPLYPULD/Using-CodeDeploy-Environment-Variables

5. DynamoDBをCloudTrailがサポート

Amazon DynamoDB supports AWS CloudTrail

6. AWS SDK for PHPのバージョン3がリリースされた

  • V2に比べてコード量が減ってパフォーマンスが上がった
  • 最新の Guzzle HTTP library を使っている
  • リクエストが非同期に処理されるように

http://blogs.aws.amazon.com/php/post/Tx29HZZVCASVU21/Version-3-of-the-AWS-SDK-for-PHP

7. LambdaファンクションからS3に配置したパッケージを参照できるようになった

  • パッケージをzipで固めてS3にアップロードにすることで配備できる
  • LambdaファンクションからS3のバケットとキー名を入力することで利用できる
  • 同一リージョンのバケットでないといけない

AWS Lambda Supports Uploading Code from S3 docs.aws.amazon.com

8. EC2のパフォーマンス Tips

  • EC2の仮装化方式の話、CPUの話、ネットワークの話
  • ガチなチューニングアプローチ
  • 実は最新世代のエフェメラルディスクは前のより高速

www.slideshare.net

AWS関連

9. ELBのアクセスログ解析

  • 元気さんのツール fluent-plugin-elb-access-log を使ってS3に吐かれているELBログをさらう
  • td-agent.confを変更し、elasticsearchに入れる
  • kibanaで可視化する

qiita.com

10. PHP x AWS でスケーラブルなシステムをつくろう

  • サービスの規模別インフラ構成の例およびそこで起きうる課題と対処法
  • 規模に応じて最適な構成に対応していく
  • Elastic BeanstalkのSwap URL機能の話

www.slideshare.net

11. HDFS NameNodeの利用ディスク容量肥大の対処(Amazon EMRのケース)

  • 長期間運用してると/mnt/var/lib/hadoop/dfs-name/currentが肥大化する
  • HDFSのスナップショットファイルとジャーナルファイルが増えるのが原因
  • editsの保存操作数を抑制、コンパクションの間隔を短縮などするとよさそう

qiita.com

12. JSONの解説

  • AWSのAPIで利用するデータはJSON形式が多い

dev.classmethod.jp

その他

13. Linux Performance Tools

  • NetflixではEC2を大量に使っている
  • パフォーマンステストの導入評価の段階からのアプローチ方法について詳細に示している

www.slideshare.net

14. Netflixのインシデント監視ツールFIDO

  • インシデントのイベントを統合管理して監視

www.infoq.com

15. ECサービスの負荷テストの裏側

  • Gatlingで負荷テストがいい感じ
  • 負荷テストの段取りについて
  • ログをGoogleDocsに入れて詳細に分析したり可視化してみた

speakerdeck.com

16. Terraform x Atlas x GitHub

  • GitHubの登録アプリケーションにAtlasを追加
  • Terraform を PRにコミットしたら terraform plan が実行されてGitHub上に結果が見える、つまりインフラがCIできる

pocketstudio.jp

17. Atlas x Vault

pocketstudio.jp

18. <cloudpack>もはやベンチャーではないセキュリティレベル cloudpackセキュリティホワイトペーパーを公開

  • 金融業界レベルの内部統制(SOC2)をcloudpackに導入したシンジ君のインタビュー
  • システムの対応だけでなく、CSIRT体制の構築についても言及
  • 他社でも取り組んでほしいという思いからホワイトペーパーを公開
  • SOC2報告書は今夏にでも受領予定

biz.bcnranking.jp

19. freeeの組織運営術

  • エンジニアが仕事内容に納得して進める
  • ナレッジを共有する
  • 友達付き合いができるエンジニアを採用する
  • 拡大しても透明性を保つ
  • ワークライフインテグレーション、仕事がプライベートを同じくらい楽しい

http://engineer.typemag.jp/article/1to100-freeeengineer.typemag.jp

20. エンジニア不足の話

  • 基本、ショボいところにはショボい人しか来ないのであきらめよう
  • 基本、エンジニアは育てるもの&成長するもの
  • 未経験でどうにかなることも多いが、育ててる余裕がないとエンジニアの情熱が離れていく

http://engineer.typemag.jp/article/fukuyuki36engineer.typemag.jp