先週のAWS関連ブログ 〜3/4(日)

AWS - アップデートまとめ

セクションナイン の 吉田真吾（@yoshidashingo）です。

今回のざっくりとした感想は、

  • 1ヶ月半でアップデートが追いきれない量になるのでこまめにチェック＆検証していこう。
  • EC2起動テンプレートはレガシーなデプロイパイプラインで効果的なものがありそうに思える。
  • 機械学習系（DeepLearning AMIおよびSageMaker）のリリースが多い。
  • Bツリーで扱いやすいようにZ軸インデックスもたせるハックができたり、JSON列が使えるようになったり、Aurora MySQL (5.7版)が便利なのでどんどん使っていきたい。
  • リージョン間VPCはアプリケーション指定形式のリージョンまたぎバックアップや、複数リージョンの監視ソリューションなどに有効。
  • LexやComprehendの日本語対応が待ち遠しい。特にLex+ComprehendのNLUはどんな精度か気になる。使えるならAlexaのバックエンドに置きたい。
  • 「日本におけるプライバシーに関する考慮事項に照らした AWSの利用」ホワイトペーパーは一読しておきたい。
  • AWS GlueやRedshiftを利用した現実的なデータの前処理などを考慮した有益な情報も多かった。
  • LumberyardやGameLiftが知らない間に大幅に成長しているようだ。どこか使ってみられるプロジェクトはないものだろうか。

AWS公式

前回のまとめから1ヶ月ちょっとでまたアップデートが大量にあったので振りかえりまとめ。

NNPACK ライブラリを使用した Apache MXNet の高速化

  • NNPACKとMXNetをソースからビルドする方法の説明
  • CPUベースの推論がMXNet単体の場合に比べて画像認識で2倍〜4倍高速化した

aws.amazon.com

最新 EC2 Goodies – 起動テンプレートとスプレッドプレイスメント

  • EC2の起動時に指定する「AMI ID」や「インスタンスサイズ」「Security Group」などをあらかじめテンプレート化しておける「Launch Templates」機能が追加された。
  • Launch Templates機能で作ったテンプレートをベースにAuto ScalingグループやSpot Fleetが作成できるので、ゴールデンAMIを作成して、最新のゴールデンAMIのIDでテンプレートのバージョンを上げておけば、SpotInstが提供しているような機能が自分たちでも作成できそう。
  • プレイスメントグループはネットワーク的に極めて近い配置を保証してくれるインスタンス配置方法だが、このプレイスメントグループに逆バージョン、重要なインスタンス同士が同一H/Wに乗らないように保証できる指定方法「スプレッドプレイスメント」が追加された

aws.amazon.com

Amazon SageMaker BlazingText: 複数の CPU または GPU での Word2Vec の並列化

  • メニーコアのCPU環境においてHogBatchアプローチで効率良くCPUが使えるようにしたBlazingTextを使うことでモデルの作成を高速化した。これによりGPU環境でも同様にWord2Vec処理を高速化できる。

https://aws.amazon.com/jp/blogs/news/amazon-sagemaker-blazingtext-parallelizing-word2vec-on-multiple-cpus-or-gpus/

AWS データセンターのセキュアな設計について

  • AWSのデータセンターに関する特設サイト。以下のような今まで公開されてなかった（あるいはSOCなどを読まないとわからなかった）情報に簡単にアクセスできるようになっている。

データセンターのセキュリティを検証するために、年間を通して、外部の監査人が2,600以上もの基準や要求事項に沿ったテストを行っています。

aws.amazon.com aws.amazon.com

Microsoft Azure SQL Database から Amazon Aurora への移行

  • Azure SQL Database側でDMSのIPアドレスを接続元として解放すれば簡単にAuroraに移行できるよという話

aws.amazon.com

Amazon RDS for PostgreSQL から Amazon Aurora PostgreSQL リードレプリカを作成可能になりました

  • これでPostgreSQLもMySQLと同じように、RDSからAuroraにダウンタイム少なく移行させることが可能になった。
  • また、暗号化されたRDS for PostgreSQLのスナップショットからAurora for PostgreSQLの起動が可能になった。

aws.amazon.com aws.amazon.com

Amazon Aurora under the hood: Z-order curvesを用いたgeospatial indexの作成

  • 空間分析においては一般的にインデックスはBツリーではなくRツリーが効果的だが、Rツリーインデックスはデータ挿入時のインデックス挿入が高コストでインデックス再構築が大変である場合がある。これをBツリーインデックスベースで、ただし多次元データを一次元にマップするトリック「space-filling z-order curves」を使ってX軸Y軸の範囲内のZ軸をインターリーブで計算できるように表現できる。これをAuroraでは指定するだけで使えるようになり、通常のMySQL 5.7に比べて読み取りで10倍、書き込みで20倍速い速度でクエリできるようになっている、という話

aws.amazon.com

新規 – リージョン間 VPC ピアリング

  • リージョン間のVPCピアリング(リージョン内同様、アカウントも跨げる)が可能になった。
  • CIDRの重複によるエラーもリージョン内でのピアリングと同様に発生するのでネットワーク設計はちゃんとやること。

aws.amazon.com

インターリージョンVPCピアリングにリージョン追加。新たに9つのリージョンで利用可能に

  • 2018/2/20に東京リージョンも対象に追加。

aws.amazon.com

東京リージョンに新たにアベイラビリティゾーンを追加

  • 東京リージョンに4つめのAZができ、実質だと3つAZが利用可能に。
  • 3AZないと配備できない色々なサービスがこれで問題なく来る可能性が高まっている気がする。
  • それ以外に、東京リージョンではざっくり10万アカウント以上が利用中というのもわかった。

aws.amazon.com

高い可用性を持つ IBM Db2 データベースをAWS上に構築する

  • DB2の冗長化のハンズオン説明。ここまで具体的なものは他でみたことない気がするので実際に必要になった場合はこれで試してみたい。

aws.amazon.com

AWS Glue がScala をサポートしました

  • AWS GlueのスクリプトをPython以外にScalaでも書けるようになった、これによりSparkのJVMとの間でデータ変換の必要がなくなるので、処理が高速になる。
  • ハンズオン説明で実際にノートブックでETL定義を作成する方法と、実際に走らせる方法がわかる。

aws.amazon.com

ユニシスメインフレームからAWSへの5ステップでの移行

  • ユニシスメインフレーム上のアプリケーションを安全にAWS上に移行する具体的な5つのプロセス（ディスカバー／デザイン／モダナイズ／テスト／実装）の説明
  • 何も替えずに簡単にリフトできるわけではなくきちんとした移行計画が必要という点で、重要なノウハウが共有されている。

aws.amazon.com

AWS DeepLens Lambda 関数と最新 Model Optimizer を深く知り尽くす

  • AWS DeepLens向けに最新Model Optimizerをリリースした。Model OptimizerはAWS DeepLens上でモデルを実行するためにPythonコード一行でモデルをCl-DNN形式に変換してくれるやつ。
  • Lambda関数はAWS Lambdaのコンソールから作成でき、パブリッシュすることでDeepLensコンソールから洗濯できるようになる。osやawscamといったライブラリをインポートすることでネイティブなAPIにアクセスできる。

aws.amazon.com

水門は開いた – EC2 インスタンスのネットワーク帯域幅が増大

  • ENA対応AMIにより作成されたインスタンスでは、EC2-S3間で25Gbps、EC2-EC2間でシングルフロー5 Gbps、マルチフローで最大25Gbps、クラスタープレイスメントグループのEC2-EC2間でシングルフロー10Gbps、マルチフローで最大25Gbpsが実現できるようになった。

aws.amazon.com

AWS Deep Learning AMI に TensorFlow 1.5 と新しい Model Serving 機能が追加されました

  • AWS Deep Learning AMIのTensorFlowを1.41から1.5にバージョンアップし、TensorFlow Servingもプリインストール。
  • TensorFlowを1.41と1.5で特定のトレーニングで1.8倍高速化している。

aws.amazon.com

AWS 深層学習 AMI は TensorFlow と Microsoft Cognitive ツールキット用の Volta GPU に対するより高速のトレーニングを提供します

  • 同上
  • Microsoft Cognitive ツールキット (CNTK)もバージョン2.4が含まれるようになった。

aws.amazon.com

AWS 深層学習 AMI は現在、Chainer と最新バージョンの PyTorch と Apache MXNet をサポートしています

  • 同上
  • Chainerも含まれるようになった。

aws.amazon.com

チャットボットにウェブ UI をデプロイする

  • チャットボットのUIやサイトに埋め込むUIの、S3から配信可能なコードを公開した。

aws.amazon.com github.com

Amazon Comprehend を使用したカスタマーレビューからのセンチメントの検知

  • Amazonのカスタマーレビューを使い、Comprehendでセンチメント分析を行うハンズオン説明
  • AzureのText Analytics APIがすでに日本語対応済み、WatsonのNatural Language Understandingがそろそろ日本語サポートされそうなので、Comprehendも早めに日本語来て欲しい。

aws.amazon.com

Model Server for Apache MXNet、ONNX サポートと Amazon CloudWatch の組み込みを開始

  • モデルをアーカイブしてエンドポイントにデプロイ、またエンドポイント構成可能なDockerイメージを提供するModel Server for Apache MXNet (MMS) のバージョン 0.2をリリースした。
  • MMSはCloudWatchと統合可能で、ホストのCPUやメモリのメトリクスが送信可能。

aws.amazon.com github.com

Amazon Aurora: MySQL 5.7互換をリリース

  • じゃんじゃん使っていこう

aws.amazon.com

ポート443でTLS認証を使ったMQTT: なぜ便利で、どのように動くのか

  • IANAが定めるMQTTのポート(8883)は閉じられていることがある
  • AWS IoT CoreはTLSの拡張ALPNのProtocolNameに“x-amzn-mqtt-ca”プロトコルを指定することでHTTPS(443)で通信を行うことができる

aws.amazon.com

ホワイトペーパー「日本におけるプライバシーに関する考慮事項に照らした AWSの利用」の公開

  • 2017/5/30施行された改正個人情報保護法に対する主な検討事項とAWSの責任共有モデルを比較しチェックできるホワイトペーパーを公開した。

aws.amazon.com

東京リージョンで Amazon Aurora with PostgreSQL Compatibility をご利用可能に

  • 特にAurora PostgreSQLのみPerformance InsightsがCloudWatchの詳細モニタリングの追加のみで利用が可能。
  • RDS for PostgreSQL 9.6.1 – 9.6.3を利用している場合はスナップショットからの移行、リードレプリカ作成→昇格による移行が可能。

aws.amazon.com

Amazon Redshiftを使用した高性能ETL処理のベストプラクティス Top 8

  • Redshiftの特徴を考慮して最適かつ一貫したETL処理のパフォーマンスを実現するための以下の8項目のベストプラクティスを紹介している。
    • 複数の均等なサイズのファイルからデータの COPY
    • Workload Management (WLM) を用いたETL実行時間の改善
    • 定期的なテーブルのメンテナンスの実施
    • 単一のトランザクションで複数ステップの実行
    • データの一括読み込み
    • UNLOADを利用した大きな結果セットの抽出
    • アドホックETL処理に Amazon Redshift Spectrumを使用
    • 診断クエリを使用して日常的なETLヘルスの監視

aws.amazon.com

ご利用の WordPress ブログに新しい Amazon Polly の声を

  • WordPressの管理画面からPollyのプラグインを有効化してIAMのクレデンシャルを指定することで、記事の編集画面でPollyの有効化をチェックするだけで記事の冒頭に読み上げ音声のタグが埋まっているようになる。
  • Pollyはローンチ時からすでに日本語に対応している。

aws.amazon.com

WordPress 向けの Amazon Polly プラグインが Bitnami の AMI にプレインストールされました

  • Bitnamiの提供するWordPressのAMIにPollyプラグインをプリインストール

aws.amazon.com

New – DynamoDB の保存時の暗号化

  • DynamoDBがKMSを使った透過的な暗号化に対応した。
  • 暗号化有無での性能影響は「全くない」とのこと。

aws.amazon.com

Amazon Lex 対話ボックスの対応を強化

  • カスタマイズ可能なレスポンスの事前定義ができるようになった。

aws.amazon.com

【 AWS 新リージョン】 AWS 大阪ローカルリージョンが本日より利用可能になりました

  • 東京リージョンと連動して利用される想定の大阪ローカルリージョンが一般利用可能（審査あり）になった。
  • データの国内バックアップ先など規制による対応が必要な場合に東京からテープアーカイブにしてワンビシなどで国内遠隔地に送っていたユースケースでバックアップが堅牢に自動化できるので有効。

aws.amazon.com

Amazon Relational Database Service – 2017 年を振り返って

  • 2017年のRDSのアップデートまとめ。全部で67個。

aws.amazon.com

AWS Cloudtrail Logs を AWS Glue と Amazon Quicksight 使って可視化する

  • CloudTrailのログ(S3)をLambdaを使ってGlueが処理できる形に整形し(S3)てカタログ作成をし、GlueでParquet形式に出力し(S3)てカタログ作成をしたら、QuickSightでAthenaを使ってクエリすることで可視化をする、というハンズオン説明。

aws.amazon.com

AWS Glue : ネストされた JSON を Relationalizeトランスフォーム

  • ネストされたJSONをGlueを使ってキーとバリューで表現でき、RDBに格納しやすいように変換するRelationalizeというのができる。
  • これを行うとS3に格納した状態でRedshift SpectrumやAthenaからクエリ可能にすることができる。

aws.amazon.com

AWS Glue and SneaQLを使ったAmazon Redshift へのUpsert

  • RedshiftへのUpsertを実現するために、S3に到着したJSONデータをParquet形式にGlueで変換して、SneaQLのECSタスクをトリガし、SneaQLのステートメントでUpsertを行う、という方式。

aws.amazon.com github.com

Amazon EC2 テストポリシー

  • EC2を利用して、他のEC2やAWSのサービスや外部エンドポイントにネットワークストレステストを行う場合、「持続的に 1分以上の間 1 Gbps（秒間 1億ビット）あるいは 1Gpps（秒間 1億パケット）を超えるトラフィック、悪用目的や悪意があるように見えるトラフィック、テスト対象以外（ルーティングや共有サービスのインフラストラクチャなど）へ潜在的に影響を及ぼしうるトラフィック」と判断されるトラフィックが発生しうる場合、事前にテスト内容の評価をしてもらわないと、機能制限を受ける可能性があるので、フォームで申請を行ったほうがよい。
  • 通常のプロダクションでこれ以上のトラフィックを持続的に利用するシステムであればこの制限を受けることはない。

aws.amazon.com

AWS SCT と AWS DMS を使ってMySQLから Amazon Aurora に移行する方法

  • RDS MySQLからAurora MySQLへの移行方法について。同種間移行なので、RDSスナップショットからAuroraを作成するか、Auroraレプリカを作成してマスター昇格させるかで実行可能。
  • オンプレやEC2上のMySQLの場合、Percona XtraBackup か mysqldump、またはbinlogレプリケーションでAuroraリードレプリカを作成してマスター昇格する方法がある。
  • それらで対応できない場合は、AWS SCTでスキーマの定義をエクスポートし、AWS DMSを使ってデータのレプリケーションを実施することもできる。ハンズオン説明つき。

aws.amazon.com

https://d0.awsstatic.com/whitepapers/Migration/amazon-aurora-migration-handbook.pdf

AWS Database Migration Service を使用した Amazon RDS for SQL Server の継続的なレプリケーションの紹介

  • SQL ServerのCDC「MS-CDC」を利用して継続レプリケーションをするためのSQL Server上での設定ガイダンス。

aws.amazon.com

Azure MFAサーバーを使用したAmazon WorkSpacesの多要素認証（Multi-Factor Authentication）

  • RADIUSサーバーを用いた認証を使って、WorkSpacesに多要素認証プロセスでログインする方法。

aws.amazon.com

MySQL5.7互換のAmazon AuroraでJSONを利用する

  • (1)各種便利JSONオブジェクト関数でJSONの記号をエスケープする地獄から解放されるし、(2)仮想列にインデックスも貼れるし、(3)JSON_SETでUpsertできるし、(4)JSON_ARRAY_APPENDでJSON項目の配列の中身だけ追加できるし、(5)JSON_REMOVEで条件に合うJSON項目だけ削除できて、完全にゆとり向きな便利機能。

aws.amazon.com

Lumberyard Beta 1.12 新たな年と新しいエンジン

  • ローンチ当初とはほとんど入れ替わっており、2017年は基礎部分にも大々的に手をいれていたとのこと。
  • The Cloud Gem フレームワークは、ゲーム内でのテキスト→音声合成やアンケート、音声認識などの基礎的だが便利な機能群。
  • SpeedTree 8という植生モデリングがLumberyardユーザーはライセンスが無償で利用可能。
  • 1.11でCryAnimationをEMotion FXに入れ替えブレンドツリー、ステートマシン、ブレンドスペース、モーションツリーなどを使ってモーションアニメーションが作成可能。
  • プレビューリリースのScript Canvasを使うと、EMotion FXなどで作成したアニメーションの挙動をER図のようなGUIで作成が可能
  • Lumberyardで作ることができるサンプルが収録されたStarter Gameや無料のアセットも多数収録されている。

aws.amazon.com

提供開始– AWS Serverless Application Repository

  • AWS Serverless Application Repositoryが一般公開された。
  • アプリケーションはSAMテンプレートとして配布される。
  • 自分のアプリケーションをSAMテンプレート化してpublicなGitHubなどのリポジトリに配置し、ライセンスを指定してパブリッシュすることで一般公開でき、他者に使ってもらうことができる。

aws.amazon.com

Amazon GameLift FleetIQとスポットインスタンスでコストを最大90%削減

  • ゲームサーバーをデプロイ、オペレーション、スケーリング管理するGameLiftが、新たにFleetIQとスポットインスタンス対応の2機能をリリースした。
  • FleetIQはゲームセッションの開始時にスポットインスタンスの中でも中断率の低いインスタンスを優先的に選択することができる機能。これはWebアプリケーションのように永続的にプロセスを常駐させるモデルとの違い。

aws.amazon.com

AWS Single Sign-On でコマンドラインを使った AWS アカウントへのアクセスが利用可能に

  • AWS SSOコンソールでおまとめしているアカウントに対するアクセスをAWS CLIで行う場合のクレデンシャル情報と一時セッショントークンが、ガイダンスに従えば実際にアクセスできる手順とともに表示される仕組み。

aws.amazon.com

【AWS Media Services】東京リージョンローンチのお知らせ

  • AMSの5サービスが東京リージョンにローンチした。
  • AWS Elemental MediaConvert（Elastic Transcoderの上位互換で4Kトランスコードにも対応した変換サービス）、AWS Elemental MediaLive（ライブ配信用サービス）、AWS Elemental MediaPackage（DRMをかけてセキュアに配信するためのパッケージサービス）、AWS Elemental MediaStore（MediaLiveとセットで使う、HLSに特化して安定したライブ配信を可能にしたストレージサービス）、AWS Elemental MediaTailor（パーソナライズや広告挿入を行えるサービス）を組み合わせて大規模な配信をスムーズに実現するサービス

aws.amazon.com

www.slideshare.net

AWS Certificate Manager (ACM) が Certificate Transparency (CT) をサポートするための準備

  • 不正な証明書を見つけたり、そもそも不正な証明書を発行する認証局を見つけるために、Certificate Transparency ログを2箇所以上に書き込むことで正当性を記録する仕組みにすることで、4/30以降、Chromeで不正な証明書扱いになることが避けられる。

aws.amazon.com www.certificate-transparency.org

AWS Batch および Amazon SageMaker を使用してオンラインの化合物溶解度予測ワークフローを構築する

  • AWS BatchとAmazon SageMakerでそれぞれ違う二段階のプロセスを用いて化合物溶解度の予測モデルを作成するハンズオン説明。
  • 1段目のAWS Batchでは候補の分子のlogSolubilityをDockerizeされたRDKitをAWS Batch上で稼働して2D 分子記述子を計算する。
  • 2段目はSageMakerをApache MXNet上で使用して、線形回帰予測モデルを作成する。

aws.amazon.com

Amazon SageMaker が TensorFlow 1.5、MXNet 1.0、CUDA 9 をサポート

  • SageMaker の事前構築済み深層学習フレームワークコンテナが TensorFlow 1.5 および Apache MXNet 1.0 のサポートを開始した。
  • ディープラーニングAMIと同等のセットアップをコンテナに行なっているということのようだ。

aws.amazon.com

DeNA TechCon 2018 – AWS IoTを用いたDeNAオートモーティブアーキテクチャ

  • DeNAオートモーティブでは「Anyca」「タクベル」「ロボネコヤマト」などで、車両情報の管理やサービス連携をAWS上で実現しているという話。

aws.amazon.com speakerdeck.com

Amazon AppStream 2.0 の ID フェデレーションを AD FS 3.0 で実現する

  • 既存の Active Directory や任意の SAML 2.0 準拠の認証サービスを使用してAppStream 2.0のアプリケーションにシングルサインオンできるようにAD FS 3.0、あるいは4.0をセットアップするハンズオン説明。

aws.amazon.com

JeffConf HamburgでOne Communityを感じてきた

Serverless

セクションナイン の 吉田真吾（@yoshidashingo）です。

2018.2.15,16の2日間、ハンブルクで開催されたJeffConf Hamburgのカンファレンス(16日開催)に参加してきました。ロンドン、ミラノに続く3回目のJeffConf、かつ最後のJeffConfでした。

Guten Morgen, Hamburg!! #jeffconf

Togetterまとめ

togetter.com

What is "Jeff" ?

さて、JeffConfって何をカンファレンスするのだと疑問に感じた人もいるかもしれません。逆にわかってる人はちょっとしたサーバーレス事情通ですね。

サーバーレスがバズワードになって騒がれていた当初、こんな記事をPaul Johnstonが書きました。

serverless.zone

ちなみに彼は現在AWSのシニア・デベロッパー・アドボケイトになり、今回のJeffConfもその立場として講演をしていました。

コンテナ上のFaaSはサーバーレスか

で、ちょっと目を引くエントリーを彼のMediumから見つけたので紹介。fissionやkubeless、またOSSのFaaS(OpenWhiskやOpenFaaS、fnあたり)はサーバーレスかという話題ですね。彼の意見としては「管理しなければいけない」という時点で矛盾しているとのこと。

hackernoon.com

私も同様に、サーバーレスはITサーマネの中でのパラダイムシフト、つまり機能性に限らず非機能性についてカバーされており、その点を議論の対象範囲として常にしておく必要があるという点で違うかなと思っています。たとえば、Lambdaが使いにくいなら自分でFaaSソフトウェアをローカルやAWS上にホストしちゃえばいいじゃんというのは、スケーラビリティ管理やエラー時のふるまいの実装などの非機能性を考慮しないことになってしまうので、サービスマネジメントの見地からすると片手落ちだよね、という話です。当然FaaSもそれを実現するソフトウェアも中身は同じ（たとえばOpenWhiskはFaaSソフトウェア、それをサービス提供しているのがIBM Cloud Functions）ですので、機能性に関する議論はどしどしやるべきですけどね。

ここらへんの話は4月あたりにコンテナ系のイベントのトピックの1つで話すかもしれません。（Observabilityの話のほうがメインになると思いますけど）

Code of Conduct の事前説明

本編始まる前ですが、運営メンバーがCode of Conductに関する説明、つまりどのようなことをしてはいけないか、不快な出来事に遭遇したら誰に伝えれば良いか、どこにメールすれば良いかなどをきっちりと説明していました。これによってみんなで快適に過ごせるように努めていこうという空気感になったので、自分のオーガナイズするものでも取り入れて行きたいなと思った次第です。

The Road to Serverless Days

  • 2016年にAnt Stanleyによって生み出されて成功したServerlessconfですが、彼が独立したあとに自身で始めたServerlessconfのオルタナティブなカンファレンスがJeffConfです。

Ant Stanley!!

  • イベントでこだわっているメッセージ性「One Day, One Track, One Community」、また、華美な実装をせず協会や美術館といったレガシーを活用した低予算、手弁当での運営というのが特徴ですが、箱物の質素さに比べて、CoCの実践(実際に不快なツイートは直接削除要請などしていた)や、セッション間のコミュニケーションの促進など、快適で知見の共有に本質的な場づくりにこだわっているなと感じました。実際お昼ご飯を食べながらServerless, inc. のメンバーとEvent Gatewayに関するディスカッションなどができたのは非常に良かったです。
  • スポンサーはブースなどをしっかり構えられる印象ではないので、商業的なメリットについては多く望めない(オーガナイザーとしてこのバランスをどうとらえるべきかは難しい)とは思いました。
  • JeffConfは今回のHamburg開催を最後に、今後はServerless Daysに名称変更して開催されます。初回は今年の7月にロンドンで開催されることがアナウンスされています。Antに聞いたら、ワークショップが3日間、カンファレンスが1日というラーニングイベントになるようです。
  • 実は2016年にNYCでサーバーレス周辺の文脈の広がりに衝撃を受けて即日東京開催のライセンスの会話をAntとして以来、1年半以上ぶりに会ったので感慨深かったです。

Malwineのグラレコとともに送るセッションスライド＆ツイート

RubyGirlで日本の漫画・アニメが大好きなMalwineがセッションのグラレコを担当していました。登壇者にも参加者にも大好評だったので、これとともにセッションスライドを並べておきます。

Why the fuss about serverless

www.slideshare.net

長年IT業界を見てきた@swardleyさんにおけるIT組織戦略、本物のCEOがやるべき仕事の話。

medium.com

戦略がよくわからないCEOは以下の文言を自社の戦略として掲げると耳障りが良い（中身はないけど）ので自由に使ってね、というのもなかなか皮肉が効いてて面白かったです。

What is my Strategy?

blog.gardeviance.org

You shall not FaaS

speakerdeck.com

Real-Time Serverless Back Ends with GraphQL

speakerdeck.com

Using the Event Gateway To Build Multi-Cloud Serverless Applications

www.slideshare.net

Serverless Data Warehousing & Data Analysis on AWS

speakerdeck.com

Serverless in production, an experience report (JeffConf)

www.slideshare.net

How to Sell Serverless to Your Colleagues

www.slideshare.net

Serverless Gotchas

docs.google.com

Putting the F in FaaS

speakerdeck.com

Intro to Fn in 10 Minutes

speakerdeck.com

Serverless Machine Learning

Serverless Machine Learning

その他 (スライドはまだ上がってなさそう)

ハンブルク観光

  • Westin Hamburgに泊まったんですが、ここ自体がハンブルクにおける観光名所になっているみたいで、とても賑わっていました。

土曜の朝だからか静か

  • Westinのすぐ隣が倉庫街で、またLove padlocks(愛の南京錠)などもあり、観光はしやすかったです。

倉庫街だね

いたるところに錠前がかけてあるのなんなんだろ

別の橋にも錠前が

  • 今回現地の人におすすめの観光地を聞いたらレイパーバンとかフィッシュマーケットを勧められたんですがいずれも時間帯が合わず、倉庫街の一角にあるミニチュアワンダーランドにだけ行ってきました。結果、これが大正解でした。広大な倉庫内の3Fと4Fにさまざまな名所がミニチュアで再現されていましたが、とにかく造形が細かい、かつ広い。2時間ではすべて回りきれなかったので今度はまだ子供が小さいうちに家族で遊びに来たいなと思いました。

家族連れが多くてまだまだ待ちそう

こまかいなぁ

https://www.instagram.com/p/BfTPnkqBtK-/

https://www.instagram.com/p/BfTPqK-BU57/

https://www.instagram.com/p/BfTPum7hqNh/

https://www.instagram.com/p/BfTP5GZB6rB/

https://www.instagram.com/p/BfTQGcpBc3W/

https://www.instagram.com/p/BfTQRqNhbFB/

https://www.instagram.com/p/BfTQbJsBZtu/

Westin Hamburgのフィルハーモニーセンターもあった

ミニチュアワンダーランドとにかく広かった

ここも圧巻の広さ&奥行きだった

Pixel 2 と Project fi について

  • 今回パリとハンブルクを短時間で周らないといけないのでモバイル回線どうしようかと思い、Project fiを使いたくひさしぶりにAndroid機であるPixel2を買いました。普段はiPhone/iPad/Macが主体なので接続性がよくないかなと心配してましたが、実際さほどMacとは良くないんですがそれ以上のアドバンテージがいくつかありました。
  • Pixel2にeSIMとして搭載されるProject fiは、通常のnanoSIMと切り替えて使うことができるので、海外に着いたらProject fiに切り替えて普段使いとのギャップなく快適に利用できます。ハンブルクで一部LTEが有効にならないときがありましたが、海外どこに行っても回線に困らないのは本当に快適です。アメリカの電話番号から電話もできますし、ほとんどのローミング可能な事業者でさえ対応していないルワンダあたりもカバーしてますしね。
  • 普段はiPhoneXのカメラで写真を撮ることが多いですが、Pixel 2のほうがきれいな写真が撮れるなと感じました。上記のインスタ画像、ミニチュアワンダーランドの外観や南京錠(いっぱいかかってるほう)が少し白く飛んでますが、それがiPhoneXで、それ以外はほぼPixel2だったと思います。

Serverlessconf Parisに行ってObservabilityについて考えた

セクションナイン の 吉田真吾（@yoshidashingo）です。

2018.2.14,15の2日間、パリで開催されたServerlessconf Parisに参加してきました。今回のパリ開催は東京を私がオーガナイズしているのと同様、D2SIというパリのコンサルタンシーが行うフランチャイズ形式で行われました。

http://paris.serverlessconf.ioparis.serverlessconf.io

Togetterまとめ

togetter.com

Observavility

f:id:yoshidashingo:20180215091930j:plain

1本目はヤンさんのObservavility に関するトラックでした。Observavilityはマイクロサービス界隈を中心に重要なトピックになっており、さらにサーバーレス界隈でも、複雑化するピタゴラスイッチを分散トレーシングするサービスやツールが増えてきてることから注目度が上がっているため興味深い内容でした。 昨年、東京のカンファレンスにも参加してくれた Espagon や、DataDog らもブースを構えておりプロモーションを頑張っていました。

www.slideshare.net

blog.d2-si.fr

Observabilityについて書かれた記事の初出はこのTwitterの記事あたりでしょうか。Twitterをモノリシックから分散アーキテクチャに変更したことで、システム間の複雑性が上がったため、複数のサービスにまたがる処理において発生した問題の原因箇所の特定のための可視性の担保が重要だったという話で、実際にどうメトリクスを収集したか、可視化したか、モニタリングしてアラートしたかといった内容が書かれています。

blog.twitter.com

2013年に続き2016年にも。

blog.twitter.com

時は流れてマイクロサービスアーキテクチャが普及してきた昨今、単一システムごとのメトリックをダッシュボードに並べてもシステム全体が見えないモニタリングのしにくさ、障害検知したすべてのノードからのアラート地獄、分散環境内での根本原因箇所の特定の難しさ、セントラライズされずに散らかったログなど、モノリシックなシステムにはなかった課題を解決する必要があり、まさにObservabilityが課題となっておりますが、当初はMonitoringの文脈の上位概念だったObservabilityが、これらの課題を解決するための「モニタリング」「スマートなアラート、ダッシュボード」「分散環境上でのトレーサビリティ、障害検知」「ログ収集、分析」といった、オペレーションに必要なすべての要素の上位概念として最近では位置付けられているみたいです。

  • Monitoring
  • Alerting/visualization
  • Distributed systems tracing infrastructure
  • Log aggregation/analytics

medium.com

OSSの分散トレーシングツールもちまたにたくさんあります。

github.com github.com github.com

さて、サーバーレスで構築されたマイクロサービスにおいては、サービス間のトラフィックモニターや、障害箇所の特定のしやすい可視化ダッシュボードや、スマートなアラートシステム以外に、FaaS独特の課題を解決するためのトレースも必要になります。たとえば、Lambdaのイベント連携のトレースができる AWS X-Ray などもそうですが、現在X-Rayは非同期呼び出しの場合の連携先まではトレースされません。Espagonなどはこれらに対応してると口頭で聞いてますが、どうやってるかなどは企業秘密だそうで、いずれにしても「サーバーレス」で「非同期」な「分散環境」をトレースする方法は、システムをどう可視化して保守したいかによって、複数の選択肢の中から組み合わせて実現するのが現在のベストプラクティスみたいです。

※いちおこんなやり方はできそう↓ qiita.com

ということで Charity Majors さんもこんな感じで語っているとおり、サーバーレスな分散システムには、そのシステムのアーキテクチャ自体がモノリシックから大幅に流儀の違う形に変更したように、モニタリングやトレース、ロギングについても大幅なアップデートを行い、Observabilityを確保する必要がありますね。

blog.intercom.com

speakerdeck.com

CNCFのホワイトペーパー

f:id:yoshidashingo:20180215121240j:plain

また、CNCFのServerless WGから発行されたホワイトペーパーについての話も前評判の割には面白かったです。内容について歯切れは悪いですが網羅的に今までのサーバーレスの話題が記載されてはいるかなと（斜め読みしかしてませんが）。ただし、海外ではサーバーレス界隈の人の間ではまったく話題になってません。なんでだろうなと思ったんですが、おそらくもうここ周辺の話題（定義とか歴史的経緯とか）に完全に食傷気味なのと、CNCFの標準化に向けたイニシアティブをどう扱ったらいいものか対応し兼ねてるということなのかなと。たしかにもう2年やってますからね、こういう話。

https://github.com/cncf/wg-serverless/blob/master/whitepaper/README.mdgithub.com

www.publickey1.jp

Accelerating DevOps with Serverless

俺らの@ijinさん。

f:id:yoshidashingo:20180215121831j:plain

youtu.be

その他

Randallがライブコーディングしたり、nuclioが結構インテリジェントエッジの部分にフォーカスして十分なソリューションになっていたり、RyanがSpaceXとサーバーレスの小話で最後〆てたり、結構面白かったです。

blog.d2-si.fr

次回開催のことなど

  • 次回は5月に「BINARIS」が運営母体で「テルアビブ(イスラエル)」で開催されるそうです。
  • 東京も今年も9月か10月に開催予定です。準備頑張ります。

パリについてのメモとか

  • 今回は滞在が24時間以内ということで、エッフェル塔も凱旋門も回れずでした。6月あたりが最高のシーズンらしいので、また6月に来てシェイクスピアアンドカンパニーとかちゃんと観光で寄ってみようと思います。
  • カンファレンス会場であるEspace Saint Martinと同じブロックにある レバンパリ という、ニューヨークのAce Hotelを2段階くらい高級にした感じのホテルに泊まったのですが、設備はAce Hotelそっくりで派手ではないのですが、シャンプー、石鹸、コロンにいたるまで最高に自分に合うもので、またパリに行く機会があれば毎回あそこがいいなと思うくらい良かったです。もし行く人がいれば参考にしてください。
  • メシは何を食べても美味かった。
  • Amex使えないところ多かった。

Nuit à Paris