9月15日(金)に「データ分析」をテーマとする南青山発信のエンジニア向け勉強会「 Minami Aoyama Night #4 」が開催されました。主催と会場の提供をいただいた株式会社ナビタイムジャパン様からは豪華オリジナルグッズが配られ、エンジニアによるエンジニアのための濃厚なセミナーが行われました。
弊社からも、検索サービス「Supership Search Solution (S4)」 の開発メンバー 古谷遼より、DB基盤に関する講演をさせていただきました。
本記事では各パートの簡単なサマリーをレポートいたします。
ログ基盤をGCPで運用してIQを下げたい話
Supershipでは、Supership Search Solution(通称:S4)という検索ソリューションのログ基盤の運用を担当しています。
参考:検索ソリューション「S4」は何がすごいの?サイト内検索に必要なポイントも解説
サービスの方針設計、溜まったログのサービスへのフィードバックをし、システムのスケールアップ…と、これまでずっと検索サービスの分析基盤の開発に携わってきた古谷が、更に堅牢で安定的な基盤をつくるために試行錯誤した際の話を紹介しました。
弊社の検索サービスでは、ビックデータの分析基盤としてHive、Vertica、Redshiftなどを運用しておりましたが、パフォーマンスやランニングコストなどで課題を抱えておりました。
本講演は、様々なシステムを検証した結果、運用基盤をAWSからGCPへ切り替え、運用速度や安定性の改善に成功した話になります。
スライドはこちらで公開しております。ご興味のある方は是非ご覧ください。
その他の登壇者からも事例を交えた興味深い講演が行われました。
位置情報ビッグデータ分析の舞台裏
株式会社ナビタイムジャパン 望月 優様
ナビタイムでは、エンドユーザーのお客様への地図情報提供サービスだけでなく、交通機関向けの情報提供事業も行っており、道路工事の渋滞シミュレーションや交差点通過にかかる所要時間の分析、訪日外国人の訪問先の分析など様々な目的でデータが活用されているそうです。今回は、地球上の緯度・軽度の座標からポリゴン(多角形)形式へ地図を描画する際に最適なシステム(PosdGISやGeoHash)など、地図情報を扱う会社ならではの興味深いシステムの一部を紹介いただきました。
位置情報ビッグデータをインタラクティブに分析できるようになるまで
株式会社ナビタイムジャパン 塚本 周平様
法人クライアントへの情報提供をする際、データフォルダーであるナビタイム側で毎回必要データを抽出して加工せずともクライアント側で自由に分析できる独自システムについて開発の裏側を語っていただきました。
機能要件として、インタラクティブ性、大容量データ描画処理、高速集計のそれぞれが求められましたが、Vector Tilesといったような画面上に表示する地図データのみを扱うことができるライブラリやAmazon Athenaのようなクエリ課金のDBを採用するのなどして、試行錯誤で完成させたシステムを会場限定で実際のデモとともに紹介いただきました。
例えば、9月8日〜15日にこの高速道路を通った人が、どこの道から来てどの道に流れていったのかをブラウザ上で視覚的に分析することができます。
なお、年齢・性別・所在地なども、ナビタイムの保有するユーザーのデータと連動して表示することが可能で非常に興味深いシステムでした。
データとデザイン 〜ビッグデータビジュアライゼーション〜
takram design engineering 櫻井 稔様
「ライフスタイルをデザインする」というコンセプトにて「デザインエンジニア」として、ビックデータの可視化を行っているtakram design engineeringの櫻井様より実際の作品とともにビックデータに対する新たな視点についてご紹介いただきました。
単純なcsvデータでも、デザインエンジニアにより息を吹き込まれてアート作品のようにビジュアライズされた数々の事例の紹介に参加者のみなさんが引き込まれておりました。まさに「データの中にDIVEしていく」という新しい感覚に触れることができた大変興味深い講演でした。
事例の一部:
RESAS Prototype
経済産業省の地域経済分析システム「RESAS」(日本経済にまつわる膨大なビッグデータを表示するためのシステム)のプロトタイピングを行ったもの。
動画はこちら
以上、簡単ではありますがイベントのレポートをさせていただきました。
登壇いただいたみなさまの資料は後日 @navitime_tech のtwitterアカウントより公開されるそうですので、気になる方は是非チェックしていただければと思います。
Supershipは開発者を積極的に支援しています
Supershipでは、このような開発者向けセミナーへの登壇や、「PyCon JP 2017」「Ruby Kaigi 2017」などのテック系カンファレンスへのスポンサー出展を行うことで、引き続き積極的な開発者へのノウハウ・技術支援を行ってまいります。