- 株式会社ドワンゴ
- プラットフォーム事業本部 共通基盤開発部 数値基盤セクション
- 古幡 征史
1億PV/日のデータ分析をTableauで効率化!ドワンゴ流アクセス解析の裏側とは。
今回のソリューション:【Tableau/タブロー】
〜Hadoop、R、Apache Pigを組み合わせた分析基盤に、BIツール「Tableau」を導入した事例〜
「ニコニコ動画」や「ニコニコ生放送」からなる「niconico」は、1日のPV数が1億を超える国内最大級の動画サービスだ。それだけのアクセス数を持つWebサービスの場合、そのアクセスログなどのデータ分析をどのように効率化するかは大きな課題になる。
運営元である株式会社ドワンゴでは、以前、Hadoopなどのデータソースから各担当者が欲しいデータを都度取得し、エクセルなどで加工し直してレポートを作成する、というフローをとっていた。各サービスごとに分析に使うツールも異なっていたため、KPIなどの数値も横断的に可視化できていなかったのだという。
そこで導入したのが、ビッグデータを簡単にグラフなどにビジュアライズするBIツール「Tableau(タブロー)」だ。Tableauをデータソースにつなぐことで、リアルタイムで欲しい数値をグラフ上で確認でき、直感的にデータ分析を行うことが可能になる。
同社ではTableauの導入により、数値分析のプロセスを効率化し、定型レポートの自動化および低コストでのデータの深堀りを行えるようになった。*
今回は同社のプラットフォーム事業部の古幡 征史さんと、セクションマネージャーの志村 誠さんに、詳しいお話を伺った。
▼ビッグデータをビジュアライズできる「Tableau」とは…?
「新しい日本の文化を発信する」ドワンゴで、数値分析に携わる
古幡 私がドワンゴに入社したのは、2013年のことです。それまでアメリカの大学でメカニズムデザインの研究者として雇われていたのですが、海外から見るとドワンゴは新しい文化を作り、世界に発信している企業に見えたんです。それに参加できたら楽しいだろうな、と考えて自ら希望して転職しました。
志村 私はもともと小さなベンチャー企業で開発・研究をしていたのですが、もっと大規模なデータを扱いたいと感じていました。そこで転職を考えた時に、せっかくなら自分の好きなサービスに関わりたいと思い、2011年の春にドワンゴに入社しました。
古幡 弊社が運営している「niconico」は、日本最大級の動画サービスで、「ニコニコ動画」や「ニコニコ生放送」などから成り立っています。サービス全体で、1日あたりのPV数は1億以上、月間UU数は800万を超えます(2015年6月30日時点)。
これだけの数のアクセスがあるので、アクセスログやユーザーデータも大量に蓄積されていくことになります。
▼2015年6月30日時点での、niconicoのユーザー数
志村 私が入社後から一貫して関わっているのは、このデータを分析するために必要な環境の構築です。
環境構築とは、各サービスから収集したデータをHadoopを中心とした分析基盤に蓄積し、さらにそのデータを社内の企画担当やエンジニアが扱いやすいように加工・整備し、最終的には分析・可視化するまでの一連のプロセスのすべてを指します。
以前の弊社では、この中の後半部分である「加工〜可視化」の部分に大きな問題を抱えていました。
膨大なデータの分析作業を効率化したい!
古幡 niconicoの場合はアクセス数が多い上にコンテンツの種類も多く、ユーザーも多岐にわたります。蓄積されたデータを分析するプロセスはデータ量や深掘りの度合いに応じて6つに分類できます。
各タイプに応じてデータソースも、分析に使うツールも異なります。具体的には、Hadoop、R+Shiny、SQL、Apache Pig、エクセル、そして自社開発のツールなどを組み合わせて使っています。
志村 基本的には、我々はHadoopをはじめとするデータソースにログデータを整備して、各部署が加工して分析できるように用意しています。しかし以前は、現場のデータ分析の担当者が資料を作ろうと思うと、例えば、
- HadoopからApache Pigで加工したデータを取得
- 取得したデータをエクセルで再加工してグラフ化
- 資料に落とし込む
というフローを経る必要がありました。
この場合、分析を終えた後に「他の条件で数字が欲しい」と言われてしまうと、また最初のステップからやり直す必要がありました。そこで、この作業を効率化するために、数値分析のフローにBIツールを導入することを考えるようになりました。
データを簡単にグラフ化する「Tableau」を導入するも、浸透せず…
古幡 各社のBIツールをいくつか検討した結果、「Tableau」を2015年2月から試験的に使い始め、5月には「Tableau Server」を含めて本格的に導入しました。
Tableauは、データを高速にグラフ化してビジュアライズできるBIツールです。ただ実は、最初は社内にうまく浸透させることができませんでした。
▼Tableauを使うと、このようなダッシュボードも高速で作成が可能
志村 Tableauを使うと、エクセルでは扱えないような大きなデータも簡単にグラフ化して分析することができます。
画面もグラフィカルで、操作もわかりやすいので、我々としては導入したらすぐに現場のフローに導入してもらえると考えていました。
でも実際の社内の反応は、「グラフィカルで分かりやすくて、いいね!」で終わってしまい、実際に使ってもらうところまでいきませんでした。
その時、我々はTableauを「数値の可視化に使えるツール」という見せ方をしていたのですが、使う側としては、もっと何を解決し、何を実現するソリューションなのかということを知りたかったんです。
実際にTableauが「何の役に立つか」をコンテストや勉強会で周知
古幡 そこで、7月に社内で「Tableau ベストプラクティスコンテスト」を開催しました。実際に活用できそうなデータセットをデータ分析担当者に渡し、一緒にソリューション作りをしていったんですね。そしてそこで確立された分析方法や結果の活用方法を、週次の社内勉強会で共有していきました。
また、ひとりの専任講師を約4週間かけて育て、その人にTableauの宣教師役として活躍してもらいました。さらに、こちらでも使い方をまとめた共有ワークブックや分析のためのテンプレートを作って、初めて使う人でも使いやすいように工夫を重ねました。
こうした活動の結果、徐々にTableauでできることが社内に認識され、9月頃にはデータ分析プロセスが自然と変わっていったことを実感しました。
以前はデータをエクセルで加工して作っていたレポートを、Tableauのダッシュボード上で自動集計されるようにしました。このような具体的なメリットを社内の各部署のメンバーにも感じてもらえたことで、利用が広がり始めました。
その後は「Tableauを使いたい」という声が社内から自然に上がってくるようになり、個別対応も難しくなってきたので、操作のための解説動画を作りました。
また、「Tableau Reader」という無料のサービスを活用すると、誰でもTableauで作ったダッシュボードにアクセスできるので、そちらも活用しています。
データ分析の効率化、統合的にデータを見る体制づくりに成功
古幡 導入の効果としては、主に3つありました。1つ目は、数値分析の業務が効率化したことです。サービスが月次課金モデルなので、月初日に定期的なデータ集計・分析・加工の作業が発生します。以前はその作業だけに、丸一日かかっていました。
その部分がTableauによって分析プロセスが自動化されたことで、分析準備にかかる工数を削減することができました。分析の8割ほどはデータを持ってきてグラフや表を作る作業なのですが、Tableauによってその時間がゼロになったことが大きいですね。
2点目は、データの深掘りができるようになったことです。エクセルよりも扱えるデータ量が少なくとも二桁は増え、ユーザーのセグメントごとに深掘りして数値を見ることも可能になりました。その結果として、ユーザーの属性情報まで加味した、より精緻な分析レポートを作成できるようになりました。
最後に、セクション毎にバラバラだった数値管理を、部署の垣根を越えて共有できるようになったことです。弊社の場合はサービスごとにデータベースや管理ツールが独立していることが多く、以前は担当ディレクターが他のセクションの数値管理ツールを見ることはほとんどありませんでした。
この部分もTableau導入を機に、各サービスを横断して数値を集計して、皆がそれを確認できる仕組みを作りました。これまで追えていなかった情報もクリアに見えるようになり、例えばあるサービスの機能群に対して、実は統合的に見ている人がいないというようなことも分かりました。
Tableauは、エクセルでデータ分析をしている会社にオススメ
志村 Tableauが一番オススメなのは、エクセルでデータ分析の作業をしている会社さんですね。システムサイドとサービスサイドが完全に分かれてしまっている会社も効果があると思います。
例えば、小売に近い業態の会社さんですと、社内に情報システム部門があり、データベースをSIerに外注して作ってもらっていることが多いと思います。その場合、データが欲しいと考えてもSIerに依頼して取得するまでに1〜2週間かかってしまう、といったケースがあるのではないでしょうか。
そのような会社でデータベースとTableauを直接つないでしまえば、社内の人が3秒くらいでデータにアクセスして、出力されたグラフを元に直感的に分析ができるようになります。
古幡 逆に、そもそもどのようなデータで分析を行ったらいいのか分からない、というような会社だと結構苦しいかもしれません。分析するためのデータソースが必要なので、その構築に人を割けない、もしくは構築の方法が分からない、という場合はTableauを使いこなすのは難しいかなと思います。
今後も試行錯誤を続け、Tableauをより一層使いこなしたい
古幡 弊社はセクションごとに自由度があり、各自がスピーディにプロダクトを作ってリリースするプロダクトアウト的な文化があります。そのためにこれまでは、数値の集計なども個別に行っていたんですよね。
それは、経営陣から見ると、全体の数字を確認しにくかった部分があったのだと思います。今ではそこにTableauを導入したことで、サービス横断の全社的なKPIが簡単に見られるようになった、という感じですね。
まだまだTableauに関しては、我々も試行錯誤を続けているところです。今後はETL機能の追加やLinuxサーバー対応など、サービス自体も進化してくれたらいいなと期待しています。
今後もより効果的な使い方を模索して、社内の数値分析のフローを効率化し、niconicoの成長につなげていきたいですね。(了)