今回のソリューション：【GoogleBigQuery/グーグルビッグクエリ】

Webサービスやネイティブアプリの運用者を常に悩ませてきたのが、アクセスログの管理・解析の手法だ。これまで様々なデータベースが世の中に登場してきたが、共通して言えたのは、データ量が増えれば増えるほど解析スピードが鈍化するということだった。

それに対処するためサーバーに高額な投資かけると、結果的に管理コストが膨らむことも課題であった。

そこに革命を起こしたのが、 Google Cloud Platform が提供するビッグデータ解析サービス「Google　BigQuery（以下、BigQuery）」だ。BigQueryを使うと、数テラバイトのデータに対しても僅か数秒で SQLクエリを実行することができる。

とにかく高速で、しかも安い。Googleの革命的な大量データ分析用テクノロジーを存分に活かしたサービスだ。

「おやこでスマほん」や「おやこでリズムえほん」といった、親子で遊べる乳幼児や子ども向けの教育・知育アプリを提供している株式会社スマートエデュケーション。同社では現在50本以上のアプリを運用し、その累計ダウンロード数は1,500万を突破した。

そして、そのアクセスログをすべて管理しているのがBigQueryだ。同サービスの高速パフォーマンスを活かし、Google スプレッドシートとの合わせ技で様々な指標がリアルタイムに可視化される仕組みを構築している。

同社でCTOを務める谷川 裕之さんに、「最強」と語るBigQueryについて、詳しいお話を伺った。

夢を見て大企業を飛び出し、最初は後悔するも…

弊社は2011年に5人で設立した会社なのですが、私は最初、フリーのエンジニアとして協力していました。現在はCTOを務めています。

新卒で就職するときはいわゆる「SE大量採用」の時代で、比較的大きな会社にシステムエンジニアとして就職し、製造関連の業務システムの開発などに関わりました。

ただ個人的にはInstgramのようなWebサービスが大好きで、toCのビジネスにどうしても関わりたくなってきたんです。そこで28歳の時に思い切って、とあるWeb系のベンチャーに転職しました。

その時はただ夢を抱いて飛び出したのですが、そうしたら、その会社が超ブラックで（笑）。入社した初日から徹夜だったんですよ。全然終わらなくて、帰れない。衝撃でしたね。

それまでは変な話、ただ1日座っていれば良かったというか、担当の画面をコーディングしたらそれで終わり。

でもベンチャーの場合は全て自分でする必要がありますし、仕様書もないまま口頭ベースで仕事がどんどん進んでいく。最初のうちは技術もそこまでなく、働きながら学んでいったので本当に大変でした。

その後、フリーランスとして活動していく中でスマートエデュケーションの創業メンバーに出会いました。一緒に創業することを決めた理由は、他にはない「専業で子ども向けのサービスを作る」というビジネスに面白さとオリジナリティーを感じたからです。

もともと世界を目指したいという気持ちがあったのですが、この領域であればそれが可能なのではないかと思ったことも大きかったです。

新領域での挑戦には参考指標がなく、試行錯誤しながらKPI設定

これまで50本近くのアプリをリリースしてきましたが、そのアクセス解析に関しては、手探りでいろいろ試行錯誤してきました。

そもそも世の中になかったサービスを作っていったので、参考にすべき数値も分からなくて。

教育というカテゴリー全体の規模感の中で、どのくらいであれば良いのか悪いのか、判断できなかったですね。アプリを20個以上運用するようになってようやく、アプリ同士の比較からある程度基準が見えてきたという感じです。

弊社のアプリは、寿命が長いことがひとつの特徴かなと思います。2、3年のレンジで長く使ってくださるユーザーの方も多くて、一番最初にリリースしたアプリもまだ運用しています。

古い技術が使われてしまっているので、エンジニア的にはちょっと嫌なんですけれども（笑）。でもありがたいことですよね。

新しいアプリをリリースすればするだけ総アクセスログの量が増えていくという状態になるので、それに合わせてデータベースの設計やデータ解析の仕組みも何度も見直してきたという背景があります。

SQLが3時間返ってこない…　想定外の膨大なログ管理に苦しむ

実は今回のBigQueryの導入は、データベースに関して4度目の作り直しなんです。最初はログを単純にデータベースに乗せて、バッチ処理をかけて、サマリーの数値を管理画面で見るような形にしていました。

その後はレコード単位のinsertやupdateをMongoDBで受けて、Redshiftにデータをエクスポートするような仕組みを作ったり。

基本的なKPIは毎朝メールで通知されるようにして、それとは別に欲しい数字がある時には各自でクエリを叩いて取ってきていました。弊社のビジネスサイドのメンバーって元SEの人が多くて、SQLが書けちゃうんですよ。

どうして4回も作り直すはめになったのかというと、そもそもこんなにアプリの数が増えることを想定していなかったんですね。数が増えれば増えるほど、データ取得に時間がかかるようになって…。「SQL投げて3時間くらい返ってこない…」みたいな事態が起こるようになってしまいました。