• リノベる株式会社
  • CMO
  • 渡会 雄一

正解に当たるまで回し続ける!3ヶ月で200回のA/Bテストから得た「意外な結果」とは

今回のソリューション:【Optimizely(オプティマイズリー)】

〜A/Bテストによって未成熟な市場におけるユーザー行動を把握。「Optimizely」の使い方〜

「WEBサイトからの問い合わせ件数を増やす」多くのWEBマーケターが抱えるこのミッションに対して、それを達成する手段をひとつに集約することはできない。現実のユーザー行動は複雑で予測がつかず、コンバージョンに至るまでの道筋を明確に定義できないケースも多いからだ。

リノベる株式会社は、リノベーションのワンストップサービスを提供する2010年創業のベンチャー企業だ。同社でCMO(Chief Marketing Officer:最高マーケティング責任者)を務める渡会 雄一さんも、入社当時に同様の課題に直面した。

「リノベーション」という未成熟な市場においては、ユーザー行動の調査を行っても、コンバージョンへと至る明確な成功パターンが見えてこなかったのだという。そこで選択したのが「Optimizely(オプティマイズリー)」によるA/Bテストだ。3ヶ月で200回のテストを繰り返したことで同社が得た「意外な結果」とは?渡会さんに詳しいお話を伺った。

住宅業界のマーケティングを進化させるためにリノベるへ!

もともとはWEBマーケティングのコンサルティング会社を経営しておりまして、リノベるとはクライアントとして3、4年程お付き合いをしていました。プロジェクトの中で、マーケティングとWEB開発、IT周りを内製化するというミッションが生まれたことをきっかけに、去年8月に社員としてジョインした形になります。

転職の決め手となったのは、住宅という業界が非常に巨大なマーケットであるにも関わらず、マーケティングは進化していないと感じたことです。それを変えることに挑戦してみたいと思ったんですね。

ユーザーテストをしても「正解がわからない」!

現在のマーケティング部は9名ほどのチームですが、入社当時は私のコンサルタント時代の担当と私だけでした。まず着手したのは、自社のサービスサイトのユーザー調査です。

住宅購入を検討しているユーザーに、実際に「家を買う」ことを想定して弊社サイトを閲覧してもらいました。その過程を全てカメラで撮影し、アイトラッキングシステムを使って画面のどこを見ているか、ということを調べていきました。

それまでの経験からすると、その調査をすればコンバージョンに至るまでの成功パターンがかなり見えてくるはずだったんですね。でも、実際のユーザー行動は多岐にわたっていて、これだ!というものを見出すことができなかったんです。

その理由のひとつとしては、弊社がビジネスを展開している「住宅のリノベーション」という市場自体がまだ新しく未熟なので、ユーザー行動をパターン化しにくかったことがあったと思います。

もともと私が考えていた仮説では、ユーザーはサイトに入ったらまず物件を探すと考えていました。世の中には賃貸情報サイトも多くありますし、同じ感覚で弊社のサイトも使われるのではないかと。

そこで、ユーザーの動線としてはまずは物件情報から入り、そこからリノベーションを知ってもらうきっかけを作ることをイメージしていたんです。しかし実際は、物件そのもののページよりもまずリノベーション後の施工事例の写真を見るユーザーの方が多かったんですね。

この調査の結果、ユーザーはリノベーションの「ビフォー写真」や「施工事例」に興味を持つといったナレッジを得ることはできました。しかし「こうすれば実際の問い合わせに繋がる」という明確な道筋は見えてきませんでした。

「ユーザーをどのように引き込んでいくか」というフレームワークを見出すことはできなかったので、これは試行錯誤するしかないな、と。逆からのアプローチと言いますか、様々なテストを行って、正解に当たるまで掘り続けていくしかないと考えました。

そこで必要になってくるのはA/Bテストなので、そのためのツールとして導入したのがOptimizelyです。

複雑なユーザー行動にも目標設定できるOptimizelyを導入

他にもいくつかツールは検討したのですが、Optimizelyを選んだ理由は主に2点です。1点目は、金額がリーズナブルだったことです。テストツールは直接結果に繋がるかどうかはわかりませんし、高額な費用を支払うのは結構しんどいと思います。

更にOptimizelyはテストの対象になったユーザーだけが金額に計上されるので、タグは全ページにとりあえず置いておくことができます。テストを頻繁に行うには便利ですね。そして2点目は、複雑な目標値の設定がしやすかったことです。

▼A/Bテストツール「Optimizely」

シンプルなA/Bテストであれば、2パターンのランディングページを用意して、それぞれコンバージョンがどう違うのかを見るだけで済みます。でも弊社の場合はコンバージョンに至るまでの動線が複雑なので、その比較だけでは不十分なんです。

例えば施工事例のページをテストすると、一度の遷移では終わらずに、そのページの中で複雑な動きをした上でコンバージョンまで至ることが多くなります。そうすると結局、あるページの最終コンバージョンのレートを取ったところで「具体的に何が効いたのか」はわからないんです。

すると、最終コンバージョンだけでなく、遷移率や、ページの様々な箇所のクリック率といった数値も目標値として併せて見ていく必要が出てきます。これらの多様で複雑な目標値を設定しやすかったのがOptimizelyでした。

3ヶ月で約200回のABテストを実行!すると意外な結果が…

昨年の10月からOptimizelyを使い始めたのですが、まずはA/Bテストをする癖をつけるために年内に200本のテストを回す、というKPIを設定して実際にやり切りました。そして、実際にテストをしなければわからなかったような意外な発見がいくつもありました。

例えば資料請求の際に電話番号の入力を任意にするか必須にするか、というテストです。それまでは資料請求の件数を増やすために入力必須の項目は必要最低限に絞っていました。

でも、電話番号の入力を必須にしてもコンバージョンは落ちなかったんです。結果的に電話で潜在顧客にアプローチをすることができるチャンスも増えたので、非常に良かったですね。

正直、本当に意味がわからない結果が出ることもあります(笑)。弊社のイベント一覧のページなのですが、単なるテキストの羅列のパターンと、リッチなレイアウトのものでテストすると、いつも必ずテキストの方が勝ちます。社員は全員一致で、リッチな方が見やすくて良いと思っているのですが…。

これは本当に正解がわからないですね。仮説として考えていることは、セミナーに参加しようというユーザーはデザインを求めておらず、情報さえ伝わればいいということです。こういったことも、実際にテストをしなければわからなかったと思います。

A/Bテストで組織が「根拠のない思い込み」から脱却できる!

200回のテストを回して、実際に全体として数字は上がってきているので効果はあったと思います。ただそれ以上に意味があったと思うのは、「今やっていることに自信が持てるようになる」ということです。

結局コンバージョンレートって水物だと思います(笑)。季節トレンドなどの影響もあって常に変動するものなので、上げようと思ってずっと上げ続けられるものでもないです。正しいと思って施策を打っても数字が下がることもあります。

その時に変えたから落ちたのか、それとも落ちたのは他の要因であって落ちていないと判断するのか。最終的には自分たちがやっていることは正しい、と思い込んで突き進んでいかなくてはいけないのですが、A/Bテストをすることでその「思い込み」をしっかり事前検証することができます。

例えば、電話番号の入力を必須にするか否かを決める際に、他部署から「それはしない方がいいんじゃないの」と反対の意見が飛んできても、きっちりと検証していくことで自分達の施策を根拠をもって証明することができます。

説得力が全然違うんですね。しっかり検証することで組織的なモチベーションにも繋がり、マーケティング部の運営効率も断然上がりました。

今は昨年ほど頻繁にテストを回しているわけではないのですが、週に1度のグロースハックミーティングでブレストした上でテスト項目を決定しています。今後は、クリティカルナンバーと呼ばれる、コンバージョンと深く相関する数字を早く見つけていきたいですね。

それさえ見つかればA/Bテストも軽量化できますし、もう少しシンプルな数値を追うことができるかなと。

テストの繰り返しで「オフライン」の取り組みも変化

A/Bテストを繰り返し行なったことで、組織自体にも変化があったと思います。オフラインの部分を担当しているメンバーも、テストをするようになったんです。

例えばデザイナーは職人気質が強いので、他と比べて計測するような検証はあまり好まないんですよね。でもマーケティングのチーム自体が「テストしよう」というモードになっているので、自然に導入できるようになりました。

デザインのようなものは結果、価値観ですよね。「良いデザイン」が何かって、正解を出すことは難しい。結果として起こりがちなのが、組織の中で声の大きい人の意見が通って、誰かが我慢してしまうというような状況です。

でもそういったことが、チーム内に不協和音を生んでしまうこともあります。それを実際にテストを行い全てユーザーに決めてもらうことで、公平になりますし、「誰が偉い」といったこともなくなります。組織としての一体感を強める上でも、非常に効果があったと考えています。(了)

;