▼プッシュ通知の開封率は、時間の経過と共に上がる

そのため、プッシュ通知で多腕バンディットアルゴリズムを使う場合は、始めの方は「活用」の割合を増やさず「探索」に力を入れたほうが良いんです。

具体的に言えば、1回目の配信で3パターンを33,333通ずつ配信して、Aパターンは2%、Bパターン1.8%、Cパターンは1.7%、といった差が出たとしても、2回目の配信数における各パターンの割合はそこまで変化させずに「探索」を続けます。

時間の経過と共に徐々に「探索」から「活用」にシフトさせることで、本当に効果が出るプッシュ通知を数多く配信し、限られた試行回数の中で最大限の収益を上げられるようになります。

A/Bテストでは、限られた試行回数の中での最適化は難しい

多腕バンディットアルゴリズムとA/Bテストの違いは、限られた試行回数の中で収益を上げることができるかどうかです。A/Bテストは2つのコンテンツの効果の違いをとにかく探る、「探索」に大きく寄ったメソッドです。

効果の大きさに関係なくすべてのコンテンツを同じ回数試すことになるので、結果的に限られた試行回数の中では収益を最大化できません。

一方で、多腕バンディットアルゴリズムの場合は、最初の「探索」の後、そこで得た結果をすぐに次の試行に活かすことができます。

ある一定の期間同じものが表示されるバナー広告やWebサイトの改善であれば、A/Bテストが向いていると思いますが、一方でプッシュ通知のように短期間で結果を出さなければいけないものは、マルチアームバンディットアルゴリズムが最適です。

アルゴリズムの適用で、通知の開封率が5%アップ！

多腕バンディットアルゴリズムを使ってプッシュ通知を改善したことで、開封率は5%ほど上がりました。

10回の施行を終えた段階での最終的な配信比率は、差が大きいケースだとAパターンが7割、Bパターンが2割、Cパターンが1割、といった数値になります。

これらの配信結果は、TableauというBIツールを使い、1日おきに自動集計をかけてすぐに確認できるようになっています。

10回に分けて配信しているのは、色々と試行錯誤した結果です。iQONのプッシュ通知の配信数を前提にした時に、5回ではあまり成果が上がらず、逆に10回以上にしてしまうと1度の配信数が少なすぎて結果がぶれてしまいました。

試行錯誤の結果、10回位に分けることがよいという結論に落ち着きました。

通知に関するナレッジの蓄積ができるようになった

多腕バンディットアルゴリズムを活用したことで、プッシュ通知に関するナレッジの蓄積ができるようになりました。以前はプッシュ通知の文言は1パターンしか送っていなかったので、どのような文言が開封率に寄与するのか分かりませんでした。

プッシュ通知の対象になるコンテンツの内容は毎日変わります。仮に「数値を入れると開封率が上がる」という仮説を持って2日間実験し、実績が出たとしても、その差が数値を入れたことで出たのか、コンテンツの違いによって出たのか、判断できなかったんです。

今では3パターンの文言を使って配信できるようになったことで、同じコンテンツのもとで仮説検証ができるようになりました。「女優や有名なモデルさんの名前を文言に入れると変わる」など、具体的なナレッジを蓄積していくスピードが上がりましたね。

▼実際に3パターンの文言をテストした時の配信比率の推移

人の感情をデータで解析し、感動体験を生み出したい

VASILYに入社して最初に手がけたのがこのプッシュ通知の改善になりますが、ファッション領域の中で、データサイエンティストとしてできることはまだまだ沢山あります。

例えば、ユーザーが見ているコンテンツからその人のファッションの嗜好性を推定し、リコメンドにつなげるようなこともこれからですね。データサイエンティスト自体が少ない領域でもあるので、個人的には非常に面白い挑戦だと思っています。

ファッションって、エモーショナルな部分が本当に大きいんです。それをテクノロジーやビッグデータを使っていかに解明していけるか。そして結果的に、ユーザーに喜ばれるものを提供し、感動を与えることができたら嬉しいな、と思っています。（了）

※多腕バンディットアルゴリズムについて解説していただいた前編はこちらです。