広告効果測定の全数データ「エビスINDEX」を語る!(2)


エビスINDEXを活用したアトリビューション分析で、運用の良し悪しが解る?

イメージ

[豊澤] 最後に、このエビスINDEXを用いた活用方法を紹介しよう。
具体的には、自社の広告運用実績とエビスINDEXを比較して運用が上手いか下手かを分析する手法で、パフォーマンス要因分析、あるいはアトリビューション分析と言うんだ。

[加嶋] えっ?アトリビューションって、あの?

[豊澤] そうか、ネット広告業界にも「アトリビューション分析」という言葉があるよね。僕は言ったのは、ファンドの世界で使われている分析手法のことだよ。
これは、運用成果(パフォーマンス)の分析をする時に「勝った/負けた要因」を明らかにして翌期の運用方針を決める大切なプロセスなんだ。たとえ、パフォーマンスが好調であったとしても意図して取ったリスクではなく、単なるラッキーであれば今後続くことは期待できないよね?
反対にパフォーマンスが悪かったとしても取るべくしてとったリスクの結果で、翌期に回復が期待できるのであれば、そのリスクは取り続けるべきなんだ。

[加嶋] ネット広告業界におけるアトリビューション分析と似ている部分がありますね。

[豊澤] 元々が金融業界の言葉だからね。さて、仮に「情報サービス」を生業とするA社があって、この会社の広告運用担当者が、過去1年間の広告施策が上手くいっていたのかどうかを悩んでいたとする。月によっては前月を大きく上回っていることもあれば、下回っていることもあって、どう評価して良いか解らなくなってしまったんだ。

メディアタイプごとのクリック構成比率とCVR
(情報サービス業種に属するA社 ※)

CVR リスティング DSP・アドネットワーク アフィリエイト メルマガ 純広告
2012/06 6.28% 1.40% 2.95% 0.36% 1.11% 4.09%
07 6.11% 1.16% 3.35% 0.93% 0.89% 4.04%
08 5.17% 0.82% 1.73% 0.87% 1.15% 3.36%
09 6.16% 0.32% 1.16% 0.93% 0.87% 3.76%
10 5.72% 1.00% 1.15% 0.66% 1.23% 3.61%
11 5.52% 0.57% 2.14% 0.73% 1.09% 3.54%
12 5.35% 0.19% 1.13% 0.67% 0.72% 3.25%
2013/01 7.52% 0.83% 0.70% 0.47% 1.21% 4.51%
02 5.25% 1.17% 2.56% 0.80% 0.54% 3.42%
03 5.94% 0.25% 2.64% 0.62% 1.09% 3.78%
04 5.16% 0.33% 1.44% 0.42% 1.41% 3.27%
05 5.88% 1.51% 1.99% 0.68% 1.08% 3.81%
構成比 50% 15% 10% 10% 15% 100%

※数値例

[豊澤] まずは過去1年間のCVR推移を、A社、エビスINDEX毎に月次で出してみよう。本当は日次が良いんだけれど、今回は概念を理解して貰う為に少し簡略化するね。
例えば、国内株式、国内債券、外国株式、外国債券の4つの資産運用が上手くいったかどうかを考える時に、[1]4つの資産に対するお金の配分(構成比)の上手・下手、[2]それぞれの資産の運用の上手・下手、という観点が考えられるんだ。ネット広告に当てはめてこれを考えてみよう。[1]は本来であればエビスINDEXのコスト構成比が該当するのだけれど、残念ながらこのデータを使うことはちょっと難しいしメルマガの評価をどうするか?という問題もある。なので、代わりに過去1年分のクリック数の比率を構成比としよう。コストとクリック数には相関関係があると考えるのはそんなに不自然じゃないよね。[2]はメディアタイプごとにA社のCVRとエビスINDEXのそれを比較することでわかる。エビスINDEXのメディアタイプごとのCVR、構成比は次のようになる。

メディアタイプごとのクリック構成比率とCVR
(エビスINDEXの情報サービス業種)

CVR リスティング DSP・アドネットワーク アフィリエイト メルマガ 純広告
2012/06 3.57% 0.37% 2.21% 1.07% 1.14% 2.50%
07 3.35% 1.05% 1.81% 1.07% 1.19% 2.33%
08 2.49% 0.82% 1.16% 0.86% 0.91% 1.77%
09 2.94% 1.41% 1.33% 1.18% 1.27% 2.32%
10 3.77% 0.62% 1.71% 0.92% 1.05% 2.53%
11 3.86% 0.83% 1.05% 0.81% 0.88% 2.32%
12 4.04% 0.58% 1.02% 0.69% 0.74% 2.13%
2013/01 4.31% 0.25% 2.73% 0.71% 1.12% 2.77%
02 4.24% 0.33% 1.97% 0.96% 1.11% 2.70%
03 3.30% 0.26% 1.11% 0.57% 0.65% 1.66%
04 2.15% 0.24% 1.05% 0.62% 0.58% 1.43%
05 2.39% 0.45% 1.36% 0.78% 0.80% 1.70%
構成比 52% 5% 5% 14% 24% 100%

[加嶋] これだけで、A社の過去1年間の広告施策は上手くいっていたのかが解るんですか?

[豊澤] そうだよ。さっそくクリック構成要因(クリック構成比率の違いによる効果)を見てみよう。この分析で、よりCVRが獲得できる領域に比重を置いているか否かが解るんだ。計算式は次の通りになる。

クリック構成比要因 計算式
CVR リスティング DSP・アドネットワーク アフィリエイト メルマガ 純広告 クリック構成要因
2012/06 -0.02% -0.21% -0.01% 0.06% 0.12% -0.07%
07 -0.02% -0.13% -0.03% 0.05% 0.10% -0.02%
08 -0.01% -0.10% -0.03% 0.04% 0.08% -0.03%
09 -0.01% -0.09% -0.05% 0.05% 0.09% -0.01%
10 -0.02% -0.19% -0.04% 0.06% 0.13% -0.06%
11 -0.03% -0.15% -0.06% 0.06% 0.13% -0.05%
12 -0.04% -0.15% -0.06% 0.06% 0.13% -0.07%
2013/01 -0.03% -0.25% 0% 0.08% 0.15% -0.05%
02 -0.03% -0.24% -0.04% 0.07% 0.14% -0.09%
03 -0.03% -0.14% -0.03% 0.04% 0.09% -0.07%
04 -0.01% -0.12% -0.02% 0.03% 0.08% -0.04%
05 -0.01% -0.12% -0.02% 0.04% 0.08% -0.04%

[豊澤] これを見ると全体的にマイナスの傾向になっていることが解るよね。つまり、全体的に見てクリックの構成比がエビスINDEXと比較して上手くいっていないということなんだ。
特に「DSP・アドネットワーク」の落ち込みは目に留まる。少し詳しく確認するとA社の「DSP・アドネットワーク」の構成比が15%であるのに対し、エビスINDEXは5%と構成比が高く、かつ「DSP・アドネットワーク」のCVRは全体のCVRを大きく下回っているからなんだよね。
資産運用に例えるとパフォーマンスのよろしくない資産によりお金を配分していると言えるね。

[加嶋] でも、それは仕方が無いんじゃないですか?
もともと認知度を上げるという役割もありますから、CVRは全体と比較しても低めに出ると思います。

[豊澤] そうなんだ。この場面でネット広告業界で言うところのアトリビューション分析が必要になるだろうね。直接CVで見るのではなく、CVに至ったユーザーの全体のフローで見て、どの広告がCVに寄与しているか数値に表し、係数としてそれを各CVRに掛ける。そうすれば、「DSP・アドネットワーク」が全体CVRを大きく下回っていることは関係無くなる。
今回は統計データとして公開できるほど分析できていないけど、今後は是非取り組んでみたいね。

さて、話はここで終わらないよ。さらに個別のメディア運用のパフォーマンスについてもエビスINDEXとの乖離を計ることで要因分析をしてみようか。
この分析で、同業他社の平均的な姿と比較してCVRが獲得できているかが解るんだ。計算式は次の通りだよ。

メディア運用要因 計算式
CVR リスティング DSP・アドネットワーク アフィリエイト メルマガ 純広告 メディア運用要因
2012/06 1.36% 0.15% 0.07% -0.07% 0% 1.51%
07 1.38% 0.02% 0.15% -0.01% -0.04% 1.49%
08 1.34% 0% 0.06% 0% 0.04% 1.43%
09 1.61% -0.16% -0.02% -0.03% -0.06% 1.35%
10 0.98% 0.06% -0.06% -0.03% 0.03% 0.98%
11 0.83% -0.04% 0.11% -0.01% 0.03% 0.92%
12 0.65% -0.06% 0.01% 0% 0% 0.60%
2013/01 1.60% 0.09% -0.20% -0.02% 0.01% 1.47%
02 0.51% 0.13% 0.06% -0.02% -0.09% 0.59%
03 1.32% 0% 0.15% 0.01% 0.07% 1.54%
04 1.50% 0.01% 0.04% -0.02% 0.12% 1.66%
05 1.74% 0.16% 0.06% -0.01% 0.04% 2.00%

[豊澤] これを見るとエビスINDEXのCVRに比べて、それを上回ってCVRを獲得できているのが解るよね。つまり、広告運用担当者が非常に優秀ということだよ。メルマガだけは頑張りどころだけど、それを補って余りあるのがリスティングの運用だと僕は思う。
極めて重要なのは、3月から4月に掛けて、リスティングのCVR自体は5.94%から5.18%に落ち込んでいる。けど、4月度のメディア運用要因のリスティングCVRを見ると1.50%のプラスだ。
これは同業他社がそれ以上に落ち込んでいることを意味している。そして、これこそが僕がやりたかった相対リターンの視点なんだ。

[加嶋] これって、もしかして…構成比を変えれば、もっと改善の余地はあるということですか?

[豊澤] さすが、飲み込みが早いね!
その通りだよ。翌月は構成比を変え、最もCVRが上がるよう配分を変えるべきなんだ。そうすれば、まだまだCVRは伸びる余地がある。もちろんメルマガの運用を頑張ってパフォーマンスをあげることも必要だね。
このように、エビスINDEXを使って要因分析をすることで、これまでなかった相対的な観点からも広告運用を考えることができるようになるんだ。本来であればコストで構成比を出したいところではあるのでそこは注意が必要だね。
他にも、この結果をもとに様々な多変量解析手法を活用することで例えば、6月のCVRを予測することもできる。統計は非常に奥が広い領域なんだ。

最後に

[加嶋] 今回は本当に面白い話が聞けました!ありがとうございます!

イメージ

[豊澤] でも、まだ足りない部分はいっぱいあるんだ。
例えば、CVと言っても、商品購入か、問合かで重みは全く違うからね。もっとデータの領域を拡張しなきゃいけないと思う。
そのためには、エンジニアの理解と協力が不可欠だ。
今回は、産業技術総合研究所と大量データの処理に関して共同研究を進めた成果であることももちろんだし、アドエビスの開発に一貫して従事している松本君が、何度もデータを作り直してくれたからこそ上手くいった。

マーケティング・プランニングは、マーケッターだけのアウトプットにはもう頼れないと思うんだ。
エンジニアやデータサイエンティストなどの専門家とチームを組んで、今まで単独では生み出せなかったアウトプットを創出することが、これから欠かせないと思う。
今回はアドエビスのデータのみだったけど、今後は他のツールのデータも取り込んで共同研究してみたいね。あらゆるマーケティング施策の全数データを統計学的観点で分析していく「ad-stat」の世界は、まだまだ始まったばかりだからね。

[加嶋] 今日は本当にありがとうございました!

【参考文献】
砺波元「資産運用のパフォーマンス測定 」金融財政事情研究会,2000年
小菅孝, 穐田みちる「ファンドの評価分析について 」三菱UFJ信託銀行 視点,2011年12月号

今後、エビスINDEXに関して順次して公表していく予定です。
ご意見、ご感想、また共同研究して頂ける方を募集しておりますので
ご興味のある方は、是非、お問い合わせください。