まだA/Bテストを感に頼ってるの？

こんにちは、attripです。Google Optimize(オプティマイズ）使ってますか？

前回、関連記事数は、何本出したらいいのか？というテストをやりました。

参考url:Google Optimize(オプティマイズ)で記事下の紹介する記事本数を最適化

この結果、AdSenseのクリック率つの高いテキストで２本表示するというものを採用しました。とはいえあまり差がつかなかったのでもっと大胆にA/Bテストをやることにしました。

関連記事をどのように出すのが良いのか？A/Bテスト

まず、モバイルの関連記事の表示についてです。今回は、画像付きがいいのか？テキストのみが良いのか？それとも両方がいいのか？
この３パターンでテストすることにしました。

オリジナルパターン

全部入れたバージョンです。

関連記事に画像を入れたパターン

仮説として、テキストだけより押されやすいんじゃないかと思っています。

 

テキストのみのパターン

元々のパターンです。前回２件表示が良かったパターンです。

オリジナルパターン

テキストの関連記事と画像を入れたパターンと２種類入れたパターンです。

 

画像のみのパターン

画像を入れることで関連記事を押されやすくなるんじゃないかと思っています。

テキストのみのパターン

関連記事をテキストのみにしたパターンです。これも前回１番良かったものです。

A/Bテストやってみないとわからない

前回、関連記事の本数で差が出ましたが表示を大胆に（大胆にというのが大事）変更することで大きな差が期待できます。

色を変えただけなどのテストじゃなくて思いっきり表示を変えてテストすることで大きな期待ができます。

まだ、数日仕方っていませんが現在の傾向として全部表示が１番閲覧PV数や滞在時間が長い傾向にあります。

また、AdSenseのクリック率は、画像のみのパターンが優勢です。

数日間は、データがかなり動くため１週間から２週間様子を見ます。（最低でも１週間みないときちんとしたデータがでない。）

 

A/Bテストで明らかに悪い結果が出た場合に途中で変更もできる

今回のテストのパターンでは全部表示したパターンがテキストだけや画像付きのパターンに比べかなり悪い結果が出ている。なので、テストを変更することができる。

だって、あまりにデータが悪いとサイト運営者としては、辛いよね。。。。

A/Bテストで悪い結果が出たのでテスト割合を変更

元々は、33%　33%   33%の割合で配信していたけど明らかに悪い結果だったので、

A/Bテストの割合を1% 49% 50%に変更。

A/Bテスト途中でも配信割合を変更できるのって便利だね！！！

ただ、注意事項が出ている。

Changing weights can affect data — Since changing variant weighting only affects visitors new to the experiment, it can affect your experiment results.

ウェイトを変更するとデータに影響する可能性があります。変動ウェイトの変更は、実験に初めて訪れたユーザーにのみ影響しますので、実験結果に影響する可能性があります。

これを了承する。
でも、本当は作り直した方がいいかもしれないね。

A/Bテストの条件設定

今回は、このような設定にしました。

urlが１を含むもの

モバイルとモバイルを含まないものでテストを実行しています。

モバイルのA/Bテストの条件設定

PCのA/Bテストの条件設定

 

A/Bテストの条件設定が難しい？

個人でやったりするのには、ちょっと難しいかもしれませんね。でも慣れれば大丈夫！！

また、会社でテストしたいでもサポートが必要だという人はサポートしてくれるサービスもありますよ。

 

Google オプティマイズ向け サービスDESK│Google アナリティクス 360 スイート
https://dev-googleanalytics360-suite.e-agency.co.jp/service/google_optimize_service_desk/

Google オプティマイズ 360│Google アナリティクス 360 スイート
https://googleanalytics360-suite.e-agency.co.jp/product/optimize/

• Google Optimize(オプティマイズ）で関連記事の出し方についてどれが良いのかA/Bテストその２
• Google Optimize(オプティマイズ)で記事下の紹介する記事本数を最適化
• Google アナリティクスと連携してA/BテストできるGoogle Optimizeがおもしろいぞ！魅力を少し伝える。