それA/Bテストになってないですよ!

サイト内やLP、広告クリエイティブの効果改善などをするに際し、どちらのパターンのクリエイティブが良いかわからないので、「とりあえずA/Bテストしましょう!」

Web業界あるあるですが、上記発言がよく出回っているかと思います。

効果が全て数値で分かる事がWeb業界の良い所であり、どうなるか分からないこそPDCAを回す、という事は最大の利点です。

しかし、業界内でも適切ではないA/Bテスト方法が散見されるので、今一度A/Bテストのやり方や不適切なA/Bテストが横行している原因などを洗い出しましょう。

間違ったA/Bテストあるある

そもそも検定結果の有意差がついていない。

検定結果をつけるのにはそれなりのサンプル数が必要になります。
また、どこをテストするのかによっても必要サンプル数の絶対値は変わります。
TOPページなのか、サービス詳細ページなのか、エントリーフォームなのか等。

例)
エントリーフォームでのテストを行ったとします。
分析結果の現状エントリーフォームでの離脱が9割を超えるという現象が起きていたとします。
エントリーフォームツールの管理画面では、下記の項目が離脱の大半を招いていると判明しました。

※必須事項
このサービスを何経由で知りましたか?

仮説としては恐らく自由形式記述の項目が必須項目として入っていたので、入力が面倒で離脱しているのかもしれません。
そのため以下の方法でA/Bテストを行いました。

■テストパターン
・エントリーフォームに、このサービスを何経由で知りましたか?の項目なしのパターンA
・エントリーフォームに、このサービスを何経由で知りましたか?の項目ありのパターンB(オリジナル)

■検証結果
極端の例でいえば、
・フォームに集まったサンプル数が100
・AのパターンのCV数 5件 
・BのパターンのCV数 4件 

果たして上記は有意差がついていますでしょうか。
答えはついていません。

1件CVがBに入ればCVRは同率になってしまいますので、明確な差ができていません。これでAの方が勝っている!と結論を出して、フォームを固定化してしまうのはまずいです。

実際よくあるあるなのですが、A/Bテストを回す=とにかく大量にテストをすること。というイメージが根付いている方が多いのが現実です。
A/Bテストを確かに課題に対して色々試すことは大賛成です。

しかし、有意差がついていないのにも関わらずテストを繰り返した所で、検証になっていないのでそもそも意味がありません。

A/Bテストは【素早く、正確に】サイクルを回すことに意味があるのです。

よくあるケースは、
・事業主サイドの担当者が、上長から検証結果の報告をせかされている。
・広告代理店に対してもっとたくさんテストして!という結果ではなく、量をコミットさせてしまっている。

上記です。
これは結果を出していくという点からみると、本質からずれているパターンの例です。A/Bテストは単純に2パターンを回せば良いわけではないという事がご理解頂けたかと思います。

Googleアナリティクスやヒートマップツール等によるアクセス解析

課題点の抽出

仮説設計

クリエイティブ作成

検証開始

検定
の繰り返しです。

上記の各ステップそれぞれのやり方を正しく理解して進めていきましょう。

そんなときはデジパラ!

「デジパラ」では上記の様なA/BテストやLPOなどの課題整理ができる、Webディレクターやアクセス解析、Webデザイナー人材、CMO人材がいます。
上記のような課題がございましたら、是非お問い合わせください。

「デジパラ」は貴社のマーケティング課題を解決する人材を、プロジェクトとしてアサインさせて頂きます。

「デジパラ」は貴社のDX課題やマーケティング課題を解決します。

サイトURL
https://digipara.comix.co.jp/

お気軽にご連絡くださいませ!

次の掲載予定コンテンツは、
『A/Bテストの進め方ってどんなパターンがあるの?』です。

事業責任者
吉田沖人
o.yoshida@comix.co.jp

執行役員

大学を卒業後、2016年度新卒として株式会社コミクスに入社。
入社後は運用型広告のチームにて、デジタルプランニングを経験した後に営業部へ転籍。デジタルマーケティング領域の課題解決を中心にコンサルタントとして活動中。
2018年9月の24歳で執行役員に就任。
営業活動の傍ら、マーケティングのインハウス化を実現させるサービス、
「デジパラ」を企画・立案。