【追記あり】テスト自体はいいことだけど、やらんでもいいテストってあると思う

※2015/01/27　最下部に追記しました

2015年はABテストが流行るとか言われてますし、テストをしているサイトも多いですし、テストをしたい人も多いと思います。そのテストについて気になったことを。

■最近思うのは「テストする前にわかるよね？」ということです。

例えばこの記事。
神は細部に宿る！「たった1つのリンクの改善が、100万ドルを生み出した」事例から学ぶデジタルマーケティングの教訓 , クリックテールブログ

ヒートマップを分析し、そこから個々のマウスの動きを動画で見ることができる機能を使用してユーザーの実際の動きをいくつか見ることで、運営チームはようやく「なぜユーザーが予約概要ページでページを離れてしまうのか」を発見したのです。

その原因は、離脱ユーザーは、ページを進みコンバージョンしたユーザーに比べある部分に大きな注目をしていたことにありました。その部分とは、ページトップに表示されている「Special Offers（特別セール）」と記されたリンクです。予約確認ページに進んだユーザーはこのリンクに注目してしまい、それをクリックすることでページを離脱してしまっていたのです。

つまり、予約概要ページまで進んできたユーザーに対して「Special Offers（特別セール）」という新たな選択肢を与えてしまうことで、そこに一部のユーザーが流れ、結局コンバージョンをしてくれたであろうユーザーを取り逃していたのでした。

実際にテストをしたわけでなないので憶測ですが、なんで確認ページに他のページに誘導するリンクを置いてるの？って思いませんか？私はフォームを見た時点で「これは不要なのでは？」と考えるはずです。

そうすればボタン有り無しのパターンでテストすればよく、それって有料ツールじゃなくてもできますし、時間もさほどかかりません。さらに言えば、いきなり削除してしまっても問題ないように思います。

まあ、リンクを置きたくなかったけど社内的に置かざるを得ないので、削除するには数字的な根拠が必要だった。という場合であれば仕方がないですが。(でも、よくある話)。

クリックテールさんの記事を批判しているわけではなくて、使ってみればわかることってありますよね？ということです。

■経験者が少ない？

若い会社が多くなってきていますし、勢いのある会社ほどガンガン進んでいきますので、考える前にやってしまって走りながら考えていこうとなるのは分かります。

しかし、やる前にわかることもあるのでベテランの人の意見を聞きながら作っていて、アイデアとして出てきたものを完成後にテストする、という進め方が早いんじゃないかと。40%の出来のものを70%にするよりも、70%の出来でスタートして80%まで上げた方が良いでしょうし。

問題なのはそういったベテランが少ないことかなと。

社内にいなければ外部に依頼することとなりますが、そういった人は高いでしょうから「じゃあ若い衆を動かすか」となっていると思います。そもそも、分かっている人がどこにいるのかが分からない、ということもありますけどね。

（コンサルに頼んだけど上手くかなかったとか、代理店が持ってきたことをやってもダメだったとか、そういった経緯があって社内でやっている場合もあると思います。これもよくあるような。それは依頼する側に知識がないとか、いろんな意見もあると思いますが。）

■やりたい病

どこかで見たテスト記事でCVRが上がった！となっていればやってみたくなります。私も同じです。

ただし、やってみるのは構いませんが、「やってみないと分からない」ではなくて「やったら上がるはずだからやってみる」と思うことが大切です。遊びでやっているのではないので、下がった場合は会社に損失を与えることになってしまいますよね。そうならないように真剣に考える。

いきなり行動するのではなくて、考える時間を濃縮して行動まで素早くたどり着けるようにする。

いつも書いてますが「知恵＝知識×経験」です。

この二つのバランスを取りながらテストをしていければいいなと思います。

■やった感をなくす

テストをするなど何かをすると「やった感」があります。しかし、いくらやった感があってもそこにかけた時間と成果を比べて赤字になってしまっては意味がありません。

自分で考えるのであれば自分一人のコストで済んで、しかもいつでもどこでも考えることができます。他の人を動かすとそれだけお金がかかりますので、自分でしっかり考えて、最低限の動きで最大の効果を目指していきましょう。

勢いで書いたのでまとまってないですが、動く前にちょっと考えてみるだけで、かなりの効率化になると思いますよ。

■追記

ぼくらがABテストをやる理由 , Digital Marketing Blog
アンサー記事を書いていただいたので私もコメントを。

記事を書いていただいた方のプロフィールには、

【Webサイト規模】2.5億PV/月くらい

と書かれていて、本文には、

使うツールは、OptimizelyでもPlan BCDでもAdobe TargetでもDLPOでも、自社の要件にあったものを使えば良いと思います。ちなみに弊社はAdobeとPlan BCDを併用してます。

と書かれています。大規模です。スゴイ。億なんてPV数はなかなかお目に書かれるものではありません。

この規模であってAdobe製品が使えるのであればどんどんテストをやってみたいですし、やらない意味がないと思います。ちょっとした改善の積み重ねでも費用対効果が大きいですから。文中に書かれている通りだと思います。

しかし・・・。

世の中にはGoogle アナリティクスのウェブテストすら使ったことがない人もいますし、ボタンの変更の予算もなかったり、フォームにリセットボタンがついたサイトだってあります。そういった小規模の場合やサイトの機能不全がある場合ってテスト＝コストになっちゃうんですよね。いきなりやっちゃうか、他にしないといけないことがある。また、ECサイトで在庫切れを連発しているサイトでテストしてCVR上げようたって上がるわけもないです。

そもそも、それがおかしい。と思われるかも知れませんが、そうなってしまっているWebサイトは意外と多いです。

この記事で私が言いたかったことは「会社全体を見た時に、今自分がやることはテストすることなのか？」をよく考えましょう。ということです。

テストは手段です。

その手段が適当かどうなのかはその時の状況によって変わります。

大規模サイトで予算もあってツールなどの環境が整っていればどんどんやって成果を出せばいいですし、小規模サイトで予算もなければテストじゃなくて何か記事を書いた方が良いかも知れません。

臨機応変に変幻自在に対応して成果を出していきたいですね。