【中文】a / b?★★★★★★★★★★★★★★★★★★★★★★a / b結果に関する記事は広く読まれていますし,既にメールの件名やSNSの投稿をa / b。
A / Bテストについては様々なことが言われていますが,多くのマーケティング担当の方に正しく理解されているとは言えないようです。テスト結果については…残念ながら、適切に行われていないテストの不正確な結果に基づき、ビジネス上の重要な意思決定がなされてしまっているかもしれません。
ここで問題となっているのは,特にショップオーナー向けに作成されたコンテンツにおいて,A / Bテストが過度に単純化されているケースがしばしば見受けられることです。
，，，，，，，，，，，，，。ここではEコマースのA / Bテストを始めるために必要なすべての事柄を,出来るだけ分かりやすくご説明します。
目次
a / b
A / Bテストは,スプリットテストとも呼ばれ,同じウェブページにおける2つのバージョンを比較し,どちらのパフォーマンスが優れているかを判断するプロセスのことを言います。
このプロセスによって,ビジネス上の質問に対する重要な答えを得ることができます。既存のトラフィックからの収益を増やすことができますし,データに基づいたマーケティング戦略の基盤を築くことが可能になります。
a / b
まず初めに,ビジターの50%をバージョン一として表示し(こちらをコントロールと呼びます),残りの50%をバージョンBとして表示します(こちらをバリアントと呼びます)。
。。100%。
。
コンバージョン率は,成功のための完璧な尺度とは言えません。。。
。
A/B/n
A/Bn。上記で挙げたビジターの50%をコントロールとし,50%をバリアントとして表示する代わりに,例えばビジターの25%をコントロールとし,最初のバリアントを25%,2番目のバリアントを25%,3番目のバリアントを25%として表示することができます。
中文:。多変量テストを実行する場合,複数のバリアントをテストするだけでなく,複数のエレメンツもテストします。目標は,どの組み合わせが最適に機能するかを把握することです。
。
a / b
1、。有意性を得たからといって,テストを停止しないようにしましょう。啊哈，事前に決められたサンプルサイズを満たしている必要もあります。すべてのテストを1週間単位で実行することを忘れないようにしましょう。
★★★★★★★★★★★★★★★★★★★
- “
- 異なるすべてのトラフィックソース(Facebook,ニュースレター,オーガニックサーチなど)を考慮に入れることができる。
- 例えば金曜日のニュースレター等の例外をを考慮に入れることができる
もしこれまでにA / Bテストツールを使用したことがあるならば,統計的有意性を示す小さな緑色のアイコンをご覧になっているかもしれません。
★★★★★★★★★★★★★★★★★★★★のちに統計に関する訓練のところで詳しくお伝えしますが,統計的有意性とはテストを停止するといったサインではなく,有意性に到達したとしても,その必要があるとは言えません。
また,所定のサンプルサイズについては,見かけほど困難ではありませんので,埃文·米勒(Evan Miller)你怎么能这么说?
上記の計算では,現在のコンバージョン率が5%の場合,15%の効果を検出するには,バリエーションごとに13533のサンプルが必要であるとしています。
a / b。
★★★★★★★★★★★★★★★★★★★★★★★★★★
★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★この場合,バリエーションごとに47127のサンプルが必要となり,従って標準的なA / Bテストの場合には,合計で100000人のビジターが必要です。
。テストは、有意性を得たとしても、あらかじめ決められたサンプルサイズに達するまで停止することができません。停止した場合、テストは有効とはならず、このことが「100のコンバージョン達成後に停止する」といったベストプラクティスに、あてもなく従うことができない理由なのです。
1个字，1个字，1个字，1个字，1个字。トラフィックは曜日や時刻によって変化する可能性があるため,必ず曜日を含めるようにしてください。
a / b
100年Facebook広告にドルを費やして,サイトに10人のユーザーを招いたとします。25。。50。
今度は,同じようにFacebook広告に100ドルを費やし,10人を招いたとします。。， 25。
もちろんこれは単純化された例ですが,コンバージョン率を上げることで,同じトラフィックからより多くの利益を生み出すことが可能になります。
A / Bテストは,その勝敗に関わらず,洞察を明らかにするのにも役立ちます。この値は非常に汎用性が高く,例えば,製品説明のコピーライティングのA / Bテストから得られた洞察は,その他の製品説明などにも役立つことでしょう。
。
a / b
これは必ずしも必要ではなく,トラフィックの少ないサイトの場合,A / Bテストはおそらく良い最適化のための作業とはいえないでしょう。例えばユーザーテストの実施や,お客様とのコミュニケーションによって,投資利益率(ROI)が高まる可能性があります。
> > > > > > > > > > > > コンバージョン率の最適化 ★★★★★★★★★★★★★★★★★★★★★」
全英文，全英文，全英文，全英文，全英文，全英文。ベースラインのコンバージョン率が5%の場合,8%の効果を検出するには,バリエーションごとに47127人のビジターが必要です。……商品ページをテストするとして,2 ~ 4週間で100000人近くのビジターを呼び込むことは,果たして可能でしょうか。
★★★★★★★★★★★★★★★★★★少なくとも2つのフルビジネスサイクルの間,テストを実行するようにと前述しましたが,それには通常2 ~ 4週間かかります。。
なぜなら,テストの実行時間が長くなるほど,外部からの脅威やサンプル汚染の影響を受けやすくなるからです。ビジターが饼干を削除し,新しいビジターとしてA / Bテストに再入力されるかもしれませんし,誰かが携帯電話からデスクトップに切り替え,別のバリエーションに含まれることになるかもしれません。
。
2~4个。トラフィックが増加するまで,最適化するための他の方法を適用できないショップも含まれます。
Shopifyのデータサイエンティストである茱莉亚Starostenkoは,次のように説明しています。
Julia Starostenko, Shopify
a / b
A / Bテストについて,何を対象としたらよいかを具体的に説明することは,残念ながらできません。もし”すぐにテストすべき99の項目のリスト”といったものを提供できるならとても楽ですし,多くのマーケティング担当者たちも喜んで実行することでしょう。
。みなさんのデータやカスタマーへアクセスすることができませんので,何をテストすべきかについて,ここでは有意義なアイデアをお伝えすることが叶いません。
。
(1)、(1)、(1)、(2)、(2)、(2)、(3)、(3)、(3)、(3)、(3)。
- テクニカル分析:ショップはすべてのブラウザで適切かつ迅速にロードされていますか。。ご自身はiPhone Xをお持ちかもしれませんが,誰かしらは2005年からずっと摩托罗拉雷蛇を使用しているかもしれません。。
- オンサイト調査:ビジターが閲覧している時にポップアップ表示されます。例えば,同じページにしばらく滞在しているビジターに,購入を妨げている何かがあるかどうかを尋ねることがあります。。。
- 顧客インタビュー中文:中文:中文:中文:中文:中文:中文:中文:中文:中文:。。お客様はどのような方々で,なぜショップから購入するのか,核心に迫る無数の質問を投げかけることができます。
- 顧客調査:。調査を設計する際には、お客様やお客様の解決したいと望んでいる問題、購入前に何をためらっているのかを定義し、お客様がショップについて説明する際に使用する語句の特定を行います。
- ? ?中文:。。? ?とは、解析の中に飛び込んでゆき、ビジターがどのように行動するのかを分析することです。例えば、ビジターの多くが逸脱しがちな場所が分かれば、そこはテストを開始するのに適しています。
- ユーザーテスト当前位置:。例えば,40 ~ 60ドルの範囲内でビデオゲームを見つけてカートに追加するよう勧めることもできますし,タスクが実行されている間,お客様の考えや行動が手に取るように分かります。
- 这是我的梦想:ユーザーテストに似ていますが,リアルなお金と購入意欲を持った,リアルなお客様に対応しています。実際にビジターがサイトを航行するのを見ることができ,商品を見つけるのにどこで苦労しているか,または混乱しているのかなどが分かります。
他にもリサーチ方法はありますが,以上の7つの方法は良い出発点となるでしょう。いくつか実行してみると,データに基づいたテスト内容の膨大なアイディアリストを手にすることができ,“今すぐテストすべき99のこと”といった記事よりもずっと多くの価値をもたらすでしょう。
a / b
A / Bテストの膨大なアイデアリストはエキサイティングですが,テストの対象を決定するのには,正確には役立ちません。★★★★★★★★★★★★★，，，，，，，，，，，，，，，，，，，，
。
- 冰:ICE, Impact(冲击)，Confidence(自信)，Ease(轻松)。1~10，。例えば,開発者や設計者の助けを借りずに自分で簡単にテストを実行できる場合は,容易性を8にするとよいでしょう。ご自身の判断基準を使用しつつも,テストを実行する人が複数いる場合,ランキングが主観に偏る可能性があるので,客観的に判断するためのガイドラインがあると役立ちます。
- 派:派は,潜在力(潜在的),重要性(重要性),容易性(缓解)の略です。1~10。例えば,テストがトラフィックの90%に達する場合は的重要性を8に設定できます。派はICE同様主観に偏りやすく、ここでも客観性に導くガイドラインが役立ちます。
- PXL: xxl, xl, xl, xl, xl，。。3、“。“。" > > > > > > > > > > > > > > > > >“”，。
どこから始めればよいか,既にアイデアが浮かんでいることと思いますが,以上はアイデアをカテゴライズするのにも役立ちます。。
- 実行当前位置:哇，哇，哇，哇，哇，哇。。
- 調査中文:∕∕∕∕∕∕∕∕∕∕∕∕∕∕∕∕∕∕∕∕∕∕∕∕∕∕∕∕∕∕∕∕∕∕∕∕∕∕∕∕∕∕∕∕
- テスト:健全でしっかりとしたデータに基づいているもの。!
a / b
。整整整整，整整齐齐，整整齐齐，整整齐齐，整整齐齐，整整齐齐，整整齐齐。
。今ではテストツールのおかげで,オプティマイザの仕事は楽になりましたが,テスト結果を後で分析するには,舞台裏で何が起こっているかを根本的に理解することが重要です。
Alex Birkett, HubSpot
好吧
中国，中国，中国，中国。(1)、(1)、(1)、(1)、(1)、(2)、(3)、(3)。
。世界中のすべてのビデオゲームの価格を加算するのではなく,すべてのビデオゲームの数で割るのでもありません。。
。代表的なサンプルを一つ選択した場合,200のビデオゲームの平均価格は,世界中のすべてのビデオゲームを代表していると考えます。
? ?
★★★★★★★★★★★★★★★★★★★。
。
哇!哇!哇
。
200例えば,サンプルをのビデオゲームから2000に増やした場合,ばらつきはより少なくなり,さらに正確な平均値となります。
中文:哇
Aとの間に違いはないと仮定した場合,どれだけの頻度で偶然に効果が見られるでしょうか。
統計的有意性のレベルが低いほど,勝った方のバリエーションは,実は全く勝者でははなかったという可能性も大きくなります。
簡単にいうと,有意水準が低い場合,勝者が本当の勝者ではない可能性が高いということです。(これが,偽陽性と言われるものです)。
ほとんどのA / Bテストツールは,事前に決定されたサンプルサイズまたはある時点に達するのを待たずに,統計的有意性を得たと判定することに注意しましょう。。
CXL研究所の創設者である偷看Lajaは,統計的有意性と,なぜそれが重要なのかをより多くの人たちが真に理解してくれることを願い,次のように語っています。
我是CXL研究所的佩普·拉贾
平均への回帰とは何か
a / b。
平均への回帰とは,最初の測定で何かが極端だった場合,2回目の測定では平均に近づく可能性が高いという現象です。
テストを停止する唯一の理由が,統計的有意性に達したためであった場合,偽陽性が発生している可能性があります。。
哇，哇
a ?
。。ここでは,ほとんどのA / Bテストにおいて,80%の統計的検出力が標準であるということを知っていれば大丈夫です。
在线对话の創設者である吨韦塞尔は,より多くの人たちに統計的検出力について知ってほしいと願いつつ,次のように語っています。
tonwesseling，在线对话
“通膨、通膨、通膨、通膨、通膨、通膨、通膨”。肯定的な変化が影響を与える証拠を見つける可能性が低い実験を,どうしてわざわざ実行するのでしょうか”
你知道吗
。译:
- ブラックフライデー,サイバーマンデーセール
- 報道におけるポジティブまたはネガティブな言及
- 主要な有料キャンペーンの開始
- 曜日
- 中文:中文
12个月，。そうすると,ホリデーシーズンなどによって,その月間はトラフィックが増加するかもしれませんが,1月になると,勝者の業績はそれほど芳しくないといったことに気付くかもしれません。
。
テストの決定に基づいたデータが異例だったので,1月に入って状況が落ち着いてみると,勝者が負けていることに驚くかもしれません。
外的妥当性の脅威を排除することはできませんが,テストを1週間の間(月曜日にテストを開始して金曜日に終了しないように)実行することで軽減できます。様々な種類のトラフィックを含めるようにして(有料のトラフィックのみをテストしてから,結果をすべてのトラフィックソースに反映させたりしないように)潜在的な脅威に十分注意しましょう。
a / b
何かをテストする時には,事前に堅固な仮説を立てる必要があります(たった今数学のレッスンを終えたところで,今度は科学に取り組もうとしています)。
。仮説は測定可能であり、特定のコンバージョンの問題解決を目指していて、勝つことよりも洞察に焦点を当てています。
アイディアではなく,仮説をA / Bテストする必要があります
【中文】:克雷格·沙利文★★★★★★★★★★★★★
- “”
- “テストの変更“が”予想される影響”を引き起こすことを期待しています。
- “。
> > > > > > >空白を埋めるだけで,テストのアイディアを仮説に変えることができてしまいます。
a / b
。★★★★★★★谷歌优化、优化、VWO★★★★★★★★★★★★★。
- 谷歌优化(1)、“”、“”。始めたばかりの時にはあまり影響することなく,谷歌分析と密接に連携していることがプラスに働きます。
- 优化★★★★★★★★★★★★★★★★★★★★统计引擎，。最优化地，最优化地，最优化地，最优化地，最优化地
- VWO:VWO，。所见即所得(。。
啊哈，Shopify。
。プロセスはツールによって異なりますが,通常はサイトにスニペットをインストールして目標設定するよう求められるでしょう。
a / b
先ほど,仮説の作成によって,勝つことから洞察に焦点を移すことについて言及しましたが,谷歌のアナリティクスアドボケイト及びプロダクトマネージャーであはるKrista Seiden,そのことを次のように説明しています。
Krista Seiden，谷歌
仮説を正しく作成すると,将来のテストや他の分野にも活用できる洞察が得られますので,敗者ですらも勝者になります。。★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★
。
中文:。テストは全体的に敗者となる可能性もありますが、少なくとも1つのセグメントでは上手く機能する可能性があります。セグメントとは、次のようなものを指します。
- 新しいビジター
- 你要怎么做呢
- iOS系统
- 安卓系统
- Chrome浏览器
- Safari浏览器
- デスクトップのビジター
- タブレットのビジター
- オーガニックサーチのビジター
- 有料のビジター
- ソーシャルメディアのビジター
- ログインした購入者
テストツールで結果を見る時は,例えるならば,聪明豆(一粒ずつカラフルにコーティングされたチョコレート)のパック全体を見ています。★★★★★★★★★★★★★★★★★★★★★★★★★★★★
オッズは,仮説が特定のセグメント間で正しく証明されたということで,これも何らかの事柄を教えてくれます。
A / Bテストツールは分析まで行わないため,繰り返すことによってスキルを高めていくことが大切です。
過去のA / Bテストをアーカイブする方法
明日,最初のテストを実行するとして,2年後になってもテストの詳細を覚えているでしょうか。我的意思是，我的意思是。
。。。
アーカイブするための”正しい”方法というのはなく,项目や有效的实验，，，，，，，，，，，，，，，，，，特に始めたばかりの頃はどのような方法でも良いのですが,次の事柄については追跡するようにしましょう。
- 仮説
- コントロールとバリエーションのスクリーンショット
- 对，对，对
- 我很喜欢你
ビジネスが成長するにつれ,アーカイブがあることに感謝するでしょうし,経営者だけでなく,新規採用者やアドバイザー,利害関係者の方々にとっても役立ちます。
プロのA / Bテストプロセス
標準のA / Bテストプロセスについて学びましたので,谷歌やHubSpot的などの企業のプロによる正確なプロセスを見てみましょう。
Krista Seiden，谷歌
a / b。。ここでの目標は,最適化の機会がどこにあるかを探るために,分析データ,リサーチまたはUXデータ,その他顧客の洞察に関するソースを分析することです。
分析から適切なアイディアの骨子が得られたら,次に何が間違っているのか,修正及び改善できるように仮説を立てましょう。
★★★★★★★★★★★★★★★★★★必ず妥当な期間(1週間ごとの変更,または例外を考慮しデフォルトで2週間)実行するようにして,十分なデータがある場合は結果を分析し,勝者を決定しましょう。
★★★★★★★★★★★★★★★★★★このバリエーションから,どのようなこと何を学べるでしょうか。
最適化プログラムの確固たる基礎を築くために時間と労力を費やして初めて,ここに到達できるのではないかと思います。。必ずしもツールが必要というわけではありませんが,ユーザーに関して収集したデータから取得することができます。
パーソナライゼーションは,適切なコンテンツを適切な場所にターゲティングするのと同じくらい簡単な時もあれば,それぞれのユーザーのアクションに基づくターゲティングのように複雑な時もあります。ただし,パーソナライゼーションに一息に移ろうとするのではなく,基本を正しく理解するために十分な時間を費やしましょう。
Alex Birkett, HubSpot
整整整整整整，整整整整!整整整整!整整整整!整整整整!
- データを収集,分析の実施が正確であることを確認
- 【中文翻译
- 对，对，对
- 影響力と容易性に基づいて優先順位を付け,リソース(特にテクニカルリソース)の割り当てを最大化する
- テストを実行する(統計のベストプラクティスに従い,知識と能力を最大限に引き出す)
- (1)、(1)、(1)、(1)、(1)、(1)、(1)、(1)、(1)、(1)、(1)、(1)、(2
- 整整整整!整整整整
。
。【翻译】リスクプロファイルとイノベーションのバランスに対し,リスク軽減のバランスはどうなっているでしょうか)に基づいてプロセスを外すことも,変更することも可能ですが,あらゆる規模や種類の企業に適用できます。
重要な点として,このプロセスは敏捷性がありますが,質の高い顧客フィードバックと定量的分析の両方の十分なデータを収集し,より良いテストのアイディアを考え出し,トラフィックを無駄にしないよう、、、、、、、、、、、、、、、、、、、、、、
tonwesseling，在线对话
カスタマージャーニーを最適化する際に常に問われることは,この製品またはサービスが,オンラインダイアログで作成した咆哮モデルのどこに当てはまるかです。まだ多くのリサーチを行うべきリスク段階にあるけれども,オンラインの実験(1ヶ月あたり1000コンバージョン未満)で調査結果を検証できるのでしょうか。★★★★★★★★★★★★★★★★
- R# # # # # # # # # # # # #千万别急★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★
- Optimization阶段最適化の段階:価値の提案とビジネスモデルを最適化するために大規模な実験を行います。
- Optimization阶段最適化の段階:ユーザーのアクションへの仮説を検証するための小規模な実験。。
- 一个utomationオートメーション化:まだ実験を行うための力(すなわちビジター)が残っているため,ユーザージャーニーを検証する完全なテストである必要はありません。。(ここで長期的な学習に焦点を当てることはありません)これは,バンディットの実行及びアルゴリズムの使用によって自動化が可能です。
- Ri -think, i -think, i -think, i -think, i -think, i -think
従って,A / Bテストは,咆哮の最適化とそれ以降(再考まで)の段階において唯一の大きな作業となります。
通情达理，通情达理，通情达理，通情达理。
中文:。：
。。。
仮説が真実か虚像かを学習したら,それらを組み合わせてカスタマージャーニーの大部分を再設計または調整し,より大きなステップへと踏み出すことができます。。。
そしてもちろんのこと,主要な学習は会社全体に広がり,有効な洞察に基づいて,あらゆる種類のより広い最適化と革新へと繋がっていくでしょう。
Julia Starostenko, Shopify
実験の目的は,既存のウェブページに有効な変化を与え,ビジネスにインパクトを与えることです。
開始する前に,実験を実行することが本当に必要かどうかを判断することが大切です。。。このボタンのパフォーマンスはこれ以上低下しないと思われますので,変更の有効性を検証する(つまり実験を実行する)必要はありません。
同様に,ボタンに提案されている変更が小さい場合も,実験の設定や実行,破棄に時間を費やす価値はおそらくないでしょう。。
実験の実行が有益であると判断した場合,次のステップとは,改善の必要のあるビジネス指標を定義することです。(例えば,ボタンのコンバージョン率を上げる)次に,適切なデータ収集が行われていることを確認します。
。一つのグループには既存のバージョンのボタンが表示され,もう一方のグループには新しいバージョンが表示されます。。
我是CXL研究所的佩普·拉贾
a / b。。。
ブロセスは通常,要約すると次のようになります:
- ResearchXL。
- 優先度の高い問題(ユーザーの大部分に影響する重大な問題)を選択し,解決策をできるだけ多くブレインストーミングします。コンバージョン調査の洞察によって,アイディア作成のプロセスを知らせます。そして,テストを実行するデバイスを決定します。(デスクトップとモバイルでは,別々のテストを実行する必要があります)。
- トラフィック/トランザクションレベルに基づいて,テスト可能なバリエーション数を決定し,コントロールに対し,ソリューションのためのベスト1、2のテストアイディアを選択します。
- 。。
- 。(谷歌分析)。
- テストでQAを実施し(壊れたテストは最大のA / Bテストキラーです),すべてのブラウザ/デバイスのコンボで機能することを確認します。
- !
- ★★★★★★★★★★★★★★★
- 。
!
以上によって,A / Bテストのプロセスを理解されたことと思いますので,いよいよテストを始めましょう!。
中文:夏奈尔·穆林
よくある質問
a / b ?
a / b ?
a / b ?
? ?
始めたばかりの頃はどのような方法でも良いのですが,次の事柄については追跡するようにしましょう。
- 仮説
- コントロールとバリエーションのスクリーンショット
- 对，对，对
- 我很喜欢你
