Внешние переменные в причинных исследованиях
Какие внешние переменные надо учитывать и контролировать при планировании экспериментов?
История (Н - History). Как хорошо бы мы ни спланировали эксперименты, в период их проведения может что-то произойти. Рассмотрим, например, такой эксперимент:
О1Х1О2
где O1 и О2 - измерения продаж какого-либо товара в сети универмагов определенного региона до и после кампании по его продвижению Х1.
Можно ли сказать, что если разность (О2 - О1) велика, то рекламная кампания эффективна, а если мала, - то неэффективна? Конечно, нельзя! Не исключено, что во внешней среде за это время произошло какое-нибудь событие, например начались или, наоборот, прекратились поставки какого-либо другого товара. И чем дольше длится эксперимент, тем больше шансов, что за это время возникнет существенный внешний эффект.
Созревание (М - Maturation). Эффект созревания состоит в том, что в ходе эксперимента меняются в лучшую сторону сами объекты тестирования. Речь при этом необязательно идет об обучении людей. Может меняться, совершенствоваться, например, магазин: улучшается обслуживание, расширяется ассортимент и т.д. Таким образом, фактор созревания сходен с фактором истории, но относится к самим объектам тестирования, а не к внешней среде.
Тест-эффекты (Testing Effects). Под тест-эффектом понимается влияние самого факта замера на результаты эксперимента. Различают главный и интерактивный тест-эффекты. Главный тест-эффект (МТ) возникает, когда результаты второго замера сближаются с результатами первого из-за того, что объекты тестирования о нем помнят. Так бывает, например, когда человек при втором анкетировании старается вспомнить, что он говорил первый раз, и, по возможности, сказать то же самое, хотя в действительности его мнение уже могло измениться. Если человека спрашивают о разных брендах товара, а между замерами ему была показана реклама, то оценка ее влияния будет искажена воспоминаниями об отношении к брендам до показа рекламы. Таким образом, главный тест-эффект снижает внутреннюю валидность экспериментов.
Интерактивный (IT) тест-эффект, напротив, снижает внешнюю валидность. Он заключается, например, в том, что человек, которого спрашивали об отношении к брендам, более подготовлен к восприятию рекламы, чем тот, кому таких вопросов не задавали.
Инструментальная погрешность (I - Instrumentation). Этот эффект возникает, когда по тем или иным причинам приходится менять инструменты измерения, например отдельные шкалы в анкете. Примером может служить необходимость смещения шкалы для учета инфляции. Механически пересчитанная шкала будет восприниматься по-иному. Ведь известно, что "круглые числа" и ближайшие к ним снизу (например, 1000 и 999) по-особому воспринимаются людьми. А учет инфляции смещает эти "реперные точки". К инструментам измерения относится не только анкета, но и интервьюер. Даже если замеры до и после тестового воздействия (претест и посттест замеры) проводят одни и те же интервьюеры, сами они со временем изменяются и это влияет на результат.
Статистическая регрессия (SR - Statistical Regression). Эффекты статистической регрессии означают дрейф крайних, отличающихся от остальных, оценок в сторону средней величины. Известно, что люди, склонные выражать восторженные или, наоборот, крайне негативные эмоции, более других подвержены изменениям. Разница в результатах претеста и посттеста может быть следствием именно этого временного дрейфа, а не, скажем, показанной респондентам рекламы.
Смещение отбора (SB - Selection Bias). Этот эффект - результат изначально ошибочного назначения объектов тестирования: они могут оказаться исходно различными по значениям зависимых переменных. Например, обнаруженные различия между двумя группами магазинов, которым были назначены разные значения независимых переменных, могут быть всего лишь результатом того, что в первой группе просто оказалось больше крупных магазинов, чем во второй, а крупные магазины по-иному "откликаются" на тестовое воздействие.
Смертность (МО - Mortality). Речь тут идет о неизбежном иногда выбывании объектов тестирования между замерами. Например, люди могут отказаться дать повторное интервью, уехать на дачу или на курорт.
