Как акт наблюдения меняет поведение и валидность данных

Сегодня исследования стали повседневной частью бизнеса. Компании открывают свои R&D-отделы, нанимают соответствующих специалистов в разных областях. Они хотят знать о своих потребителях буквально все – больше, чем они сами знают о себе. Кажется, что это достижимо, но на практике оказывается, что есть большое количество фундаментальных «НО».

Например, то, что абсолютная объективность невозможна. И одним из условий этой недостижимости является «эффект наблюдателя». Физики столкнулись с ним в 20-ом веке, когда обнаружили, что на квантовом уровне, само измерение меняет поведение частиц.

В исследованиях поведения человека эта проблема оказалась еще острее, ведь люди обладают рефлексивностью и способны понять, что за ними наблюдают, вслед за чем включается множество осознаваемых и неосознаваемых механизмов корректировки поведения. В результате акт наблюдения, будь то опрос, юзабилити-тестирование, трекинг цифрового поведения, сам по себе становится фактором, который изменяет то, что мы хотим измерить.

Измерение эффекта

В начале 2024 года американские ученые опубликовали довольно показательную статью. В ней авторы описывают и измеряют «эффект наблюдателя». В исследовании участвовало более трехсот пользователей Facebook*. Участники разрешили доступ к своим данным об активности и публикациях за последние 82 месяца, а также согласились на участие в исследовании их текущей активности в социальной сети, которое подразумевало доступ к их данным еще на пять месяцев вперед.

Также все участники проходили психологические тесты, для уточнения их личностных черт. Авторы преследовали простую цель: они хотели сравнить поведение до того, как пользователи узнали о том, что за ними наблюдают и после. В результате оказалось, что люди с разными личностными чертами по-разному реагировали на факт наблюдения: кто-то стал писать больше постов, кто-то, наоборот, писал меньше, ставил меньше лайков, но все в своих постах стали меньше говорить о личном. Таким образом, частота постов изменилась на 17-34%, а их содержание — на 4-57% в зависимости от психологических характеристик участников.

Почему люди меняют свое поведение

Это происходит по трем основным причинам.

Во-первых, желание выглядеть лучше, как в своих глазах, так и в чужих. Отвечая на вопросы о пищевых привычках, нам сложно признаться, что мы предпочтем шоколад и фастфуд здоровому питанию, потому что это кажется неправильным.

Во-вторых, наша реакция на контроль: когда мы знаем, что наше поведение отслеживают и оценивают мы будем вести себя осторожнее и стараться больше себя контролировать. Например, если с помощью айтрекера исследователь хочет понять, куда смотрит потребитель в рекламе прохладительных напитков, на которой изображена женщина в купальнике, испытуемый может сознательно избегать взгляда на обнаженные части тела, так как знает, что экспериментаторы увидят, куда он смотрел.

Nielsen Norman Group также отмечают, что пользователи в условиях наблюдения склонны более внимательно и сосредоточенно работать с интерфейсом, что становится серьезной угрозой валидности полученных данных.

И, в-третьих, у нас разная чувствительность к наблюдению. Тревожные люди склонны больше менять свое поведение под наблюдением, чем открытые. В результате оказывается, что участники фокус-групп могут оценивать рекламу более вдумчиво и рационально, чем, когда они смотрят ее дома на диване. Поэтому мы можем сталкиваться с систематическим искажением понимания воздействия рекламы на целевую аудиторию.

Прочитав это, можно впасть в пессимизм: если наблюдение и факт измерения меняют реальную картину, то зачем вообще что-то исследовать? К счастью, есть и хорошие новости – эффект наблюдателя можно контролировать. Так в научном обзоре, охватившем 19 исследований с целью изучения эффекта, в пяти из них эффект вообще не проявился, а в других сила эффекта варьировалась.

Как минимизировать эффект наблюдателя

Помните исследование Facebook*-активности? Один из важных выводов, к которому пришли авторы заключается в том, что эффект наблюдателя снижается со временем: чем дольше длится наблюдение, тем более естественным становится поведение участников. Люди просто забывают о том, что их реакции изучают.

Эти методы собирают данные, не заставляя людей изменять поведение из-за эффекта социальной желательности, ведь когда рядом не стоит человек с планшетом, который смотрит нам за плечо, мы будем вести себя естественнее.

Проверку эффекта наблюдателя можно встроить в дизайн исследования, разделяя выборку на группы более и менее осведомленных о целях исследования. Посмотрев отличия ответов в разных группах, можно скорректировать итоговую интерпретацию и обнаружить дополнительные ценные инсайты, связанные с поведением участников.

Точность через смирение

Главное, понять, что это явлкение — часть нашей социальной реальности, пронизывающий не только исследования, но и простую бытовую жизнь. Люди рефлексивны и осознают контекст – и от этого никуда не деться. Часто это используют даже во благо. Например, муляжи камер видеонаблюдения в общественных местах и на дорогах предотвращают нежелательное поведение. Компании могут внедрять «тайных покупателей» не только с целью контроля, но и для стимулирования этого эффекта.

Признание ограничений — важная часть нашей реальности. Маркетолог, который знает, что респонденты в опросах могут давать искаженные результаты, с учетом этого эффекта принимает более точные решения и вдумчиво интерпретирует результат. Исследователь, который учитывает эффект в дизайне исследования или планирует повторные замеры, получает более валидные данные.

Это явление учит нас смирению перед сложностью человеческого поведения, которое в свою очередь, открывает путь к более глубокому пониманию наших потребителей, пользователей и клиентов – людей, которых мы изучаем ради создания продуктов и услуг, которые действительно улучшат их жизнь.

*принадлежит Meta, признанной экстремистской и запрещенной в России