Фреймворк RAAEE: как оценить, работает ли конкретная функция продукта

Здесь нам на помощь приходит фреймворк RAAEE. Что это такое и как его применять читайте в сегодняшней статье.

Каждый день мы принимаем дизайн-решения, не видя всей картины. Мы руководствуемся предположениями, мнениями и поверхностными метриками. Мы замечаем, что конкретный экран привлекает трафик, и предполагаем, что он работает. Но... действительно ли он служит своей цели?

Если вы хотите создать реальный продукт, который масштабируется, оказывает влияние на общество и отличается долговечностью, вам необходимо намного более глубокое представление о том, как используется каждая часть вашего интерфейса. Всё начинается с правильных вопросов.

Действительно ли функция работает?

Фреймворк RAAEE (Reach — охват, Attractiveness — привлекательность, Adoption — принятие, Effectiveness — эффективность, Engagement — вовлеченность) меняет наше восприятие успеха. Речь идет не только о том, используется ли что-то, но и о том, как это используется, кто это использует и какую реальную ценность это приносит.

Этот фреймворк был разработан Чарльзом Кареттом, одним из лучших специалистов, с которыми мне посчастливилось работать. Он был руководителем продукта в Rappi, а в настоящее время является директором по продукту в Monzo.

Давайте обратимся к реальному примеру

Чтобы понять, как фреймворк RAAEE работает на практике, возьмем реальный пример и шаг за шагом пройдемся по каждой метрике.

Представьте, что вы работаете над приложением интернет-магазина с 50 000 активных пользователей и запускаете функцию, которая позволит людям сохранять продукты в Избранном ❤️.

Теперь давайте измерим эффективность этой функции с помощью RAAEE.

1. Охват → Видят ли ваши пользователи новую функцию? 👀

Большинство команд не измеряют этот показатель. Они априори предполагают, что если функция запущена, то ее видят все. Но это не так.

Из-за неправильных настроек, чрезмерно строгих правил видимости или даже ошибок рендеринга часть вашей аудитории может никогда не узнать об этой функции (и такое случается постоянно). А если они ее не видят, очевидно, что они не будут ее использовать.

Охват (Reach) указывает на то, сколько сессий или пользователей фактически получили доступ к функции. Этот показатель варьируется в зависимости от того, отображается ли она в интерфейсе, а также включена ли она в соответствующей среде, сегменте или версии.

Многие продукты упускают прекрасные возможности просто потому, что их функции недостаточно видимы или не загружаются правильно. Никогда не делайте предположений. Измеряйте.

И вот самое важное: команды часто погружаются в сложные алгоритмы, редизайны или новые амбициозные UI-концепции, не задав один-единственный базовый вопрос: «Кто-нибудь вообще это видит?»

Охват — самая первая метрика, которую вам следует проверить, и, как ни странно, ее игнорируют чаще всего. Прежде чем оптимизировать или переделывать, убедитесь в видимости. Это незаметный фактор, блокирующий воздействие.

Пример

• Формула

пользователи, которые видели функцию / активные пользователи

• Результат

10 000 / 50 000 = 20%

• Интерпретация

20% активных пользователей имели возможность взаимодействовать с функцией. Остальные 80% еще не открывали приложение или использовали те его разделы, в которых нет этой функции.

2. Привлекательность → Хотят ли люди взаимодействовать с этой функцией? 😍

Здесь речь идет о желании — вызывает ли ваш интерфейс интерес, достаточный для взаимодействия с ним, будь то клик, прокрутка, перетаскивание и т.д. Любого взаимодействия, которого требует функционал.

Привлекательность (Attractiveness) отражает способность функции захватывать внимание и побуждать к действию. Она показывает, воспринимается ли предложение как актуальное, интересное или полезное, когда его видят.

Последнее уточнение является ключевым: привлекательность измеряется только среди пользователей, которые видели функцию. Она отвечает на вопрос: «Когда пользователи видят этот элемент, хотят ли они с ним взаимодействовать?»

Речь идет не об охвате и не о постоянном использовании. Речь идет о первоначальном намерении. Вы рассматриваете пользователей, прошедших первый фильтр, более тщательно и проверяете, достаточно ли функция привлекательна, чтобы запустить взаимодействие.

Пример

• Формула

пользователи, которые взаимодействовали с функцией / пользователи, которые видели функцию

• Результат

3,000 / 10,000 = 30%

• Интерпретация

30% из тех, кто видел иконку сердца, нажали на него хотя бы один раз. Так мы измеряем первоначальный интерес.

3. Принятие → Сколько пользователей обратились к этой функции? 👈

Та же идея, что и в случае с привлекательностью, но здесь мы применяем ее к другой пользовательской базе.

Принятие (Adoption) показывает, какой процент всей вашей активной пользовательской базы действительно взаимодействовал с функцией хотя бы один раз. Это дает вам четкое представление о том, насколько функциональность принимается аудиторией на уровне продукта.

Если привлекательность фокусируется только на пользователях, которые видели функцию, принятие предполагает более широкий подход и охватывает всех активных пользователей, независимо от того, видели они эту функцию или нет. Это помогает оценить общую релевантность функции в вашем продукте.

Принятие может быть низким по уважительным причинам: ограниченное внедрение, доступ только для премиум-пользователей или нишевая полезность. Поэтому низкий показатель не всегда является проблемой.

Но есть один нюанс: низкий уровень принятия приемлем только в том случае, если вы можете его объяснить. Если видимость не ограничена и функция предназначена для широкой аудитории, но уровень остается низким, это тревожный сигнал. Возможно, функцию трудно найти, она плохо интегрирована в интерфейс, обладает неочевидной ценностью или всё вышеперечисленное. А это значит, что пора копать глубже. 

Пример

• Формула

пользователи, которые взаимодействовали с функцией / активные пользователи

• Результат

3,000 / 50,000 = 6%

• Интерпретация

6% всех активных пользователей взаимодействовали с функцией. Эти данные показывают, насколько хорошо принимается функция на уровне продукта.

4. Эффективность → Приносит ли ваш UI пользу? 💎

Здесь речь идет уже не о привлечении пользователя, а о том, получил ли он то, за чем пришел. Эффективная функция приносит пользу без лишних барьеров. Если кто-то заходит, взаимодействует и уходит, ничего не добившись, вы потерпели неудачу, потому что пользователь не смог взять ту ценность, которую вы предлагаете.

На эффективность могут влиять плохой контент, непродуманная информационная архитектура, низкий уровень юзабилити... Или же причина просто в том, что предлагаемая вами ценность не соответствует ожиданиям пользователя.

Здесь вы должны определить, что такое «ценность» в вашем конкретном случае. В примере наша цель состоит в том, чтобы побудить пользователей просматривать свой список избранных товаров, возвращаться к нему.

Пример

• Формула

пользователи, которые сохранили товары и затем открывали свой список / пользователи, которые взаимодействовали с функцией

• Результат

1500 / 3000 = 50%

• Интерпретация

50% тех, кто взаимодействовал с функцией, получили реальную ценность. Остальные, возможно, использовали ее из любопытства, по ошибке или просто не поняли, как извлечь максимальную выгоду.

5. Вовлеченность → Как часто они возвращаются? 🔁

Как только кто-то принимает вашу функцию, необходимо установить частоту и глубину ее использования. Становится ли это привычкой? Или это «разовое посещение»?

Вовлеченность (Engagement) показывает, стала ли функция частью устойчивого поведения. Здесь мы говорим о повторяемости, частоте и глубине использования.

Но не все функции требуют высокой вовлеченности. Вспомните, например, настройку профиля пользователя.

Пример

• Результаты

Пользователи, которые сохранили товары более одного раза: 500

Пользователи, которые сохранили товары более 5 раз: 200

Пользователи, которые открывали свой список более одного раза: 100

• Интерпретация

Низкий уровень повторного использования. Возможно, требуется повысить видимость, сделать напоминания более активными или повысить ценность (например, рекомендации на основе Избранного).

Теперь для лучшего понимания давайте посмотрим, как соотносятся метрики между собой.

Привлекательность vs. Эффективность

Соотношение этих метрик показывает, привлекает ли ваша функция внимание, приносит ли она ценность или терпит неудачу в обоих случаях. Так вы можете определить, в чем именно заключается ваша проблема — в коммуникации или в самом опыте.

• Высокая привлекательность, высокая эффективность

Идеальный сценарий. Функция привлекает пользователей, они находят ценность во взаимодействии с ней. Инвестируйте в масштабирование, усовершенствование или продвижение.

Например: Instagram Stories*

• Высокая привлекательность, низкая эффективность

Вы продаете правильную идею, но опыт не работает или не оправдывает ожиданий. Пользователи заинтересованы, но разочарованы. Исправьте сценарий, упростите их путь, приведите обещания в соответствие с результатом.

Например: Clubhouse

• Низкая привлекательность, высокая эффективность

Скрытая жемчужина. Ценность есть, но пользователи ее не замечают. Вероятно, проблема в обнаруживаемости или позиционировании. Повышайте видимость, развивайте точки входа и коммуникацию.

Например: Google Calendar Goals 

• Низкая привлекательность, низкая эффективность

Мертвый груз. Ни привлекательный, ни полезный. Если эта функция не является стратегически важной, удалите ее, чтобы упростить ваш продукт и перенаправить внимание команды на что-то более актуальное.

Например: Facebook Poke*

Вовлеченность vs. Принятие

Эта матрица показывает, широко ли используется функция, формирует ли она привычки или просто неактуальна. Такое сопоставление метрик поможет вам решить, что с ней делать — развивать, продвигать или удалить.

• Высокий уровень принятия, высокая вовлеченность

Основная функция. Многие пользователи обращаются к ней и часто возвращаются. Вероятно, она является определяющей для вашего продукта. Удвойте усилия и сфокусируйтесь на производительности.

Например: каналы Slack

• Высокий уровень принятия, низкая вовлеченность

Полезная, но не формирующая привычки функция. Может быть что-то утилитарное, например, настройка или редактирование профиля. К таким функциям пользователи обращаются время от времени. Оптимизируйте при необходимости, но не вкладывайте в нее слишком много ресурсов.

Например: настройка учетной записи

• Низкий уровень принятия, высокая вовлеченность

Нишевая, но любимая функция. Ее обнаруживают немногие, но те, кому это удается, используют ее интенсивно. Высокий потенциал. Поработайте над онбордингом и простотой обнаружения и протестируйте привлекательность в более широких сегментах аудитории.

Например: шаблоны Notion

• Низкий уровень принятия, низкая вовлеченность

Четкий сигнал к удалению. Никто не использует эту функцию и не будет по ней скучать. Если нет веских стратегических причин, удалите ее, чтобы снизить сложность и сосредоточиться на том, что действительно важно.

Например: Google+

Как начать отслеживание

После запуска каждой новой функции отвечайте на эти 5 вопросов:

1. Видят ли ее пользователи? → Охват
2. Хотят ли они с ней взаимодействовать? → Привлекательность
3. Актуальна ли она для моей пользовательской базы? → Принятие
4. Получают ли они от нее пользу? → Эффективность
5. Возвращаются ли они к ней? → Вовлеченность

Эти вопросы — основа понимания продукта. Если вы не можете на них ответить, вы на самом деле не ничего отслеживаете, а просто регистрируете данные. 

Забудьте о навороченных дашбордах и раздутых списках. Начните с простого. Используйте эти пять метрик для каждой функции. Получив базовые инсайты, вы поймете, в чем проблема и что делать дальше.

Только после этого можно переходить к воронкам, когортам, LTV (пожизненная ценность клиента) и всему остальному.

Почему это важно для дизайна

Потому что нельзя улучшить то, чего не понимаешь.

Продуктовый дизайн — это не только эстетика или удобство использования, это еще и бизнес. Решение о том, что удалить, так же важно, как и решение о том, что добавить. Отслеживание каждой части интерфейса на таком уровне глубины позволяет создавать более целенаправленные, согласованные и, в конечном итоге, более прибыльные продукты.

Это также помогает вам:

• Расставлять приоритеты на основе реальных данных, а не предположений
• Выявлять слабые места в пользовательских сценариях
• Подкреплять решения доказательствами при общении с заинтересованными сторонами
• Оптимизировать ресурсы (особенно важно для стартапов)
• Связывать дизайн с реальными результатами, превращая дизайн в инструмент стратегического воздействия

Устранение разрыва между дизайном и реальными результатами

Дизайн можно «измерить» там, где он встречается с реальными последствиями

Отличный дизайн без данных — это просто красивая картинка. А стратегия без реального применения — это просто очередная презентация.

Отслеживание каждой части вашего UI — это не микроменеджмент. Это точность. Это профессионализм. Это дизайн, который приводит к результатам.

Ведь если вы не понимаете, что на самом деле происходит в интерфейсе, как вы можете сделать его лучше?

* Meta признана в РФ экстремистской организацией