Сбер

Создание и внедрение собственной аналитической платформы «всё в одном» создало в компании SberDevices возможности для перехода к модели data-driven. Проект был начат в конце 2021 года с целью оптимизации затрат на управление данными и аналитику и запуска новых сценариев применения данных для развития бизнеса компании. В феврале прошлого года он превратился в антикризисный с приоритетной целью срочной миграции с иностранных решений. О реализации проекта и полученных в результате возможностях рассказывает Андрей Евтихов, управляющий директор SberDevices и номинант на премию Data Award.

— Что стало причиной реализации проекта? Каковы были проблемы и боли?

Причин было несколько. Во-первых, мы очень серьезно относимся к конфиденциальности данных наших пользователей, и сторонние решения не могли обеспечить наши высокие требования в полной мере. Перед нами встали серьезные ограничения корпоративных политик управления данными в используемых коммерческих решениях. Они касались как возможности использования информации по юнит-экономике продуктов, отдельных типов идентификаторов пользователей.

Следующий вопрос касался снижения будущих затрат на все типы решений для управления данными. Запланированный рост собираемых объемов данных на 2022-2023 годы приводил к значительному нелинейному росту затрат.

Кроме того, интересовали возможности сквозной аналитики, интеграция со специализированными потребителями данных внутри компании: внутренними рекомендательными системами и системами коммуникаций с пользователями.

— Главной целью создания аналитической платформы вы называете переход к data-driven компании. Что вы понимаете под data-driven применительно к SberDevices? И почему пока компанию таковой нельзя назвать?

Под подходом data-driven мы понимаем принятие ключевых решений на основании данных, то есть алгоритмизацию ключевых управленческих решений. Например, на основе данных планируется принимать решения о продолжении и размере инвестиций в развитие продуктов – на основании динамики показателей юнит-экономики, о размере инвестиций в продвижение продуктов в онлайн-каналах – на основании динамики показателей привлечения пользователей, о коммерческих условиях взаимодействия с партнерами, о перераспределении ресурсов продуктовых команд между задачами – на основании динамики влияния ошибок на продуктовые показатели.

На данный момент SberDevices находится в процессе перехода к полной data-driven организации. Как минимум, нам требуется накопление исторических данных для обучения точных аналитических моделей для прогнозов и дальнейшее развитие системы A/B-экспериментов, накопление практического опыта применения конкретных продуктовых показателей для принятия объективных и эффективных решений. Важна дальнейшая демократизация инструментов аналитики для расширения возможностей их использования со стороны тимлидов, руководителей команд и подразделений, руководителей старшего уровня. Внедрение подходов data-driven идет последовательно для отдельных продуктов, ожидается полный их охват до конца 2023 года.

— Как сложилось, что в компании работало множество зарубежных коммерческих решений? По каким принципам они подбирались?

Эта картина типична для большинства компаний. Мы всегда ориентировались на индустриальные стандарты для решений по управлению данными. Например, для мобильной аналитики это Firebase, а для технического мониторинга приложений – Sentry. Использовали решения для аналитики, поставляемые партнерами, в частности сервисы аналитики от поставщика платформ управления устройства для умного дома Tuya. Решения для маркетинговой аналитики Data.ai использовались нашими партнерами. При выборе ориентировались на наличие практического опыта работы с решениями у ключевых сотрудников компании, предлагаемые партнерами коммерческие условия использования поставляемых решений, проводили конкурсные процедуры по выбору наилучших решений, так произошло с Amplitude.

— Что требовалось реализовать в ходе проекта?

С технической точки зрения было необходимо подключить к единому хранилищу данных все источники данных, реализовать интеграции с потребителями обработанных данных. При этом требовалось обеспечить хранение и возможности использования «по запросу» всех собранных сырых данных в течении как минимум пяти лет с учетом запланированного роста объемов собираемых данных. Еще одна важная задача – создание аналитических витрин для всех продуктов (по состоянию на момент старта проекта их было более 60) и их поддержка в актуальном состоянии. И, конечно, возможность проведения аналитики за любой период до миграции на новое решение. Это подразумевало бесшовную интеграцию исторических данных из заменяемых систем с «новыми» данными

— Объем работ велик. В какой последовательности и в какие сроки планировалась миграция?

Плановые сроки миграции на старте проекта были оценены в 12 месяцев. Разработка и внедрение платформы осуществлялись внутренними ресурсами компании.

Структура работ была основана на последовательном переключении каждого источника данных на целевое решение. В рамках каждого этапа типовой состав задач выглядел следующим образом: замена компонентов по сбору данных непосредственно на источниках, параллельный сбор данных в ранее используемые системы и в целевое разрабатываемое решение, воспроизведение аналитических витрин в целевом решении, отключение источника данных от ранее используемых систем.

План миграции был сформирован на основании скоринга всего портфеля источников данных в зависимости от приоритета развития продуктов компании.

— В марте проект стал «антикризисным». Как это повлияло на его реализацию, что изменилось?

Плановые сроки миграции сократились с года до четырех месяцев. При этом мы сфокусировались на задачах экстренного переключения всего собираемого потока данных на собственную платформу и экстренной выгрузки исторических данных из всех коммерческих систем, необходимо было сохранить накопленные данные в полном объеме. Наша цель заключалась в минимизации потенциальных потерь данных от миграции. Задачи по созданию аналитических витрин, визуализации были перенесены на последующие этапы. До высвобождения ресурсов команды развития платформы задачи продуктовой аналитики решались специально сформированной «пожарной» командой, которая работала по индивидуальным запросам продуктовых команд.

Собственные API и средства разработки были максимально адаптированы под уже существующие форматы используемых коммерческих решений. Это было важно для снижения затрат на переключение собираемых данных на собственное решение.

Конечно же, изменились критерии выбора технологий для отдельных компонентов системы. В качестве основного критерия выбора стали ориентироваться на open source. От выбранных ранее технологий, не удовлетворяющих обновленным критериям, отказались.

Изменились требования к интеграции платформы с внутренними системами компании по причине экстренной миграции на новый, «антикризисный» стек технологий для всех используемых в компании решений. В частности, это коснулось коммуникационных сервисов, системы управления задачами, CRM, системы управленческого учета, системы управления НСИ.

— Какие решения были выбраны и почему?

С учетом новых условий появились и антикризисные критерии выбора решений. Помимо принадлежности к open source, требовалась проверка кода решений со стороны нашего ИТ-департамента, и, что немаловажно, наличие опыта работы с решениями у действующих сотрудников компании. Это позволило обеспечить быстрый старт и получить практические результаты для компании в течении первого месяца работы в «антикризисном» режиме.

В итоге сбор данных с источников осуществляется с помощью собственных продуктов Device+Mobile DataSDK и DataAPI. Основными решениями, используемыми для построения платформы данных, стали Kafka – для доставки потоковых данных с источников, Hadoop и S3 – для хранения данных, Spark и Airflow – для обработки данных, Postgres и ClickHouse – для создания витрин данных и отчетности, Metabase, Grafana и Superset – для визуализации, Elastic – для поиска, Jupyterhub – для исследования данных.

— Что является фишками созданного решения? Чем можно гордиться?

В результате получилась полностью открытая платформа. Пользователи могут создавать любые собственные запросы к данным, сохранять их в виде витрин, визуализировать в виде кастомизированных отчетов в BI и т.п., а также подключать собственные источники данных по типовым протоколам. Конечно же, команда развития платформы использует специальные инструменты мониторинга пользовательских запросов и помогает исправлять ситуации перерасхода выделенных квот ресурсов. Она же проверяет источники на предмет соответствия корпоративным политикам сбора данных.

Стоит отметить автоматизированное выявление объектов, требующих оптимизации и исправления (ETL-процедуры, представления, физические таблицы, аналитические витрины, ad-hoc запросы к данными), а также отслеживание отклонений от среднего времени выполнения для регулярных ETL-процедур и времени обновления аналитических витрин. Широко изучаются показатели использования платформы со стороны пользователей, в том числе показатели аудитории самой платформы в разрезе сотрудников отдельных продуктов и подразделений.

— Вы собираете телеметрию, технические и пользовательские события, информацию о рабочих процессах. Приведите несколько примеров важных data-продуктов, основанных на этих данных.

В первую очередь запустили продукты для развития бизнеса: умные таргетированные напоминания для продлений подписок пользователей на сервисы, умные пользовательские сегменты для тартегированной рекламы на устройствах. Кроме того, разработаны продукты для сопровождения и поддержки клиентов: оперативная реакция на инциденты с умными устройствами у пользователей, оперативный поиск полной информации обо всех событиях на устройстве. Важным для нас направлением являются и продукты для поддержки принятия решений – например, планирование рабочих задач развития продуктов: балансировка по типам задач change, run, bug в зависимости от предыдущей динамики по решению задач соответствующих типов и потенциального влиянию на продуктовые показатели.

— Каких результатов удалось достичь за 2022 год? Что можете считать самым важным?

В итоге на созданную платформу мигрировали более 80 продуктов, включающих более 4,5 тыс. продуктовых показателей. Подключено уже более 200 уникальных источников данных – это все источники данных из использовавшихся ранее сторонних решений. Естественно, у нас нулевые лицензионные платежи. Что касается скорости разработки и внедрения новых продуктовых метрик, то она в среднем может составлять один рабочий день.

В результате проекта был сформирован Центр компетенций по данным, сотрудники которого консультируют продуктовые команды по составу собираемых данных, доступным витринам данных и аналитическим показателям, проводят регулярные корпоративные обучающие мероприятия для сотрудников и в целом активно продвигают в компании культуру работы с данными.

Важно, что платформа поддержала планы нашего продуктового развития и развития бизнеса. На 2022 год было запланировано подключение телеметрии устройств и большого количества новых технических событий внутри приложений. Рост количества собираемых событий по сравнению с 2021 годом оказался десятикратным.

— А каких эффектов еще можно ожидать?

Мы ожидаем роста аудиторных показателей продуктов за счет расширения использования данных для персонализации пользовательского опыта, «умных» рекомендаций. Например, таких показателей, как увеличение частоты использования продукта и увеличения времени, проводимого пользователем с продуктом.

Кроме того, ожидаем рост показателей юнит-экономики продуктов за счет использования «умных» рекомендаций типа cross-sale, up-sale, down-sale. Это должно привести к ускорению роста среднего чека и частоты покупок с помощью наших умных устройств.

— Пытаетесь ли вы оценивать финансовые эффекты? Сколько удалось сэкономить и заработать?

На 2022 год в качестве основного финансового эффекта от проекта была определена экономия фактических затрат на целевое решение по сравнению с запланированными ранее затратами на коммерческие продукты. В итоге совокупная стоимость владения созданным решением сократилась втрое.

— Какую роль играет этот проект для компании?

У нас появились принципиально новые для компании инструменты стратегического и операционного управления. Переоценить это трудно. Фактически нами построен «мозг» компании – центр нервной системы, состоящей из множества собирающих информацию датчиков.

Платформа, созданная в результате выполнения проекта, станет новым источником доходов для компании и основой для всех сценариев по применению данных для развития бизнеса. Например, речь идет о таргетировании маркетинговых и рекламных коммуникаций на цифровых поверхностях СберДевайсов и персонализации опыта пользователей.

— Каковы направления развития платформы? И какие возможности она открывает в будущем?

100% продуктов будут использовать аналитику в реальном времени. Каждый пользователь будет иметь предрасчитанный анонимный профиль характеристик, обновляемый в режиме реального времени.

Кроме того, мы планируем подключить новые источники партнерских данных, вдвое сократить затраты на обработку единицы данных по сравнению с использовавшимися ранее решениями. Запустим подсистемы прогнозной аналитики для всех продуктовых показателей.

Все собираемые данные будут соответствовать критериям ML-ready (адаптация массивов данных для использования в моделях машинного обучения). Это позволит нам значительно улучшить результаты работы аналитических моделей и вывести «мозг» нашей компании на новый уровень интеллектуальной поддержки нашего бизнеса.

Оптимизация работы контакт-центра имеет позитивное влияние не только на бизнес его владельцев, но и на лояльность клиентов, получающих более быстрое и качественное обслуживание. В Сбере реализовали проект предиктивной маршрутизации в контакт-центре для юридических лиц, разгрузив операторов и попутно за год сэкономив клиентам 7 лет рабочего времени. Об особенностях этого проекта рассказывает Сергей Рябков, руководитель проектов, владелец продукта «Предиктивная маршрутизация» в Сбере и номинант на премию Data Award.

- В чем заключалась бизнес-проблема?

Наши клиенты – юридические лица, владельцы бизнесов различных размеров и масштабов. Наш опыт показал, что они предпочитают решать возникающие вопросы, общаясь по телефону с живым человеком. Поэтому мы отказались от автоматизированных сценариев в IVR, сделав упор на маршрутизацию входящих вызовов на операторов контакт-центра.

Портфель продуктов и услуг Сбера достаточно велик и разнообразен. Каждый продукт довольно сложен для изучения, поэтому, формируя группы операторов, мы разделяем их по знанию конкретных продуктов банка. Это сильно усложняет задачу маршрутизации: классическое «тональное» (DTMF) меню будет для клиента слишком сложным и объемным, а при общении с голосовым ассистентом клиенты могут неверно сформулировать вопрос, что повлечет за собой некорректное распределение вызова. Также в 10% случаев клиенты напрямую просят подключить оператора либо молчат.

- Почему это важно для вас?

Создавая новые продукты в Сбере, мы исходим из потребностей нашего клиента. Разрабатывая сервис, мы задались вопросом: как сделать идеальную систему маршрутизации?

Наши опросы показали, что для клиентов важна скорость решения вопроса и точность соединения с нужным оператором: никому не нравятся ситуации, когда вызов переводят от одного сотрудника к другому и при каждом новом контакте приходится заново объяснять свою проблему.

Также мы поняли, что лучший IVR – это его отсутствие. Набрав номер поддержки банка, клиент хочет как можно быстрее попасть на нужного сотрудника.

- Какой путь решения выбрали?

У нас есть большое количество систем, сопровождающих все процессы взаимодействия клиента с нашими продуктами. По ним мы можем увидеть цифровые следы клиента и триггеры, влияющие на его обращения в контактный центр. Зная это, мы запустили сервис предиктивной маршрутизации в контакт-центре Сбера для юридических лиц.

Ядром сервиса является рекомендательная система, имеющая интеграции с большим количеством банковских систем, в которых клиенты оставляют цифровые следы. Анализируя эти следы, рекомендательная система сообщает продукт и тему обращения клиента в IVR, который принимает решение о подборе группы операторов и маршрутизации вызова.

- Как была поставлена задача?

Основная цель проекта – улучшение клиентского опыта за счет более быстрой и точной маршрутизации вызовов, приходящих на линию поддержки 0321.

Вторая, но не по значению, цель – это оптимизация затрат на содержание контакт-центра. Более точная маршрутизация позволяет снизить долю переводных звонков, а значит уменьшить нецелевую нагрузку на операторов и оптимизировать их численность.

- На каких технологиях построено решение?

Используется передовой технологический стек в разработке, подразумевающий под собой микс из собственных разработок банка и кастомных сборок open source решений.

Данные для сервиса поставляются в потоковом режиме из Apache Hadoop. Обработка потоковых данных реализована на фреймворке Apache Flink, который преобразует их в триггеры, влияющие на маршрутизацию, и затем сохраняет в NoSQL СУБД Cassandra.

Ансамбль из двух AI-моделей (линейная регрессия и нейросеть) исполняется в банковской среде MEF. Результат классификации затем через брокер сообщений Kafka отправляется в интеграционный тракт с платформой IVR контакт-центра.

- Какой математический аппарат используется?

При создании сервиса большое внимание мы уделили определению цели для маршрутизации звонка, по которой далее будет обучаться AI-модель. Мы разметили пул звонков в контакт-центре за прошедший год, в результате чего появились порядка 60 проблематик, которые легли в основу целевой модели. Для корректного их предсказания нам пришлось интегрировать нашу рекомендательную систему с большим количеством источников данных, среди которых системы дистанционно-банковского обслуживания, сайт Сбера, CRM-системы, данные по транзакциям, уведомлениям, получаемым клиентом, системы service desk, обращения в контакт-центр и пр.

«Под капотом» у рекомендательной системы находится синергия экспертных бизнес-правил и алгоритмов искусственного интеллекта, включающих в себя ансамбль AI-моделей: ряда линейных регрессий и нейросети.

- Каких результатов удалось достичь?

По результатам работы нашей команды сервис успешно масштабирован до 85% от входящего трафика. За два года работы время на маршрутизацию снижено более чем в четыре раза. После того, как клиент набрал номер телефона поддержки, он слышит только приветствие «Сбера для Бизнеса», уведомление о записи разговора, после чего сразу же к линии подключается оператор.

Благодаря анализу больших данных в реальном времени уже в начале звонка клиента мы знаем проблематику обращения, не задавая при этом клиенту никаких вопросов. Также повышена точность маршрутизации: доля вызовов, переведенных оператором после запуска нашего сервиса, в среднем стала на 10% ниже.

- В чем роль проекта для бизнеса компании?

Сервис позволяет существенно экономить на содержании контакт-центра: за счет короткого IVR экономия на телефонном трафике составляет 1,3 млн минут в год.

Кроме того, снижается нагрузка на контакт-центр: за прошлый год за счет более точной маршрутизации мы разгрузили 88 операторов, что в свою очередь позволило снизить стоимость обслуживания клиентов на 6%. А для наших клиентов за 2022 год это вылилось в экономию 7 лет рабочего времени.

- В каком направлении продолжит развиваться платформа?

Мы продолжаем работать над улучшением точности наших алгоритмов. Кроме того, мы хотим дополнительно анализировать поведенческие характеристики клиента в каналах обслуживания, чтобы предлагать действительно персонализированное обслуживание каждому, кто обратится в контакт-центр Сбера для юридических лиц. В том числе, планируем делать сценарии «мягкой» автоматизации, помогая непосредственно в IVR решать вопросы только тем клиентам, кто к этому готов.

Помимо этого, мы планируем сделать сервис омниканальным, перенеся его в текстовые каналы контактного центра и интегрировав с существующими ботами и виртуальными ассистентами.

Важнейшую роль в обеспечении хороших финансовых результатах «Сбера» в 2022 году сыграл проект миграции на импортонезависимую CRM, поддерживающую работу всех В2В-компаний группы. Он позволил не только обеспечить непрерывность процессов, но и существенно повысил их качество. О его реализации и результатах рассказывает Евгений Горбачев, руководитель проектов Центра корпоративных решений «Сбера» и номинант на премию Data Award.

— Что стало причиной реализации проекта?

Наша команда представляет Центр корпоративных решений – контакт-центр «Сбера», поддерживающий юридических лиц по банковским продуктам и продуктам компаний нашей группы. У нас на поддержке более 50 дочерних обществ и партнеров банка, а это более 200 продуктов компаний B2B в различных сферах и отраслях, с разными бизнес-моделями и процессами. Мы предоставляем им и сервис, и платформу для организации поддержки продуктов.

Изменения ощутило на себе большинство российских компаний. «Сбер» также был вынужден резко ускорить скорость разработки собственных ИТ-решений.

Мы начали испытывать сложности с иностранными вендорами: длительные процессы согласования и внедрения, не кастомизированные под наши цели и задачи решения. Появился риск остаться без технологической платформы, которая является неотъемлемой частью нашей повседневной работы. Это ставило под угрозу нормальное функционирование поддержки в крупнейшем банке и всех компаниях В2В группы «Сбер», поэтому мы приступили к реализации антикризисного сценария – переходу от импортного программного обеспечения к отечественным разработкам.

— Какой подход был выбран?

Реагируя на изменившуюся среду, мы осознали необходимость сформировать собственное решение для контакт-центра. В рамках импортозамещения были поставлены несколько целей. Во-первых, требовалось создать технологическое решение, с помощью которого можно будет поддерживать разнородные бизнес-процессы более 200 продуктов. Во-вторых, решение должно иметь брендовую составляющую – оно должно было стать разработкой, конкурирующей с мировыми лидерами индустрии контакт-центров. Наконец, было важно сократить затраты на поддержку продуктов группы и банковских продуктов «Сбера» на сумму более чем 100 млн руб. в год.

— Как были сформулированы задачи проекта?

Важно было не просто не потерять в качестве сервиса, но и стать лучше, причем это касается очень многих показателей. Например, сохранение уровня доступности, а он очень высок: 80% всех обращений принимаются за 30 секунд, потери составляют менее 5% от всех обращений. Сохранение и повышения уровня удовлетворенности клиентов – поставлена цель выше 90%. Более того, рассчитывали на сокращение времени обслуживания за счет интеграции с автоматизированными системами дочерних обществ банка и формирования единой истории взаимоотношений с клиентами по всем каналам коммуникаций.

Нужно было подумать и о сотрудниках (например, сохранить и повысить уровень удовлетворенности операторов рабочим местом, автоматизировать процессы), и о клиентах (иметь бесшовный клиентский путь), и об эффективности (объединить все обращения клиентов в единую базу, иметь единую систему инцидент-менеджмента, формировать единый дашборд по всем обращениям клиентов). И конечно, хотелось сократить время запуска новых проектов, сохранив гибкий, кастомизированный подход к каждому продукту.

— Из каких вариантов выбирали?

В части техники и платформ для разработки перед нами встал сложный выбор из следующих вариантов: разработать решение «с нуля» или использовать open source, а может – готовое решение? Было нужно проработать встраивание в общую архитектуру банка, создание единого профиля клиента, предоставление доступов к CRM вне контура банка, а также многочисленные интеграции с автоматизированными системами.

По итогам анализа приняли решение разрабатывать свой софт, а для ускорения реализации использовать open source решение OTRS. В результате мы получили функционал для гибкой настройки бизнес-процессов обработки обращений в офлайн-режиме, а для онлайн-обращений доработали решение OTRS на базе платформы Platform V «Сбера». Нашу разработку мы назвали «Единая CRM для обращений клиентов компаний B2B группы Сбер».

— Что собой представляет созданное решение?

Итоговое решение стало универсальным для всех компаний, мы смогли создать единый профиль клиента, не привязанный к конкретному продукту или компании. Обрабатывая обращения от клиентов, мы получаем «портрет» пользователя продуктов и на основе аналитики клиентских путей, обращений, предложений и жалоб можем предлагать клиенту новые услуги или продукты.

При работе с клиентами оператору нужно использовать данные из многочисленных систем, поэтому мы реализовали возможность интегрировать в рабочее место оператора данные из автоматизированных систем «Сбера», которые необходимы для обработки обращений. Гибкая ролевая модель CRM позволила настроить решение в соответствии с требованиями безопасности банка, предоставить доступ к необходимым для работы данным и обезопасить клиентскую информацию.

— Что удалось лучше всего?

Преимущество нашего решения в гибкости – запуск новых проектов обходится без участия разработчиков и занимает считанные дни, что является скорее исключением, чем правилом для больших корпораций. Под каждый бизнес-процесс любой компании группы можно реализовать любые правила работы с обращениями – SLA, уведомления, эскалация, автоматическая отчетность. У команды появились планы по выводу решения на внешний рынок, о результатах расскажем на Data Award 2024.

— Какие результаты были достигнуты?

Подводя итоги и анализируя ключевые показатели эффективности, мы с гордостью можем заявить о блестящих результатах от внедрения нашего решения, разработанного в кратчайшие сроки.

Если говорить о влиянии на бизнес и клиентский опыт, то омниканальность решения позволяет гибко управлять ресурсами, формировать единую историю взаимоотношений с клиентами, единый клиентский путь, обеспечивать доступность поддержки продукта. Единый профиль клиента позволяет нам развивать продукты, повышать уровень сервиса. После перехода на новую CRM уровень удовлетворенности в части поддержки продуктов компаний В2В группы «Сбер» вырос с 74,3% до 81,1%. И мы не останавливаемся на достигнутом.

Мы не зависим от вендоров в части скорости доработок и кастомизации решения. В результате запуск поддержки новых продуктов сократился с четырех до двух недель. Собственная разработка позволяет быстро масштабировать решение. В наших планах внедрение и реализация решения на другие направления.

Если говорить об операционной эффективности, то уровень доступности линии поддерживается в целевых показателях, сокращено время обработки обращений в среднем на 30%, увеличен показатель загрузки операторов с 70% до 90% за счет омниканальности. Сокращено время реакции на сбои – имея единую систему отслеживания инцидентов, можем оперативно информировать всех участников процесса. Единый дашборд позволяет мониторить нашу работу по всем компаниям группы.

— А что говорит персонал?

Удобный интерфейс единого рабочего места позволяет минимизировать трудозатраты наших операторов. По проведенным опросам, удовлетворенность рабочим местом по 10-ти бальной шкале выросла и сейчас достигла 8,5-8,6 баллов.

— Какими финансовыми эффектами можете похвастаться?

Благодаря автоматизации и интеграции с внешними системами сокращено время обработки обращений по всем каналам с 6,2 до 4,2 минут. При объеме в 400 тыс. обращений в месяц это дает экономию компаниям группы в 150 млн руб. в год. Кроме того, как и планировали, произошло сокращение затрат на доработки.

— Каково значение проекта для компании?

Уже к началу второго квартала 2022 года более 700 сотрудников из 30 компаний B2B группы «Сбер» подключились к работе в новой CRM. В единой системе сотрудники увидели профиль клиента и его запросы по всем продуктам компаний. На основе аналитики по запросам клиентов можно предугадывать их потребности и превентивно предлагать новые продукты и услуги.

Можно сказать, что мы победили кризис. Разработав и внедрив нашу CRM, мы закрыли все риски, которые видели до внедрения. Сейчас мы работаем на собственном решении. Разработанный нами инструмент повысил нашу эффективность по всем направлениям: экономика, операционное управление и, главное, — удовлетворенность клиентов и персонала.

— В каком направлении будет развиваться платформа?

Первое направление – в сторону клиента: накапливая данные о наших клиентах о его обращениях по продуктам группы «Сбера», мы сможем более точно и превентивно решать проблемы клиента, закрывать его потребности и предлагать актуальные услуги и продукты. Удовлетворенность клиента – наш важнейший приоритет.

Второе направление – в сторону пользователей: в рамках единого окна у операторов контакт-центра должен быть доступ ко всем необходимым данным о клиенте: прошлые обращения, продукты, актуальные предложения для клиента. Оператор в рамках одного окна должен иметь возможность и найти посылку клиента в «СберЛогистике», и оформить договор по «СберЛизингу».

Наконец, в сторону технологий: мы не перестаем развивать CRM, наращиваем функциональность платформы, повышаем надежность системы и защищенность данных клиентов. В 2023 году основной задачей будет интеграция с новой платформой контакт-центра «Сбера» – SberContactPlatform. Комплекс решений CRM и SberContactPlatform должен полностью закрыть потребность в собственном решении и обеспечении технологического суверенитета «Сбера» в сфере контакт-центров.

За последние два-три года сфера искусственного интеллекта прошла огромный путь и сегодня мы видим массовое внедрение решений на базе ИИ в бизнесе, в частной жизни. Благодаря искусственному интеллекту у нас появились умные устройства, голосовые ассистенты, беспилотные автомобили. ИИ применяется, например, в финансовом сегменте, телекоме, медицине, ритейле. Но за каждым таким решением стоит кропотливая и в чем-то рутинная работа, ведь для обучения высококачественных моделей машинного обучения необходимо предоставить их алгоритму точно размеченные данные. Для того, чтобы размечать большой объем данных и делать это быстро, существуют специализированные платформы. В компании «АктивБизнесКонсалт», разрабатывающей ИТ-решения на базе речевых технологий для бизнеса под брендом VS Robotics, создали свою такую платформу – Elementary. Об истории и результатах этого проекта рассказал Дмитрий Теплицкий, генеральный директор АБК и номинант на премию Data Award.

— Как и зачем создавалась платформа Elementary?

Мы являемся одним из основных поставщиков решений, основанных на речевых технологиях. Наиболее известный пример – роботизированный агент, который применяется в различных сферах и направлениях: телемаркетинге, медицинских организациях для записи на прием, проведения опросов общественного мнения, взыскании проблемной задолженности и многих других. В связи с этим возникла необходимость разметки речевых корпусов и других данных, чтобы обучить робота общаться с человеком на равных.

Оценив рыночные решения, мы пришли к выводу, что схема работы внешних поставщиков размеченных данных нас не устраивает и необходимо собственное решение, позволяющее организовать этот процесс. Такое решение и было разработано – это площадка для разметки данных Elementary.

— Расскажите об истории проекта.

Мы разработали платформу Elementary в 2019 году. Этот сервис предполагал возможность разметчикам, привлеченным для работы на площадке, получать дополнительный доход за несложную работу. Уже в первый год платформа Elementary получила высокий отклик. Был получен высокий объем размеченных данных, которые в дальнейшем стали использоваться не только в ИТ-решениях, создаваемых в VS Robotics, но и в голосовых помощниках, и в других продуктах экосистемы «Сбера».

— Что собой представляет платформа, в чем ее суть?

Платформа Elementary позволяет решать большинство задач, связанных с разметкой данных для машинного обучения: текстов, картинок, аудио и видео. Суть проекта в том, чтобы получить большие данные, которые накапливаются в результате работы бизнеса, и обработать их нужным образом для использования в построении технологий. Наша платформа позволяет нам контролировать качество на каждом этапе. Мы автоматизировали весь процесс работы специалиста по разметке на площадке – от регистрации до оформления выплат. Кстати, мы – единственная подобная площадка с официальным оформлением трудовых отношений и автоматизированными выплатами.

— Какие задачи были поставлены перед проектом?

Проект был задуман как для решения прикладных задач подготовки данных машинного обучения, так и для оказания помощи в трудоустройстве для тех людей, кто оказался в сложном финансовом положении и ищет дополнительный источник дохода. 

— Что в ходе проекта было самым сложным?

Самой сложной частью была автоматизация создания заданий и правильный учет распределения больших объемов данных (до нескольких миллионов сущностей за задание) между большим количеством разметчиков на площадке, работающих во всех часовых поясах России.

— На каких технологиях базируется Elementary?

Проект построен на технологическом стеке языка PHP (фреймворк Symfony), фреймворка Vue.js и с частичным использованием языка Python.

— Каких результатов удалось достичь?

Самое главное – это разметка огромного массива данных, которые стали основой для многочисленных умных устройств и ИИ-продуктов в «Сбере». Нам удалось привлечь действительно большое количество разметчиков. Нами разработаны механизмы разметки любых типов задач. В пиковые нагрузки на площадке работали до 20 тыс. активных пользователей.

— Была ли изначально задумана социальная ориентация проекта? Или такое понимание пришло уже в процессе? Какие именно категории граждан составляют основную массу разметчиков?

На специализированных площадках, таких как Elementary, ежедневно размечается сотни тысяч данных, и для людей, занимающихся этой работой, это хорошая возможность для дополнительного заработка. А возможность работать из дома и в свободном графике особенно важна для женщин в декрете и малоподвижных граждан. Создавая Elementary, мы изначально задумывали площадку как отчасти социальный проект и сейчас видим, что наши ожидания оправдались.

За последние два года количество зарегистрированных пользователей выросло почти в 19 раз. Сейчас на площадке зарегистрировано почти 20 тыс. разметчиков – более 1,5 тыс. активных ежедневных пользователей. 10% пользователей – сотрудницы «Сбера», находящихся в декретном отпуске, они занимаются разметкой за дополнительный доход. 5% приходится на малоподвижных граждан и матерей детей с инвалидностью. Для оставшихся 85% обеспечивается занятность в удаленном режиме, это люди, не имеющие постоянного дохода и испытывающие финансовые трудности. Кроме того, мы предоставляем возможность присоединиться к платформе Elementary и людям, не имеющих возможность оплачивать кредит ввиду сложных жизненных обстоятельств.

Таким образом, площадка Elementary выполняет важную социальную роль – для людей это возможность для заработка.

— Какие требования предъявляются к ним?

Никаких, кроме оформления самозанятости и внимательного выполнения заданий. Система автоматизирована и позволяет формировать акты и прочие документы без привлечения исполнителей. Единственное, что нужно сделать самостоятельно, – два раза в месяц запросить вывод заработка, нажав соответствующую кнопку в личном кабинете.

— Какую роль играет проект в получении размеченных данных для построения моделей? Какова его доля в общем объеме?

Ключевую роль, так как позволяет произвести необходимую обработку практически любых данных (аудио, видео, изображения и текст), тем самым подготовив их для использования в построении необходимых моделей, их обучении. На проекте в том числе задействованы команды разработки, чьи данные целиком обрабатываются только внутри нашей площадки.

— В 2021 году на платформе Elementary было размечено более 153 млн данных. О каких единицах измерения идет речь?

Речь идет о любых видах данных, будь то семпл-аудио или изображение. Эти данные накапливаются бизнесом (например, одна аудиодорожка из звонка робота абоненту будет являться одним элементом этих данных) и передаются на площадку, где разбиваются по конкретным заданиям с описанием того, что нужно сделать.

Развитие туризма – важнейшая задача, решаемая на федеральном уровне. Государственным и региональным властям и организациям требуется помощь в развитии стратегических инициатив и проектов в этой области. Значимой вехой стало создание аналитического решения для внутреннего туризма в России, реализованного «СберАналитикой». Компания представляет собой цифровой сервис, позволяющий получать аналитические и статистические отчеты, построенные на обезличенных и агрегированных данных «Сбера». Ее флагманским продуктом является панель «Туризм», разработанная для развития туристической отрасли в регионах. Это решение стало первым среди крупных продуктов для сегмента регионального госсектора.

О реализации этого проекта рассказал Андрей Оберемок, генеральный директор ООО «ТОТ» («СберАналитика»).

— Как появилась панель «Туризм», что стало причиной ее создания?

Как и для других продуктов сегмента регионального и государственного сектора, импульсом послужил переход властей к принятию решений на основе аналитики больших данных. В 2019 году Правительство РФ утвердило Стратегию развития туризма в Российской Федерации на период до 2035 года. Тогда же руководство одного из горнолыжных курортов нашей страны заказало исследование туристического потока на данных Сбера. На основе данного проекта мы разработали первую версию методологии тиражируемого решения. Позже, в 2020 году был реализован первый контракт по анализу турпотока для целого региона. За счет этого мы значительно расширили методологию новыми метриками и провели ее полноценные испытания на большом объеме данных. Это позволило удовлетворить потребности в туристической аналитике всех потенциальных заказчиков и тиражировать продукт на новые регионы.

— Почему эта проблема важна?

Для нашей команды задачи, связанные с аналитикой туризма, — это не только, и не столько коммерческие продукты, основанные на популярном тренде последних лет. В первую очередь это возможность привлечь внимание к живой истории страны, сохранить культурное наследие и показать красоту ее природы. Географическое и климатическое разнообразие делает любой регион России привлекательным для посещения, а иногда даже потенциальной туристической Меккой, но, к сожалению, чтобы насладиться всем этим богатством, зачастую нужно в буквальном смысле совершить подвиг.

Сейчас на туристическую индустрию приходится всего 4% ВВП России — это очень мало. При этом надо понимать, что отрасль влияет на более чем 50 различных смежных отраслей российской экономики. При развитии внутреннего и въездного туризма рабочие места появятся в большом количестве населенных пунктов, повысится качество жизни в регионах, вырастет доход граждан в местах отдыха.

Именно поддержка туриндустрии — важная задача, в том числе и для властей регионов. Однако, чтобы развивать и поддерживать отрасль, необходимо понимать, в каком направлении двигаться, чтобы добиться конкретной пользы для конечного потребителя.

— Что представляет собой разработанный вами продукт?

Панель «Туризм» — наш флагманский продукт, разработанный для развития отрасли в регионах, улучшения качества сервиса и предоставляемых конечному потребителю услуг. Первостепенная задача продукта — помочь властям и бизнесу сделать так, чтобы каждому жителю отдыхать в России было не просто интересно, но также комфортно и выгодно, а туристическая отрасль приносила ощутимые доходы и служила катализатором социально-экономического роста.

Заказчик получает аналитику в максимально удобном формате — в режиме онлайн на информационной панели ему доступны более 50 показателей туристической отрасли региона в помесячной динамике с ретроспективой данных с 2018 года. Мониторинг всей туристической отрасли становится доступным региональным властям уже в течение недели после подписания договора.

— Какие ключевые проблемы пришлось решать?

На старте нацпроекта лидеры российских субъектов столкнулись с проблемой поиска нужной информации о туристическом потоке в регионах и состоянии отрасли в целом. На 2019 год в основном были доступны лишь данные мобильных операторов и статистика из официальных источников, которая поступала с большим опозданием. Кроме того, описанные источники информации не охватывали все необходимые аспекты и давали лишь количественный показатель туристического потока. Сведения о портрете туриста, его тратах, интересах и потребностях отсутствовали

Мы смогли найти новые достоверные источники информации и решить проблему. Компания разработала уникальную методологию на основе обезличенных больших данных, которая подходит для любого региона страны.

— Какие данные и какие платформы вами используются?

Оценка турпотока производится на основе анализа обезличенного массива данных клиентов Сбера. Мы располагаем информацией о тратах 100 млн физических лиц. Помимо собственных данных, для анализа туристического потенциала привлекаем информацию из внешних источников, закрывая все потребности клиентов.

Для работы с данными используются инструменты Hadoop, Spark, Python, Jupyter, Hive, Hue и др. Для анализа данных, моделирования и визуализации применяются такие библиотеки, как Pandas, Numpy, Scipy, Seaborn, Matplotlib.

— Кто в первую очередь является ключевыми пользователями – госструктуры или бизнес?

Главная цель продукта — полноценная поддержка национального проекта «Туризм и индустрия гостеприимства», в число задач которых входит подготовка условий для развития туристической отрасли в стране, привлечение инвестиции во внутренний туризм со стороны бизнеса, повышение туристического потока, в том числе привлечение иностранных туристов. Наш продукт в этом процессе — важный инструмент. Он дает руководству региона актуальную информацию о состоянии отрасли, что позволяет выявить целевую туристическую аудиторию, и точки роста для развития инфраструктуры, а также дает возможность оценить эффективность принимаемых мер.

— Каковы достигаемые результаты?

К панели «Туризм» на сегодня присоединились 19 регионов, и опыт использования больших данных для развития отрасли уже принес результаты. Главное, что несет в себе наш продукт, — аналитика, которая положительно влияет на динамику внутреннего турпотока. В качестве примера можно привести несколько регионов, где активно используют наш продукт.

Власти Югры благодаря аналитике подтвердили гипотезу о том, что в регион едут жители крупных городов Уральского федерального округа, прежде всего — на рыбалку. В округе определили перспективные туристские территории (агломерации) и приоритетные направления туризма. Территорию УрФО поделили на категории в зависимости от уровня развития туристической сферы.

Руководители администрации Нижегородской области предполагали, что туристов в регионе больше, чем учитывает официальная статистика. Наш продукт показал, что Нижний Новгород и область больше не являются местами для однодневных поездок, что количество гостей растет и они возвращаются в регион чаще. На основе наших данных руководство области разработало муниципальный туристский стандарт, чтобы довести инфраструктуру в слабых районах до приемлемого уровня. Также регион делится знаниями с бизнесом, помогая повышать качество обслуживания.

Еще один регион, который использует панель «Туризм», — Смоленская область. Теперь руководство области располагает информацией, которую раньше не удавалось получить ни из официальных источников, ни из маркетинговых исследований. На основе нашей аналитики регион выстроил грамотную стратегию развития и управления инфраструктурой туризма, определил возможности для расширения целевой аудитории, запустил маркетинговые кампании и в целом повысил свою привлекательность для туристов.

Таким образом, мы помогаем субъектам РФ повышать экономический уровень, улучшать инфраструктуру и повышать качество жизни местных жителей за счет развития туризма. Это комплексные решения, влияющие на итоговые финансовые результаты, а потому оценить в фиксированном денежном выражении их невозможно.

— Какова социальная значимость этого проекта?

«Гостеприимство» — это не абстрактное слово, а серьезная работа, существенно влияющая на впечатление от поездки. Панель «Туризм» дает руководству региона актуальную информацию о состоянии отрасли в целом, что позволяет выявить целевую туристическую аудиторию, точки роста для развития инфраструктуры и отслеживать эффективность принимаемых мер.

С началом пандемии жители страны стали больше путешествовать по России. Все мы, откладывая деньги на долгожданный отпуск, в поездке оцениваем, сколько и за что мы заплатили, что получили по факту, сравниваем предыдущий опыт с текущим. Конечно же, граждане, привыкшие в зарубежных поездках к высокому уровню сервиса, столкнулись с отечественным, который зачастую заставляет желать лучшего. Чувства патриотизма и красот природы оказывается недостаточно, чтобы увеличить турпоток и удовлетворить запросы путешественников.

Решения, основанные на полученной от нас информации, могут быть разными: от запуска дополнительных авиарейсов и строительства гостиниц до организации тематических фестивалей, от разработки новых маршрутов до развития сети Wi-Fi и современных остановочных пунктов. Турист получает то, что он хочет и на что готов тратить деньги: пятизвездочные отели или доступные хостелы, рестораны высокой кухни или небольшие семейные кафе, новые развлекательные площадки или выставки. Знания о потребителе позволяют открывать для них уникальные направления и разрабатывать новые маршруты.

В итоге повышается качество пребывания конечного потребителя в регионе. Отдых становится максимально комфортным, а гости готовы чаще путешествовать, расширяя свой кругозор и получая максимум удовольствия от поездок в регионы России.

Наконец, ценность развития туризма – не только в деньгах, которые отдыхающий тратит. С собой домой человек увозит впечатление о стране, городах, людях, что там живут, с которыми он познакомился в поездке. Не стоит забывать, что туризм — это основа народной дипломатии. Он несет в себе очень серьезный идеологический аспект, разбивает отрицательные стереотипы, создает новые мировоззренческие ориентиры, служит инструментом укрепления солидарности и взаимопонимания. В наше время это крайне важно.

— В каком направлении развивается проект?

Продукт растет в сторону полноценного решения, соответствующего запросам стратегических национальных проектов нашей страны в области туризма. Он обеспечивает анализ профиля туриста – его социально-демографический портрет и интересы; анализ бизнеса в туристической сфере – его финансовые показатели, уровень сервиса; анализ событий и мероприятий, их влияние на туристический поток; анализ локаций, их показатели и привлекательность для туристов.

Мы расширяем перечень источников данных, привлекаем новых партнеров, создавая синергетический эффект. Используем современные технологии ML-прогнозирования и искусственного интеллекта. Автоматизируем решение, благодаря чему оно легко масштабируется и становится доступным для широкого круга участников туристической отрасли.

Чтобы оставаться лидером на рынке, банку необходимо знать своего клиента: понимать его жизненную ситуацию, интересы и потребности, меняющиеся во времени. Этот фактор является ключевым в борьбе за внимание аудитории. В «Сбере» разработали проект по созданию максимально полного цифрового портрета каждого клиента на основе данных. О преимуществах такого подхода для бизнеса и для клиента рассказал Кирилл Панин, управляющий директор «Сбера».

— В каком направлении развивается персонализация клиентского опыта?

Каждый из наших клиентов обладает уникальным опытом использования финансовых и нефинансовых продуктов экосистемы, поэтому наша цель – найти индивидуальный подход к каждому за счет персонализации клиентского опыта. Мы должны знать своих клиентов настолько хорошо, чтобы быть помощником в большинстве возможных жизненных ситуаций, отвечать на текущие потребности и предвосхищать те, которые возникнут на следующем шаге.

Наши знания о клиентах находят свое выражение в хэштегах – бинарных бизнес-интерпретируемых знаниях, отражающих устойчивую характеристику или паттерн поведения каждого клиента. На текущий момент дивизион «Массовая персонализация» разработал более 15 тыс. хэштегов и продолжает работу над увеличением количества знаний, интегрируя доступные источники данных, возможности искусственного интеллекта, поведенческой экономики и данных клиентских исследований. Цель проекта – создать цифрового двойника клиента, максимально полно отражающего его финансовое поведение, предпочтения, цели, жизненные ситуации.

— Вероятно, попытки создать цифровых двойников для своих клиентов «Сбер» делает уже давно. Какие этапы вы можете выделить?

Построение цифрового двойника клиента эволюционирует вместе с развитием технологий аналитики и искусственного интеллекта. На предыдущем этапе, назовем его product-based, мы сосредотачивали усилия на том, чтобы наиболее удобным способом предложить клиенту максимально подходящий для него продукт. В настоящее время цифровой двойник встраивается в системный проект по определению жизненной ситуации клиента. Мы не только предлагаем продукт, но и комплексно оцениваем жизненную ситуацию клиента и оптимальный клиентский путь и строим цепочку предложений, исходя из этого.

— Насколько хорошо удается «предвосхищать» потребности клиентов – то, к чему вы стремитесь?

Мы стремимся не только предлагать заранее то, что нужно клиенту прямо сейчас, но и формировать потребности. Например, на основании паттернов финансового поведения мы умеем предсказывать совершение покупки в той или иной категории и предлагать оптимальные для клиента продукты и сервисы.

— На текущий момент разработано более 15 тыс. хэштегов. А сколько необходимо для полноценного описания действий человека?

Мы не ставим себе количественных целей, а ориентируемся на то, насколько качественны наши данные и насколько полно они позволяют нам понять клиента. Однако регулярно сопоставляем наши успехи с лучшими мировыми практиками. По данным компании Finalta, с которой мы регулярно проводим исследования, «Сбер» входит в число мировых лидеров по объему знаний о клиентах.

— Какие данные используются для создания цифровых двойников?

Мы используем всю доступную с согласия клиентов финансовую информацию, цифровые следы клиентов в экосистеме, данные цифрового профиля гражданина и чеков, анализ коммуникаций клиентов с сотрудниками банка, данные мобильного приложения и голосовых ассистентов.

Для анализа данных применяем передовые технологии машинного обучения и обработки данных, алгоритмы градиентного бустинга и нейронные сети, а также активно внедряем SOTA методы машинного обучения: GPT-3, MeLES и др.

— Понимание своего клиента имеет очевидную ценность для банка. А в чем выгода для самого клиента от такого понимания?

Клиент получает максимально подходящее и удобное для него обслуживание без излишних контактов с банком. И это касается как помощи в решении определяющих вопросов – например, покупки квартиры, где мы не просто помогаем взять ипотеку, но и выстроить весь путь решения о покупке до партнерских предложений по обустройству нового жилья – так и небольших, но значимых для удобства клиента задач. Например, алгоритм определения тайм-зоны клиента исключает звонки и смс в неподходящее время. Это позволило исключить жалобы клиента по вопросу контактов в неподходящее время.

— Возможна ли прямая монетизация знаний о клиентах, или все-таки речь идет об их встраивании в продукты банка?

Развитие знаний о клиентах не ставит монетизацию первоочередной целью, мы сосредоточены на понимании и удовлетворении потребностей клиента и интегрировании этих знаний в наши предложения и коммуникации. В долгосрочной перспективе это развитие выгодно как банку, так и клиентам, поэтому так или иначе монетизация происходит.

— Каких успехов удалось достичь?

Мы используем знания о клиенте для улучшения прогнозирования спроса на банковские продукты и сервисы, повышения точности моделей и разработки сегментных стратегий. Общий финансовый эффект моделей в бизнесе персональных предложений составил 116 млрд руб. за 2021 год.

Сейчас мы в процессе масштабирования проекта на все продукты и сервисы экосистемы «Сбера». Для того чтобы стать эффективным помощником для клиента в его повседневной жизни, недостаточно только финансовых сервисов, и мы идем по пути максимальной интеграции с экосистемой.

— Приведите пример персональных сервисов, которые имели самый большой бизнес-эффект.

Например, мы разрабатываем уникальные подходы к пониманию и предсказанию поведения клиентов. В частности, определяем паттерны их поведения, предшествующие открытию продуктов, что дает существенный эффект: на примере заявок на персональные кредиты выявлено более чем трехкратное увеличение. Мы применяем эту методологию не только к нашим базовым продуктам – персональным кредитам и ипотеке, но и к инвестиционным продуктам, брокерскому обслуживанию.

— В чем роль проекта для бизнеса «Сбера»?

Построение цифрового двойника каждого клиента на основе данных помогает увеличить прибыль компании и удовлетворенность клиентов за счет того, что каждый из них обретает свой индивидуальный образ с уникальными чертами, позволяющими строить персонифицированные коммуникации и рекомендации. Сейчас мы реализуем масштабный системный проект по определению жизненных ситуаций клиента, позволяющий комплексно оценить потребности и подобрать оптимальный клиентский путь. Конечно же, в алгоритме определения жизненной ситуации знания о клиенте играют ключевую роль.

Также знания о клиентах используются и в отдельных социально-ориентированных проектах. Например, одной из важных целей нашей стратегии развития является повышение уровня ESG банка и клиентов. На знаниях о клиентах построен их ESG-рейтинг, позволяющий оценить текущее вовлечение клиентов в «зеленую» повестку и создать стратегию дальнейшей работы компании в этой сфере.

Традиционно выделялось два основных источника данных о клиентах: маршрут перемещения и транзакционные данные. Эти данные действительно полезны в различных сферах бизнеса, однако в них отсутствует подробная информация о предпочтениях клиентов. К каким брендам они лояльны? Какую долю своего бюджета они тратят на определенные товары? Какое у них хобби? Есть ли у них домашние животные? Чем точнее компания может ответить на эти вопросы, тем более персонализированными становятся ее отношения с каждым клиентом. Источником таких знаний о клиентах становятся их чеки, именно эти данные отражают их образ жизни и поведенческие привычки.

В «Сбере» разработали модели, которые с согласия клиента помогают обрабатывать и извлекать из чеков важные для лучшего понимания потребностей клиента данные. Так появился проект аналитики чеков для максимальной персонализации и адаптации клиентского опыта для экосистемы «Сбера». О реализации этого проекта и первых результатах рассказал Антон Золотухин, Data Protection Officer розничного бизнеса «Сбера».

— Анализом транзакционных данных занимаются все. С какого момента был сделан акцент на анализ чеков, дающий принципиально иные знания?

«Сбер» – больше, чем банк. На сегодняшний день в его экосистему входит более 100 компаний, удовлетворяющих основные жизненные потребности каждого клиента: вызов такси, доставка еды, совершение покупок и многие другие. У каждого из 103 млн наших клиентов свой уникальный опыт использования финансовых и нефинансовых продуктов экосистемы, поэтому одна из главных целей – найти индивидуальный подход к каждому клиенту. Чтобы достичь максимальной персонализации, мы стремимся использовать как можно большее количество различных источников и возможности искусственного интеллекта для аналитики данных.

В 2021 году нами было принято решение более детально посмотреть на транзакции клиента. Стало очевидно, что для получения уникальных знаний о клиенте недостаточно просто знать сумму покупки и наименование продавца. Неисчерпаемый источник данных содержит именно детальный чек со списком покупок, который позволяет глубже понять жизненную ситуацию и привычки клиента. При этом чеки в необработанном виде содержат много избыточной или искаженной информации. Но мы нашли решение и разработали модели на основе искусственного интеллекта, которые с согласия клиента помогают обрабатывать и извлекать из чеков важные для нас данные. Так появился проект по закупке чековых данных и их аналитике для максимальной персонализации и адаптации клиентского опыта для экосистемы «Сбера».

— Для обработки чеков требуется согласие клиента. Какой процент из многомиллионной армии клиентов «Сбера» дает его?

Сервисом чековой аналитики пользуется свыше 70 млн клиентов, что составляет более 90% от всех пользователей мобильного приложения «СберБанк Онлайн» – все эти клиенты дали согласие на подключение аналитики чеков. Никто из наших конкурентов на рынке не работает с таким объемом данных и не реализует проект аналитики клиентских чеков такого масштаба.

— Почему клиенты дают согласие на анализ чеков? В чем их выгода?

Для клиента важно иметь возможность детально анализировать структуру расходов для управления семейным бюджетом, а также получать другие инструменты анализа личных финансов. Он самостоятельно подключает сервис и видит подробную аналитику своих трат по товарам и категориям. Вместо категории с общим названием «расходы в супермаркетах» на экране онлайн-банка отдельно отображаются «расходы на продукты питания», «товары для дома», «товары для домашних животных» и так далее. Эти данные позволяют клиенту видеть полную картину своих расходов. Ранее получить такой результат было невозможно, так как при анализе использовались только транзакционные данные.

— Что стало самым сложным в реализации этого проекта?

Для проведения анализа чековых данных потребовалось решить целый ряд нетривиальных задач: научиться обрабатывать огромный объем данных, учитывать разнообразие названий продуктов (в том числе составные), опечатки, транслитерацию, сокращения и аббревиатуры в наименованиях. Из-за всех этих факторов практически невозможно решить задачу анализа чеков с помощью традиционных подходов. Например, невозможно определить по наименованию позиции в чеке «ФРУТ/.САД 1,5л ЯБЛ&ПЕР.», какой именно товар приобрел клиент. Применяя модели искусственного интеллекта, из указанного наименования можно выявить, что приобретен товар в категории «Продукты», продукт «Нектар», бренд «Фруктовый Сад», объем 1,5 л.

Решение на основе искусственного интеллекта способно автоматически распределять купленные клиентом товары более чем по 72 тыс. параметров: категории, бренды, продукты, меры. За счет использования семантических представлений из нейросетей и алгоритмов платформа способна находить схожие или идентичные продукты с похожими описаниями и предоставлять точную аналитику. В работе над проектом были использованы последние достижения в области искусственного интеллекта и обработки естественного языка: маскированные языковые модели с использованием механизма Self-Attention («внимание на себя») и архитектуры Transformer, трансферное обучение и др. Эти технологии позволяют нам создавать эффективные решения для автоматического анализа данных на естественном языке.

— В какие продукты банка и экосистемы «Сбера» в целом могут быть встроены знания о распределении расходов клиента?

Подробная информация о предпочтениях клиентов, которая содержится в электронных чеках, используется для формирования рекомендаций, аналитики, оценки рисков при выдаче кредитов, проведения маркетинговых кампаний и кампаний по стимулированию продаж. Благодаря уникальному решению нам удалось повысить персонализацию и точность таргетинга предложений, предоставляемых банком и другими участниками экосистемы. В перспективе это позволит удерживать позиции в борьбе за внимание и кошелек клиента, а также предоставлять лучший персонализированный сервис.

— Каких результатов удалось достичь?

Всего за год команде удалось разработать и запустить уникальную платформу для анализа клиентских чеков. Обучение модели происходило на 2 млн единиц открытых данных из каталогов интернет-магазинов. В конечном счете, удалось добиться точности распознавания данных электронных чеков на уровне 85%. И сейчас мы умеем распознавать 42 тыс. продуктов, 30 тыс. брендов, 260 категорий. За 2021 год было обработано 7 млрд чеков.

Такие показатели открывают новые возможности для развития бизнеса «Сбера». Результаты платформы по аналитике чековых данных используются при составлении персональных предложений и формировании рекомендаций, что повышает лояльность клиентов. Наблюдается прибавка 5% к росту количества уникальных пользователей за месяц (monthly active users, MAU) и 10% к показателю «кликабельности» (click-through rate, CTR).

Кроме того, мы ожидаем значительного повышения эффективности бизнес-процессов: увеличения выручки в сегменте маркетинга и продаж на 5%, а также увеличения выручки в области управления рисками на 3%. Это подтверждено пилотными проектами на стадии доказательства ценности.

Отдельно следует выделить помощь проекта аналитики чеков в реализации стратегии в области ESG.

— Насколько важна для «Сбера» повестка ESG? Какую роль этот проект может играть в ней, и вообще в «зеленых» инициативах?

ESG-повестка для «Сбера» чрезвычайно важна: в бизнес-стратегиях компаний ESG становится новым стандартом и гарантией успешного ведения бизнеса. Мы всегда уделяли значительное внимание вопросам устойчивого развития, корпоративной и социальной ответственности. Сейчас компания находится в активной фазе ESG-трансформации, основная наша цель — стать лидером системных изменений в области ESG для создания экономики процветания, эффективной для общества и сохранения окружающей среды.

Таким образом, одной из главных наших задач является повышение уровня ESG банка и клиентов. Благодаря аналитике клиентских чеков мы разрабатываем функции, позволяющие использовать обработанные данные для реализации стратегии в области ESG. Например, мы можем выявлять клиентов, которые делают покупки экотоваров и вознаграждать их за заботу о природе и обществе бонусами и скидками от экосистемы «Сбера». Также уже запущен пилот для наших сотрудников по отслеживанию своего углеродного следа в мобильном приложении «СберБанк Онлайн». Это стало возможным благодаря учету расходов на топливо и поездки на такси при анализе электронных чеков. С помощью этой функции мы сможем оценить уровень ESG каждого клиента и развить среди них культуру осознанного потребления.

— Есть ли возможности для развития этого проекта? В какие новые инициативы он может перерасти?

Использование решения на основе искусственного интеллекта для анализа чековых данных позволяет увеличить выручку и улучшить клиентский опыт за счет повышения уровня персонализации предложений и реализации новых возможностей для клиента. Проект вносит весомый вклад в достижение целей «Сбера» и повышает точность предсказания нашего лучшего следующего действия для клиента (Sber Next Best Action). Кроме того, решение позволяет лучше понять наших клиентов и предоставить им лучшее предложение на рынке в соответствие с их потребностями. Направлений использования структурированных данных из чеков – бесконечное множество: банк может и должен меняться вместе со своими клиентами.

Развитие экосистемы «Сбера» потребовало перехода на новый уровень организации управления данными: возникла необходимость предоставить к ним доступ широкому кругу пользователей внутри компании и реализовать работу с данными как сервис. Нужно было дать пользователям возможность самостоятельно искать и заказывать данные, а кроме того, обеспечить автоматизацию процессов data governance и безопасности. Речь идет о создании «единого окна» доступа к данным, объем которых уже превысил 100 Пбайт.

Решением проблемы стало внедрение разработанной системы «Супермаркет данных», в рамках которой пользователь, работая с каталогом данных «Сбера» с применением поиска на естественном языке, может заказывать данные разово или получать их в виде регулярной поставки. При этом пользователь освобожден от выполнения служебных рутинных операций, связанных с получением доступа, изучением инфраструктуры и структуры данных и т. п., — все процессы централизованы и лежат «под капотом» клиентского сервиса.

О создании «Супермаркета данных» рассказали номинанты премии Data Award 2022 Борис Рабинович, старший управляющий директор — директор Департамента управления данными Сбербанка, CDO «Сбера», и Мария Юшанова, начальник Управления распространения данных Сбербанка.

— Каким был процесс получения данных пользователями раньше? В чем заключались ключевые проблемы?

Борис Рабинович: Для того чтобы начать использовать данные, сначала требовалось понять, где они расположены. И в банке, и в любой другой крупной компании есть множество учетных, клиентских и прочих систем. Аналитики должны были выяснить, где можно раздобыть необходимые данные, и обратиться за доступом к ним. После оформления всех необходимых заявок и их согласования приходилось разбираться со структурой данных и разрабатывать ETL-процесс для загрузки информации в то место, где будут строиться бизнес-решения.

Одно дело, когда такая проблема касается десятка или даже сотни сотрудников, и совсем другое — когда их счет идет на тысячи. Поэтому появилась идея оптимизировать и автоматизировать этот процесс: создать описание данных, их структурированный каталог, облегчить заказ данных, упростить доступ к ним. Но самое важное — заменить разработку тысяч ETL-процессов на единый сервис поставки данных. В масштабах «Сбера» это кратно сокращает трудозатраты и время доступа к данным. Важно отметить, что данные собраны в полном соответствии с действующим законодательством, с разрешения клиентов, и хранятся и обрабатываются они только в обезличенном виде.

— В чем суть созданного решения?

Б.Р.: Цель реализации нашего дата-сервиса — радикальное сокращение времени на доступ к данным, а также упрощение их поиска и потребления. Все происходит аналогично тому, как мы создаем заказ в интернет-магазине: находим нужный «товар» через поисковую строку на портале или в каталоге, добавляем в «корзину» и оформляем разовую или регулярную доставку.

Если раньше для получения данных требовался опытный ИТ-специалист, то теперь процесс доступен любому сотруднику. Более того, прежде даже специалисту на поиск, доступ и выгрузку данных требовалось до 60 дней, а сейчас процесс занимает не более трех часов.

Пользователь может заказать данные в пакетном режиме (разовая поставка, регулярная поставка по времени или по событию) в виде снэпшота или инкремента. Кроме того, работает потоковая поставка данных в режиме, близком к реальному времени.

— Из каких компонентов состоит «Супермаркет данных»?

Мария Юшанова: Важно понимать, что «супермаркет» — не только магазин с данными, где осуществляется заказ и дистрибуция данных. Это конгломерат, который обеспечивает все сопутствующие сервисы.

Супермаркет состоит из трех крупных частей: портал, бэк-офис и ядро, где происходит выполнение и обработка поступающих заказов. Обычно клиентский путь таков: пользователь заходит в супермаркет, видит структурированный каталог либо пользуется поиском на естественном языке — и поисковик предлагает ему необходимые дата-сеты с описанием. После этого пользователь набирает себе «в корзину» необходимые данные, при необходимости накладывает на них фильтры. Если у пользователя еще нет доступа к этим данным, ему не нужно создавать заявку на доступ — и в этом ключевое изменение: она будет сформирована автоматически и обработана по соответствующим правилам, в зависимости от категории данных.

— Сколько времени потребовалось на реализацию проекта, какие этапы он включал?

М.Ю.: Мы начали этот проект еще в 2019 году — с сессии дизайн-мышления. Мы видели возможности для ускорения доступа к данным и думали над тем, как их можно оптимизировать, — именно так и родилась идея супермаркета данных. Далее мы разработали MVP, который работал сначала только на пакетные загрузки и лишь внутри платформы Hadoop. Следующим этапом шло усложнение функциональности: мы развивали доставку на разные площадки, подключали различные системы хранения, увеличивали частоту поставок, охватили потоковые данные. Третий этап включал развитие с точки зрения управления доступом и правил data governance.

В этих направлениях зачастую работа шла параллельно — у нас всегда амбициозные цели: требуется всё, сразу и качественно. Поэтому понадобился еще год после появления MVP.

Мы увеличиваем ассортимент данных, расширяем «зоны» доставки данных, повышаем вариативность поставок и оптимизирум многое другое. На данный момент у нас 57 интеграций, включающих логистику от поставщика до потребителя в разных режимах в сопровождении обеспечивающих сервисов, таких как сервисы защиты данных, федеративного доступа, сервисов поставки и так далее.

— Расскажите об этапе дизайн-мышления.

М.Ю.: Это наша нормальная практика, появившаяся с переходом на Agile и ставшая важнейшей частью всех проектов. Таким образом совместно с заказчиком мы проговариваем не только запуск крупных продуктов, но и любые достаточно крупные изменения в них. Это позволяет сделать сервисы правильнее и удобнее, учесть все возможные нюансы, взглянуть на проблему со всех точек зрения. Кстати, в таких сессиях участвуют не только бизнес-пользователи, но и сотрудники служб безопасности и сопровождения.

Основные пожелания были очевидны: чем быстрее доступ к данным, тем лучше, и при этом решение не должно обойтись слишком дорого. Но именно в процессе дизайн-мышления, в котором участвовали разные категории потребителей, был найден оптимальный вариант взаимодействия пользователя с сервисом — принцип самообслуживания. Кроме того, мы выявили потребность в поиске данных на естественном языке и в наличии рекомендательного сервиса.

— Какие организационные изменения потребовались?

Б.Р.: Функции CDO в банке уже много лет, все процессы и политики уже давно выстроены. Поэтому в SberData была просто выделена команда, отвечающая за этот инструмент.

— Как «Супермаркет данных» стыкуется со стратегией управления данными, какое место в ней занимает?

Б.Р.: Это ключевой элемент в стратегии управления данными, и подразделение кибербезопасности нас в этом поддерживает. «Супермаркет» — единая точка доступа к данным в контуре «Фабрики данных» (единой платформы для работы с данными), и нет никакого другого способа получить данные, кроме как через него. Здесь проходят все процессы, связанные с правами доступа, распространением данных.

В рамках платформы сам бизнес-заказчик может увидеть все, чем он владеет, какие у него есть подписки, каков их статус. Аналогично, все службы могут понимать, кто к каким данным обращается, какие у кого права. Это краеугольный камень работы с данными.

— Сколько людей работает над этим продуктом?

Б.Р.: В SberData за «Супермаркет данных» отвечают около 40 человек.

— Поиск на естественном языке в каталоге данных — действительно громадный шаг навстречу пользователям. Как это решение реализовано, что оно собой представляет?

М.Ю.: В первую очередь данные должны быть описаны, причем строго по стандартам. У нас есть продукт «Карта данных», в нем владельцы данных получают физическую модель данных, за которую отвечают, и описывают эти данные на естественном языке по определенным стандартам. Далее описание данных выгружается в «супермаркет», и через поиск, реализованный на ElasticSearch, становится доступным пользователям.

Обычно пользователи не вводят запрос полностью, а указывают, например, «кредиты юридических лиц». Этого достаточно для того, чтобы подтянуть информацию по всем необходимым таблицам и атрибутам.

— На какие результаты от «Супермаркета данных» рассчитывали, как они соотносятся с практикой?

Б.Р.: Важным эффектом стала демократизация данных, именно на нее мы рассчитывали больше всего. Как и в случае с любым хранилищем, вопрос финансового эффекта — очень спорный, на него вряд ли кто-то сможет ответить. Вероятно, его можно оценить через человеко-дни в «условных миллиардах» для банка. Но ведь речь идет не столько об экономии времени работы специалистов, сколько об ускорении процессов и сокращении времени вывода продуктов на рынок. Поэтому мы больше склонны рассматривать эффекты с точки зрения ресурсов, занятых в работе с данными, и задействованной в этом инфраструктуры.

У платформенного подразделения есть преимущество в том, что мы можем принять проактивное решение о развитии инструментов управления данными, которые, по нашим оценкам, должны быть востребованы бизнесом. И бизнес-подразделения (возможно, после некоторых колебаний) действительно впоследствии начинают их применять.

До реализации «Фабрики данных» мы использовали «озерца» данных. Они были плохо связаны между собой, имели собственную инфраструктуру и процессы загрузки данных, сопровождения и разработки. Когда внедряется централизованный инструмент, для меня как CDO, отвечающего за платформу, важна его востребованность. И я вижу, что на платформу приходят десятки, сотни, а затем и тысячи человек — все сообщество потребителей данных переходит на целевую инфраструктуру. Ключевой драйвер этого «великого переселения» — продукты, которые существенно упрощают жизнь пользователей. Этот комплекс автоматически затягивает в себя все наше комьюнити D-people — дата-сайентистов, аналитиков и инженеров. Мы на это рассчитывали и ровно это получили в итоге. Более того, возможно, мы недооценили востребованность «супермаркета» и сейчас видим рост потребления сервисов, существенно опережающий заложенные темпы.

— А какими количественными результатами можете похвастаться?

М.Ю.: На текущий момент через «Супермаркет данных» по подпискам осуществляется более 70 тыс. поставок данных ежемесячно для более чем 2700 пользователей, и рост продолжается. Мы добились огромных результатов в высвобождении времени наших сотрудников от рутинных операций. С внедрением тегирования данных мы автоматизировали доступ к ассортименту. А после добавления подписки в корзину и разрешенного доступа к данным можно получать данные с задержкой от 15 минут до 3 часов, в зависимости от их объема.

Важно отметить, что платформа «Супермаркета данных» обеспечивает потоковую поставку данных в режиме, близком к реальному времени. В планах — довести производительность системы до 10 млн операций в секунду, что позволит вывести, например, рекомендательные системы на качественно новый уровень.

— Насколько радикальным стало сокращение времени разработки продуктов?

М.Ю.: Поиск данных и доступ к ним занимал несколько недель, и еще полтора месяца — разработка процесса ETL. Это время могло различаться в зависимости от объема и вида данных, а также других факторов, но в среднем составляло около трех месяцев. Именно о таком сокращении сроков реализации проектов идет речь, и, с учетом количества запросов на данные, это гигантские объемы.

— В результате внедрения «Супермаркета данных» у всех пользователей появилась возможность попробовать себя в новой роли — специалиста по работе с данными. Насколько востребованным это оказалось в реальности?

Б.Р.: ИТ-специалисты могут сами извлечь необходимую часть данных с помощью SQL-запроса и проанализировать их. Но ведь большинство сотрудников не обладают такими знаниями. Поэтому было важно дать им инструмент, позволяющий без какого-либо программирования и чьей-либо помощи получить данные и заняться их анализом. Благодаря этому нам действительно удалось привлечь новые группы бизнес-пользователей.

Важность фактора удобства подтвердил резкий скачок объема потребляемых данных. Планируя инфраструктурные мощности для «супермаркета», наши специалисты проанализировали число потенциальных пользователей, наиболее востребованные данные и частоту их потребления. Однако почти сразу же мощностей перестало хватать. Пользователи стали заказывать кратно больше данных, чем делали это обычно. Анализ причины оказался прост: людям было интересно сделать заказ, положив данные в корзину легко и быстро.

— Было ли что-то еще, что вызвало ваше удивление?

М.Ю.: Все же процесс был выстроен так, что вначале мы пообщались с нашими пользователями, узнали их потребности и пожелания и лишь затем их реализовали. Поэтому других сюрпризов, помимо скачка потребления данных, не было.

— В каком направлении будет развиваться проект?

Б.Р.: В дальнейшем предполагаем развивать клиентские пути и повышать удобство сервисов. Например, мы планируем реализовать функционал «джойнов» — объединять данные из разных источников. Мы видим, что в этом есть потребность: многие агрегируют информацию в собственных витринах или лабораториях. Если сотрудник кладет в одну подписку бухгалтерскую информацию и данные о сделках, то понятно, что в дальнейшем он будет объединять их между собой. Мы можем брать это на себя и сразу формировать джойн при предоставлении подписки. Это качественное улучшение — доставлять не только сырые данные для анализа, но и полуфабрикаты, готовые к применению.

Кроме того, мы прорабатываем внедрение нескольких стримов, связанных с искусственным интеллектом, — например, по прогнозированию объемов нагрузки, производительности и надежности логистической цепочки. Это позволит существенно улучшить клиентский опыт, повысить доступность данных и расширить круг их потребителей.

Чтобы оперативно принимать решения на основе данных, необходимо вовлечь в работу с ними как можно больше сотрудников. Какие шаги предприняли в Сбере, чтобы быстро и с разумными затратами проверять различные гипотезы, находить эффективные решения и за считанные часы вводить в эксплуатацию модели на базе машинного обучения? Как на платформе «Фабрика данных» появилось «Рабочее место D-people» и что за этим последует, рассказывает номинант CDO Award 2021 Борис Рабинович, CDO Сбербанка, старший управляющий директор, директор департамента управления данными Сбербанка.

- Как зарождался data-driven-подход в Сбере?

После того как мы поняли, что с текущими темпами роста наших объемов данных масштабировать текущую архитектуру будет очень дорого, было принято решение о запуске программы создания «Фабрики данных». В рамках этой программы была разработана новая, современная архитектура, принята политика управления данными, внедрены функция и вертикаль CDO, началась проработка централизованных политик управления корпоративными данными и качеством данных.

- Чем занимается ваш департамент?

Миссия департамента — создание эффективной и доступной для всех подразделений банка среды работы с данными. Он отвечает за разработку, внедрение и сопровождение платформы, а также за управление корпоративными данными.

По смыслу и платформа, и департамент разделены на этапы жизненного цикла данных: загрузка, внутренняя обработка, предоставление данных. Отдельные классы задач — работа с интегрированными данными и сопровождение в режиме 24x7.

Поначалу программа создания «Фабрики данных» воспринималась бизнесом как пассив и факультативная нагрузка, поскольку платформа развивалась в соответствии с приоритетами, поставленными в основном технологическим блоком. Чтобы изменить это отношение, мы поменяли парадигму — пошли от задач бизнеса: определили ключевые проекты бизнес-блоков, связанные с данными, разобрались, что требуется от платформы этим проектам, сделали бэклог задач, привязанный к вехам этих проектов, распределили такие задачи по командам в департаменте и включили в эти команды представителей бизнес-блоков. Кроме того, мы ввели понятие «поколение платформы». Каждая смена «поколений» характеризуется качественным скачком, произошедшим в результате запуска ключевых бизнес-проектов.

В течение двух лет мы организовали подключение к платформе более 250 источников данных, выстроили инструменты для конкретных пользователей. Сейчас каждый третий трайб (группа команд. — Прим. ред. ) имеет на платформе свои решения. Количество решений выросло с 12 на конец 2019 года до 90 на конец 2020-го. Это масштабные аналитические системы, каждая из которых решает множество задач.

- Что собой представляет «Фабрика данных»?

Это платформа, которая на данный момент состоит из более 100 элементов и сервисов, таких как компонент загрузки данных в реальном времени, журналирование действий пользователя, аудит, проверка прав доступа, карта данных как средство навигации, механизм проверки качества данных, механизм распространения данных и т. п. Все эти процессы увязаны и работают так, чтобы в нужное время в нужном месте у наших клиентов были данные и решения. Часть платформы — промышленная область, где процессы выполняются без участия людей (по расписанию и для интеграции с внешними системами). Другая часть связана с процессом разработки, будь то инженерия, создание отчетов, аналитика или задачи data science.

- В чем заключается политика Сбера в работе с данными?

Политика по управлению корпоративными данными — это утвержденный правлением банка нормативный документ, свод правил, вокруг которого выстраиваются организационная вертикаль CDO, набор процессов управления данными, роли, их функции и взаимодействие друг с другом (CDO банка и блоков, владельцы предметных областей, менеджеры данных, дата-стюарды, дата-инженеры, архитекторы по работе с данными и др.).

Это верхнеуровневый документ, в котором структурированы и описаны ключевые вопросы работы с данными в банке и опорные точки, на которые мы ориентируемся: качество данных, описание данных, владение данными, предоставление прав доступа к данным.

Жизнь не стоит на месте, мы понимаем, какие области надо развивать, и сейчас выходит уже третья версия политики. На 2021 год стоит задача внедрить управление жизненным циклом данных — программу ILM (Information Lifecycle Management), чтобы обеспечить сквозное управление данными на всех этапах — «от рождения до смерти».

У нас не было подхода к «смерти» данных, но сейчас ясно: объем такой, что некоторые данные хранить нецелесообразно — мы их никак не используем, а они занимают место и стоят денег. Особое внимание направлено на все, что связано с конфиденциальными и персональными данными. Мы должны очень четко понимать, где они «живут», как мы их используем и обезличиваем для разных целей применения и как удаляем. Кроме того, все операции с данными необходимо выполнять в строгом соответствии с правилами действующего законодательства в части персональных данных, банковской тайны и других чувствительных данных.

Будет и четвертая версия политики, действие которой распространится на работу с данными не только Сбербанка, но и всей экосистемы. Нет предела совершенству.

- «Кладбище» данных еще не организовали?

Устроить «чердак» данных перед уничтожением — это хорошее предложение, я подумаю. Тема важная, потому что объемы данных Сбера колоссальны. В «Фабрике данных» около 12 Пбайт полезных данных, а с учетом репликаций — около 40 Пбайт. А кроме того, есть еще транзакционные системы, их копии — с ними объемы данных ушли уже далеко за сотню петабайт. Стоит их хранение очень прилично. Поэтому нам предстоит разобраться, нужно ли это хранить и можно ли перевести их хранение из «горячего» в «холодное». Фрагментарно это уже делается, но задача CDO — сделать это системно на уровне всего банка.

- Какие задачи превалируют: направленные на оптимизацию процессов или на создание новых продуктов и сервисов?

У меня три приоритета. Первый и основной — дать возможность бизнесу эффективно реализовывать на платформе все его задачи. Цель каждого из 90 решений — заработать денег и минимизировать потери банка. Второй важнейший приоритет — высочайшие стандарты кибербезопасности платформы. Третий — ее надежность и эффективность. При этом я слежу за тем, чтобы банк получал максимальный эффект, тратя минимальные деньги.

- Какую цель перед собой ставили, начиная работу над проектом D-people?

Ставилась цель — существенно повысить эффективность работы сотрудников D-people (дата-инженеры, дата-сайентисты, дата-аналитики) за счет сокращения времени создания и вывода моделей в промышленную эксплуатацию. Для этого и создавали единое рабочее место. Когда была запущена программа AI-трансформации, в банке появились сотни дата-сайентистов и еще больше дата-инженеров, которые готовят фичи (наборы данных, на которых работают модели. — Прим. ред. ). Если для такой армии созданы оптимальные условия работы (инструменты, доступные данные и пр.), то это в конечном итоге отражается на эффективности компании. Ради этого все и затевалось. Созаказчиком тут выступил розничный бизнес, трайб «Массовая персонализация», возглавляемый Игорем Зарубинским, где сосредоточено большинство D-People розницы.

Основные процессы для исследователей данных — это разработка моделей, анализ их работы, вывод в эксплуатацию и проверка результатов. Но фактически на это коллеги тратили лишь 10–15% времени, остальное занимала рутина — получение инфраструктуры, прав доступа, самих данных, разрешения на вывод модели в промышленную эксплуатацию. В любой крупной организации каждый элемент этой цепочки — длительный процесс. В результате на создание прототипов и проверку гипотез тратились не недели, а месяцы.

- Когда началась работа и какие задачи решали в первую очередь?

Ключевой компонент — лаборатория данных — появился в 2019 году. Это инфраструктура, которая доступна пользователям для прототипирования, проверки гипотез и разработки моделей.

Первая проблема заключалась в длительности процесса получения данных — заказа, получения согласований и разрешений для разовой загрузки данных на сервер. Мы обсудили с коллегами наболевшие вопросы и выяснили, что они хотят концентрироваться на своем ключевом навыке — строить модели, а не тратить время на решение «коммунальных» вопросов.

Разложив процесс работы дата-сайентиста на части — от получения выделенной инфраструктуры до вывода модели в промышленную эксплуатацию, — мы увидели, что проверка одной гипотезы занимает три с лишним месяца. Так жить нельзя!

И мы сосредоточились на том, чтобы многократно ускорить получение результата, выстроив новую цепочку процессов и совместив их с инструментарием, компоненты которого интегрированы друг с другом. Сделали супермаркет данных, позволяющий заказать любые доступные в банке данные.

Товары на «полках» нашего супермаркета — это дата-сеты, построенные на основе копий систем — источников информации, с полным описанием атрибутного состава и другой необходимой информации. К выбранным дата-сетам можно заказать доступ: кладешь в корзину, выбираешь к какому времени они нужны, куда их нужно выгрузить и нажимаешь кнопку «Заказать». Формируется подписка. Данные отгружаются c указанной заказчиком периодичностью. Параллельно в этом же интерфейсе происходит предоставление прав доступа.

Также мы запустили магазин инфраструктуры, где можно выбрать виртуальный сервер необходимой конфигурации — с нужным числом ядер, объемом памяти и «начинкой». Заказываешь — и в течение часа разворачивается Hadoop и создается твой персональный сервер. Специально для тебя! Получается новый клиентский опыт: развернув сервер, заказываешь данные в супермаркете, получаешь права доступа — и эти данные автоматически отгружаются на твой сервер.

На следующем шаге дата-сайентисту нужны инструменты. Поэтому рабочее место D-People наполнено всеми современными инструментами обработки данных (spark, hive и пр.), UI (hue, Jupyter Hub) и библиотеками.

Когда сервер развернут со всеми инструментами и современными библиотеками, дата-сайентист начинает делать фичи и моделировать. Следующая задача — вывести витрину фичей и саму модель в промышленную эксплуатацию. Вывод витрины занимает до недели, но это разовая акция, а вот для вывода самой модели, когда витрина уже есть, мы сделали модельный DevOps, оптимизировав этот процесс до 4 часов.

Таким образом, весь цикл организационной работы дата-сайентиста сжат с трех с лишним месяцев до одного дня.

- Какие источники данных использовались?

Сейчас загружено более 250 внешних и внутренних источников данных плюс внешние справочники. Но гипотетически в банке более 300 централизованных систем, есть и децентрализованные. У дочерних обществ Сбера появляются данные, которые тоже нужны в контуре банка. Поэтому количество источников постоянно растет.

- Какие платформы применяются в работе с данными?

Источниками служат главным образом legacy-системы на базе Oracle, основное хранение данных осуществляется в Hadoop в сборке от Cloudera. С помощью OGG (Oracle Golden Gate) и Apache Kafka мы ежедневно поставляем данные как в пакетном режиме, так и в реальном времени. Движок супермаркета данных и инструмент для загрузки данных — наша собственная разработка на Java, фронтенд сделан на JavaScript. Лаборатория данных обладает динамической инфраструктурой под управлением OpenStack/OpenShift и позволяет динамически развернуть необходимые сборки (Hadoop/Spark/РСУБД), содержащие все нужные инструменты для дата-сайентистов. Инструментарий DevOps AI для прототипирования витрин и моделей с последующим выводом в эксплуатацию строится на стандартном наборе Jenkins, BitBucket, Nexus и прочих решений open source — тут мы ничего не изобретаем.

- С какими сложностями пришлось столкнуться в проекте D-people?

Проблем было несколько: технологическая, процессная и человеческая.

Во-первых, надо было сделать так, чтобы созданные инновационные компоненты стабильно работали с нужной функциональностью и нужными объемами данных. Через это надо было пройти, набить шишек и масштабироваться.

Во-вторых, нужно было поменять процессы банка так, чтобы права доступа и согласования стало возможно заказывать и получать автоматизированно и чтобы все эти механизмы были узаконены. Вывод компонентов в эксплуатацию потребовал изменения регламентов по порядку проведения приемо-сдаточных испытаний и по правилам вывода моделей — это был большой труд.

Но наиболее сложной была человеческая история: необходимо было убедить людей в том, что мы делаем действительно нужные, полезные и перспективные вещи. Добиться, чтобы люди начали доверять созданному нами решению, стали амбассадорами нового бренда и начали «переманивать» коллег выходить из привычных им систем, убеждать их в том, что новое решение эффективнее и за ним будущее.

- Что стало главным достижением этого проекта?

Ключевой эффект — сокращение времени дата-сайентиста на построение модели с трех месяцев до дней. Этот проект обеспечил единое окно к океану данных всему сообществу дата-инженеров и дата-сайентистов. Время доступа к данным сократилось с нескольких недель до часа, получение вычислительных мощностей — с нескольких месяцев до часа. Также инструмент позволил быстро выводить разработанное решение в промышленную эксплуатацию.

- Какие результаты своей деятельности вы считаете главными и как оцениваете свою роль в реализуемых проектах банка?

Первый результат — команда, второй — передовая платформа.

Одним из ключевых изменений стало новое представление о «Фабрике данных» в банке. Мы внедрили совместную ответственность за части платформы тех бизнес-блоков, которые наиболее заинтересованы в результате или создании того или иного компонента. Например, за компоненты загрузки и распространения данных совместно с блоком технологий отвечают розничный и корпоративный блоки. Во главу угла были поставлены проекты, приоритетные для бизнес-блоков. Мы разбираемся до «винтиков» в том, что нужно сделать, чтобы этот проект «полетел», и устанавливаем для команд сроки, чтобы обеспечить бизнесу нужную функциональность в нужное время. В итоге и у сотрудников, и у руководства сложилось другое представление о платформе.

Помимо благодарности контрагентов, для меня мерилом успеха является число клиентов и количество решений, которые запускаются на платформе. Если бы клиенты не были удовлетворены, то к нам не приходили бы новые пользователи. А я вижу очень высокий спрос, и это для меня важный результат.

- Как платформа будет развиваться дальше?

Количество требований к платформе возросло за год с 250 до 750. В стратегии до 2023 года обозначены задачи, связанные с надежностью уже запущенных инструментов, которые нам предстоит поддерживать, c ростом количества источников и подписок. Кроме того, для улучшения клиентского опыта мы внедряем еще одно цифровое решение — рабочее место аналитика. Так как практически каждый сотрудник банка работает с отчетностью и данными, мы хотим, чтобы у любого из них был инструмент, с помощью которого он может видеть аналитику своего подразделения и делать отчеты.

Данные генерируются во все больших объемах, и выигрывает тот, кто максимально оперативно реагирует на события. Учитывая быстрый рост экосистемы, мы хотим перейти на работу в реальном времени и иметь возможность реагировать на миллионы транзакций. Мы поставили цель — обеспечить обработку более 10 млн транзакций в секунду (это события, которые генерируют наши клиенты во всех каналах одновременно). Поверх этих данных будет выстраиваться рекомендательная система реагирования на действия клиента во всех каналах.

Следующее направление — оптимизация, уменьшение стоимости инфраструктуры и переход на собственные сборки программных продуктов. Мы сделали свою сборку стека Hadoop, назвали ее Sberbank Data Platform, также будет собственная сборка реляционной БД Greenplum. Такие сборки при наших объемах данных позволят существенно снизить стоимость инфраструктуры.

Еще одна тема, как я уже говорил, — внедрение концепции управления жизненным циклом информации.

- А каким вы видите дальнейшее развитие проекта D-People?

Одна из перспективных задач — вывод всей платформы в SberCloud (SberCloud — это наш облачный провайдер). Мы хотим вывести платформу как набор интегрированных друг с другом дистрибутивов, чтобы дать возможность нашим дочерним компаниям строить на них свои решения. Рабочее место D-People — основной компонент облачной платформы, который позволит любому сотруднику загрузить свои данные и выполнить свою задачу. Эта инфраструктура уже до конца текущего года станет доступна внешнему миру.

Ступени CDO Борис Рабинович более 15 лет проработал в консалтинговых организациях, отвечая за такие области, как внедрение хранилищ данных, отчетность, системы управления справочниками. Позднее, в компании «Сбербанк Технологии», он возглавлял центр компетенции BI, затем — департамент BI и больших данных. При реструктуризации перешел в Сбербанк на должность руководителя управления загрузки данных. Летом 2019 года Борис стал директором департамента управления данными, и сегодня как CDO Сбербанка он отвечает за все централизованные функции по работе с данными банка и за программу создания «Фабрики данных».