TRAINING DATA

Кирилл Мешик

Как эффективно управлять командами: опыт и лайфхаки Training Data

Управление проектами – это сложная задача, которая требует большого количества навыков. При этом опыт руководителя проявляется в том числе и в мелочах, которые позволяют выстраивать работу команды эффективнее. В этой статье Кирилл Мешик, Team Lead Training Data, поделится опытом и лайфхаками, которые помогут успешно руководить проектами в технологической сфере.

Какой опыт управления командой у вас есть?

Опыт управления командой я получил, когда начал работать как Project Manager. Эту должность я занимал около 3,5 лет. В основе работы с командой в качестве Project Manager лежит планирование и координация ведения проектов, распределение задач между асессорами и контроль их выполнения, обеспечение полноты достижения ожиданий клиента по качеству и срокам предоставления результатов.

Последние 8 месяцев я являюсь Team Lead и управляю командой, состоящей из менеджеров проектов. Моя роль заключается в определении приоритетов задач команды, распределении ее ресурсов, контроле достижения поставленных целей, коммуникациях с заказчиками по стратегическим и организационным вопросам. Я также отвечаю за обучение новых членов команды и их профессиональный рост, принимаю участие в формировании и адаптации операционных бизнес-процессов компании.

За время работы я получил ценный опыт в области управления, который помогает мне развивать навыки совместной работы, лидерства и достижения результатов в рамках проектов и задач, поставленных перед командой.
Какие основные задачи и обязанности вашей команды в проектах по разметке данных?
Наша команда работает над проектами в области сегментации, детекции, классификации, транскрибации данных. Есть много задач, направленных на обучение LLM, OCR.

Каждый проект предполагает абсолютное вовлечение менеджера: несмотря на общую типологию задач, с которыми мы работаем, часто встречаются нетривиальные, уникальные кейсы.

Менеджер отвечает за пилотирование проекта, разбор и проработку технической документации, коммуникацию с заказчиками, защиту результатов пилотирования, а также обучение команды, запуск, ведение и завершение проекта с постоянством контроля показателей.

Team Lead, в свою очередь, подключается на всех этапах, которые требуют его внимания, контролирует соблюдение процессов в рамках каждого проекта, сопровождает заказчика, анализирует динамические показатели, адаптирует или формирует процессы с учетом полученного опыта и актуальных тенденций направления.
Какие методы вы используете для эффективного распределения задач и ресурсов в команде? Какие практики для эффективного управления командой, особенно в области разметки данных, рекомендуете?

Наша команда живет Scrum-процессами, все задачи логируются в task tracker и отражаются на roadmaps. При распределении задач тимлид руководствуется текущим capacity менеджера, а также оценивает обозримые потенциальные задачи. При этом в качестве ключевых показателей оценки выступают score сложности текущих задач, количество асессоров в командах, количество асессоров в адаптационном периоде, а также план/факт времязатрат.

При управлении командой асессоров менеджер занимает лидирующую позицию, он напрямую влияет на скорость работы, качество и командный дух. Для этого используется несколько инструментов: регулярные встречи, воркшопы, интерактивы, общий канал коммуникации, таск-трекер, тимбилдинги и многое другое.
Какие ключевые показатели производительности вы используете для оценки успеха команды в проектах разметки данных?

KPI позволяет эффективно оценивать продуктивность, его основу составляют проектные показатели и личные цели. Помимо оценки текущих компетенций участников команды также существует система грейдов, которая позволяет сформировать индивидуальные планы развития, определить долгосрочные цели и реализовывать амбиции в работе.

Руководитель контролирует продвижение к намеченным целям, достижение которых является показателем успеха как конкретного участника, так и команды в целом.
Были ли ситуации, когда команда сталкивалась с критическим срывом сроков или непредвиденными проблемами. Как вы управляли ситуацией и какие уроки извлекли из этого опыта?
Да, пару раз мы сталкивались с такими ситуациями. Самое главное при этом — как можно раньше оценить вероятность срыва сроков по проекту. Чем раньше получится отследить возможные риски, тем больше инструментов для решения проблемы доступны менеджеру. При этом важно всегда поддерживать коммуникацию с заказчиками, сохраняя прозрачность процессов. Это всегда приводит к взаимному пониманию и помогает найти самые лучшие решения.

В разметке данных один из ключевых кейсов затруднения предварительных оценок, с которыми можно столкнуться — это отличие данных, по которым производилось пилотирование, от проектных данных. Даже если приложить максимум усилий, оценка сроков по результатам пилотирования с учетом объемов проектных данных все равно может быть недостоверной. Тогда самым правильным решением будет проведение репилотирования проекта со смещением сроков.

Также бывает, когда сроки проекта срываются из-за внутренних форс-мажорных обстоятельств. Решение в этом случае всегда будет индивидуальным. В этом и проявляются навыки менеджера: сохранить баланс в процессах и полностью удовлетворить заказчика.
Как поддерживать баланс между выполнением проектов с высоким качеством и соблюдением установленных сроков?

Качество результатов зависит от того, как хорошо клиент расписал техническое задание и насколько команда погрузилась в задачу. Иногда случается такое, что ТЗ клиента и его ожидания несколько отличаются. Тогда в рамках совместных переговоров мы помогаем нашему клиенту разобраться, что именно ему нужно.

Другой момент - это восприятие ТЗ командой асессоров. Тут особенно важно не допускать разночтений. В этом нам помогают некоторые приёмы: абсолютная однозначность формулировок, пул примеров/антипримеров, дополнительные материалы для раскрытия специфики, индивидуальная проработка корнер-кейсов. За всё вышеперечисленное отвечает менеджер проекта. При этом у нас в компании есть отдел контроля качества, который очень помогает менеджеру оперативно оценивать динамику, подсвечивает проблемные моменты и места для интенсификации внимания.

В то же время при планировании проектных ресурсов необходимо адекватно оценить таймлайны каждого из этапов.

Изначальный запрос каждого клиента одинаков: быстро, дешево и качественно. В рамках обсуждений мы стремимся показать наши возможности и сориентировать клиента, чтобы он мог получить реалистичную и понятную оценку. В практике бывают случаи, когда есть необычные запросы: задачу нужно выполнить очень быстро, уменьшить бюджет или добиться максимального качества. Это всегда влечет за собой разработку и внедрение уникальных решений.

Понимание ожиданий клиента - это залог успеха проекта, так как процессы, которые настраивает менеджер, будут ориентированы на решение конкретной задачи. Соблюдение качества в установленные сроки - это прежде всего работа с ожиданиями нашего клиента: их понимание и учет в качестве основы планирования хода проекта.

Можете ли вы описать особенно сложный проект или кейс, над которым работала ваша команда при разметке данных? Как вы подошли к решению проблем и какие стратегии использовали для их преодоления?
Сейчас наиболее трудозатратными задачами для нас являются LLM-ориентированные проекты. Для большинства заказчиков это совершенно новые направления, поэтому требования постоянно меняются и адаптируются. В этом случае ключевая роль менеджера — сориентировать заказчика на основе нашего опыта и согласовать все процессы. Это может показаться удивительным, но несмотря на общую типологию подходы могут кардинально различаться.

К примеру, у нас была задача, когда ответы модели на запросы пользователей должны были учитывать не только их контекст, но и определять настроение, шутить, учитывать актуальные новости, придерживаться четко выраженного стиля. Можно представить, насколько тяжело выстраивать такие алгоритмы и насколько разными должны быть данные для обучения, не говоря уже об их количестве. Немаловажным аспектом являлся срок выполнения проекта, ведь такие системы могут обучаться годами.

Тут удалось найти интересное решение: автоматическая генерация данных для обучения, которые впоследствии подвергались ручной модерации, что позволило нам в десятки раз сократить затраты времени на формирование датасета.

В таких задачах нужен по-настоящему творческий подход, который часто формирует новые, уникальные процессные решения. Команда должна состоять из эрудированных и креативных людей, профессионалов в своей области. К примеру, когда запрос пользователя затрагивает различные аспекты науки, ответ должен быть полностью удовлетворительным, что предполагает компетенцию команды асессоров.

Даже были ситуации, когда в рамках большого общекомандного дискурса разбирались действительно сложные индивидуальные кейсы. Ведь главным было не просто разрешить попавшийся corner case, а определить вектор формирования ответов на подобные запросы в рамках всей последующей разметки.
Были ли кейсы, когда у команды ресурсы были очень ограничены? Если да, как определялись приоритеты задач и эффективно распределяли ресурсы для достижения целей проекта?

Один из базовых примеров - это масштабирование проекта, то есть увеличение требуемых ресурсов конкретного менеджера и его команды асессоров ввиду возрастания объемов работ.

Моя задача как Team Lead — определять актуальное capacity каждого менеджера и в случае возникновения прогнозируемых ситуаций. Когда ресурсы одного из менеджеров заканчиваются, важно оперативно подключить к проекту дополнительного. При этом необходимо установить осязаемые зоны ответственности каждого и контролировать соблюдение поставленных целей.

Самое главное здесь — чтобы Team Lead хорошо чувствовал свою команду.