Команда ML за 7 лет реализовала более 50 проектов с использованием машинного обучения, таких как кредитный скоринr, поиск фрода, neuro-OCR, распознавание лиц и документов и т. д.
В нашей команде дата-инженеры занимаются организацией данных и витрин для их получения. Главные потребители наших данных – data scientist’ы, которые занимаются поиском закономерностей, значимых признаков в данных и тренировкой моделей машинного обучения.
Стек: Apache Airflow, Apache Spark, Apache Kafka, Apache Flink, ClickHouse, Kubernetes, Hive, Impala, Zeppelin, HUE, Scala и Python.
Спектр задач широкий:
- проектирование и построение DWH
- подготовка витрин данных для отчетности, бизнеса и дата аналитики
- организация пайплайнов сбора данных от бэкендов и других хранилищ
- организация пайплайна подготовки датасетов для обучения ML моделей
- организация мониторинга компонентов корпоративной платформы данных
- разработка ETL/ELT пайплайнов и поддержка существующих
На минималках потребуется:
- Java8+, Scala или Python (один из языков на хорошем уровне)
- Знание алгоритмов и структур данных
- Знание SQL и принципов работы классических БД
- Желание развиваться в BigData и ML
Какие еще навыки будут полезны в работе:
- Hadoop, Spark, YARN, Hive, Impala
- noSQL базы: Cassandra, Elastic
- Анализ данных при помощи Python-ноутбуков Jupyter, Zeppelin
- Работа с очередями сообщений: Kafka, Rabbit, JMS
Мы предлагаем:
- Понятную траекторию роста (последовательный и хороший онбординг, регулярные performance review, карьерные консультации, индивидуальная карта развития)
- Обучение и развитие за счет ресурсов компании (Учебный Центр, корпоративная библиотека, оплата внешнего обучения по согласованию)
- Социальный пакет (ДМС с первого дня, скидки от партнеров)
- Насыщенная корпоративная жизнь (радио, подкасты, кибертурнир, собственные мероприятия и участие в крупных событиях отрасли)
- Возможность быть преподавателем, наставником, спикером – каждый выбирает, что подходит именно ему
- Официальное трудоустройство в аккредитованной компании, белая зарплата
