Системный администратор (DWH)
Требуемый опыт работы: 1–3 года
Полная занятость, удаленная работа
VK — место встречи лучших
Вместе мы создаём новые проекты в онлайне и не только. Каждый день развиваем технологии и сервисы, которыми гордимся. И не хотим останавливаться на достигнутом.
Мы — это VK Team, команда профессионалов, которые объединились ради больших свершений.
Каждый день мы сталкиваемся со сложными технологическими вызовами и преодолеваем их вместе с командой. Мы делаем так, чтобы пользователям было интересно и комфортно решать повседневные задачи при помощи наших онлайн-сервисов.
В VK возможно всё. А с VK Team легко воплощать мечты в реальность.
Тебе предстоит заниматься администрированием сервисов, которые работают с большими данными. Мы стремимся сделать единую точку аналитики в VK и ищем нового админа в команду, с которым мы смогли бы это сделать еще быстрее и успешнее.
Наш стек — это hadoop, kafka, spark, clickhouse, postgres. Часть сервисов написана на Python, деплоятся в Kubernetes с использованием GitLab CI и puppet. Мы автоматизируем различные сценарии для удобной работы с данными. Для аналитики используются данные размером десятки петабайтов.
Мы планируем доработать и улучшить существующие сервисы, внедрить их как экосистему в большинство проектов внутри VK.
Задачи:
- администрирование приложений стека Hadoop (HDFS, Hive, YARN, Spark, Hue) и сервисов вокруг (FreeIPA, Jupyter, KVM);
- администрирование распределенных БД (Vertica, Clickhouse);
- внедрение дистрибутива Hadoop, разработанного в VK;
- аудит и анализ существующих инсталляций Hadoop;
- создание документации и инструкций.
Требования:
- опыт администрирования Linux (Centos);
- опыт работы с Configuration Management инструментами (Puppet/Ansible/Salt);
- опыт написания скриптов автоматизации (Bash/Python).
Будет плюсом:
- опыт настройки и эксплуатации нескольких кластеров Hadoop, объединенных в федерацию;
- опыт интеграции LDAP/Kerberos с приложениями стека Hadoop (HDFS, Hive, YARN);
- опыт работы с Vanilla Hadoop;
- опыт работы с виртуализацией;
- опыт работы с Docker, k8s;
- опыт работы с git;
- опыт работы с Apache Kafka.
Работа в VK— это:
- возможность создавать продукты и сервисы, которые меняют к лучшему жизнь миллионов пользователей;
- амбициозные задачи, масштабные проекты и возможности для профессионального роста;
- совместные интересы и увлечения: помогаем раскрывать таланты и отлично проводить свободное время;
- работа в команде профессионалов из разных сфер, которые всегда готовы поделиться опытом;
- программа благополучия: заботимся о здоровье и хорошем самочувствии сотрудников;
- компенсация питания в кафе и ресторанах рядом с офисами — 800 рублей в день;
- компенсация спортивных активностей — 30 000 рублей в год в регионах и 35 000 рублей в год в Москве и в Санкт-Петербурге;
- 16 корпоративных команд по 12 видам спорта.
Присоединяйтесь к нашей команде, чтобы создавать сервисы и технологии, которые улучшают качество жизни миллионов людей.
Ключевые навыки
Задайте вопрос работодателю
Где располагается место работы?Какой график работы?Вакансия открыта?Какая оплата труда?Как с вами связаться?Другой вопрос
Вакансия опубликована 23 января 2023 в Москве
