Data Engineer

Позиция

Ищем Senior Data Engineer с сильным Python- и SQL-бэкграундом, который умеет проектировать надежные data pipelines, работать с большими объемами данных и самостоятельно принимать технические решения.

Задачи

• Разрабатывать и поддерживать data pipelines и DAG-процессы в Airflow
• Готовить данные для аналитических и бизнес-задач
• Работать с ClickHouse и MySQL, оптимизировать запросы и анализировать планы их выполнения
• Интегрироваться с сервисами партнеров и внешними источниками данных через API и FTP
• Проектировать и разрабатывать микросервисы для обработки данных
• Работать с высоконагруженными системами, обрабатывающими терабайты данных
• Участвовать в развитии архитектуры и самостоятельно предлагать технические решения для повышения производительности и масштабируемости

Требования

• 5+ лет коммерческого опыта разработки на Python
• Знание SQL и опыт оптимизации запросов
• Опыт работы с ClickHouse и/или MySQL
• Опыт проектирования Python-фреймворков и библиотек, профилирования и оптимизации производительности
• Опыт разработки и работы с OLAP-системами
• Практический опыт с Airflow, Pandas, Kafka и/или RabbitMQ
• Опыт получения и обработки данных из API и FTP
• Опыт работы с Docker и Kubernetes
• Самостоятельность в поиске и выборе технических решений
• Умение понимать бизнес-контекст задач и эффективно взаимодействовать с командой

Бенефиты

• Работа с highload-продуктами, терабайтами данных и аудиторией 100M+ пользователей по всему миру
• Гибкий формат работы: удаленно, гибридно или из офиса
• ДМС со стоматологией после испытательного срока
• Компенсация спорта, английского языка и сессий с психологом
• Возможности для профессионального развития и обмена экспертизой внутри команды
• Корпоративная библиотека, командные мероприятия, мастер-классы и другие внутренние активности
• Высокий уровень самостоятельности и возможность влиять на технические решения