Data инженер

Halyk Finance объявляет о вакансии на позицию Data инженера.

Обязанности

• Участвовать в разработке отчетной системы
• Разрабатывать и поддерживать batch ETL-процессы (Python, SQL, Airflow)
• Разрабатывать и поддерживать обработку потоков данных (Python, RabbitMQ)
• Дорабатывать и развивать хранилище данных, строить витрины данных
• Интегрировать новые источники данных в DWH
• Реализовывать проверки качества данных DQ
• Внедрять новые инструменты по работе с данными в компании
• В ходе работы выстраивать процессы коммуникации с заказчиками

Требования

• Хорошое знание SQL - оконные функции, сложные join'ы и подзапросы, опыт оптимизации больших SQL запросов.
• Понимание принципов работы реляционных и колоночных СУБД, опыт проектирования DWH моделирование данных, разбиение по слоям
• Хорошее знание Python (навыки работы с Pandas будут плюсом), опыт построения data pipeline’ов при помощи Airflow
• Владение инструментами - Git, Docker, навыки работы с NoSQL СУБД.
• Знание технологий DBT, Debezium, Greenplum, Spark, Data Lake, k8s, PowerBI, Apache NiFi

Условия

• офисная работа,
• график работы 5/2 09:00 – 18:00
• развитие и карьерный рост
• годовая премия
• бонусы по итогам года
• повышение квалификации за счет Компании