решений и интеграций Airflow: разработка и управление ETL-пайплайнами СУБД: опыт работы как с реляционными БД, так и с MPP...BIG DATA МТС – место, где телеком данные превращаются в реально работающие IT-продукты. Мы создали и протестировали...
код, покрывать критичное тестами и логами Будет плюсом Опыт построения ETL: Airflow/Prefect/Temporal Kafka...) Требования (обязательно) Опыт разработки парсеров / скрейперов / data ingestion систем в проде для Reddit или Trustpilot...
: практический опыт работы с MongoDB, Cassandra, Redis или аналогами ETL/ELT инструменты: практический опыт с Apache Airflow, dbt... (геология, проектирование, строительство, финансы) Создание и оптимизация ETL/ELT пайплайнов для миграции и загрузки данных...
стек: Hadoop, Spark, SCALA, Python, Java, PostgreSQL, ClickHouse, Zeppelin/IntelliJ, AirFlow, ElasticSearch, Apache... Superset GitLab, k8s, Docker, Jira, Confluence Чем предстоит заниматься: Разрабатывать ETL-процессы с использованием...
данных; Практический опыт с Python для обработки данных и трансформаций; Опыт разработки и сопровождения ETL/ELT-процессов...: Разработка, оптимизация и поддержка ETL/ELT-процессов; Проектирование и рефакторинг моделей данных с учётом масштабируемости...
: Уверенное владение Python (предпочтительно) или Java/Scala для разработки data-пайплайнов. ETL/ELT: Глубокое понимание... принципов построения ETL/ELT, архитектуры DWH и Data Lake. Big Data: Практический опыт работы с Apache Spark и экосистемой...
, Vertica, MS SQL и др. Языки: Python, SQL Big Data: Spark Оркестрация/ETL: Airflow, NiFi, dbt Инфраструктура: Kafka..., API. Реализовывать обработку данных: batch / stream / near real-time. Оркестрировать ETL/ELT процессы в Airflow, NiFi...
Airflow. Обработка данных: SQL, Python (Pandas), Apache Spark (PySpark). Аналитические СУБД: ClickHouse, Vertica, Trino... работы с Apache Airflow. Базовые знания Python для целей обработки данных (Pandas, PySpark). Опыт работы с Git. Понимание...
работы в роли Data инженера / ETL-инженера от 3 лет; Отличное знание SQL, умение писать и оптимизировать сложные... аналитические запросы; Глубокое знание архитектуры ClickHouse и PostgreSQL; Умение строить и поддерживать ETL/ELT-процессы...
распределенных данных, AirFlow - оркестрация рабочих процессов, ClickHouse - аналитические и распределенные СУБД; MLFlow - управление...Обязанности: Проектирование и разработка ETL/ELT-паплайнов для обработки структурированных и неструктурированных...
Обязанности: Разработка ETL процессов для загрузки и интеграции данных в рамках Аналитической платформы (АП... источникам данных (RDBMS, NoSQL), интеграций между подсистемами АП Требования: Опыт разработки ETL pipelines (пакетные...
предстоит: проектирование и реализация надежных и производительных ETL-конвейеров с использованием Apache Airflow подготовка... опыт работы с Apache Airflow, ClickHouse и HDFS опыт работы с графовыми базами данных отличное знание SQL и понимание...
+ менеджер ETL процессов + ClickHouse + Airflow + Python + PostgeSQL + визуализация PowerBI/Visiology опыт разработки... (python, SQL, Airflow, Nifi) построение хранилищ данных (PostgreSQL, Clickhouse) визуализация данных (PowerBI, Visiology...
Обязанности: Дорабатывать и поддерживать ETL-процессы Анализировать данные и валидации Работать с DAG (Airflow... Python и SQL Умение работать с системой контроля версий (Git: pull, push, commit, basic branching) Понимание ETL и различий...
построение ETL-процессов поставки данных из внутренних и внешних источников сопровождение, поддержка и оптимизация..., знать как их анализировать и оптимизировать опыт работы с базами данных PostgreSQL, Greenplum, Clickhouse, Hive опыт...
продвинутый уровень) ETL Apache Airflow, dbt (Python) Визуализация данных Luxms BI (Databoring) Условия: Оформление по ГПХ... и поддержка ETL процессов Создание витрин данных для BI-отчетности и аналитики Взаимодействие с аналитиками и смежными...
) в роли Data Engineer или схожих позициях Язык: свободное владение SQL; английский — технический уровень (чтение документации... ) ETL/ELT: разработка и поддержка ETL/ELT-пайплайнов; знакомство с Airflow, dbt, S3 Обработка данных в реальном времени...
компаний. Сейчас мы находимся в поисках опытного Data Analyst, который усилит нашу команду. Если ты стремишься к... аналитики бизнес юнита, взаимодействие с продуктовыми командами, развитие систем по принятию решения на основе данных (data...
данных для целей аналитики и моделирования на тех. стеке: PostgreSQL, ClickHouse, SQL, Python, Kafka, Rest API, Qlik... в качестве Data Engineer / MLE от 3 лет знание SQL на продвинутом уровне (аналитические функции, подзапросы, хранимые процедуры...
, Apache Airflow Опыта работы с колоночными БД: Scylla, ClickHouse Опыт разработки на python с использованием фреймворка... тестовых сценариев Взаимодействие с командой разработки, data engineer и аналитиками Наши ожидания: Знание основ и теории...