и потоковые) и интеграций для корпоративных хранилищ данных Spark (must have) - опыт написания джобов, понимание принципов... оптимизации, настроек Nifi (must have) Kafka - базовый опыт использования, работа с топиками Airflow – базовый опыт Опыт...
Hadoop и навыки Data Engineer: знание компонентов HDFS, YARN, Spark, Kafka, NiFi, Sqoop, Flume. Уверенное знание SQL (DDL.... Часто применяем подходы BigData, Data Science, актуальные подходы к программному анализу данных и прогнозированию. 3...
Мы в поисках Senior Data Engineer Обязанности участие в разработке ядра системы анализа процессов разработка... с брокерами сообщений опыт работы с Docker, Kubernetes опыт работы с Big Data стеком, ClickHouse, Spark, Hive. Условия...
Привет! Мы – небольшая аутстаф компания, созданная ИТ-инженерами. Ищем Data Engineer / DWH Analyst для работы над... опыт от 4 лет в ролях Data Engineer или DWH Analyst и понимаешь полный цикл работы с данными Для тебя глубокое знание SQL...
современный стек BigData: Greenplum, Hadoop, NiFi, Hive, Spark/Scala, PostgreSQL, Informatica, Kafka, Apache Airflow, Apache... (от 2 лет), знание Pyspark; опыт с Iceberg, S3 знания Spark архитектуры, и Big Data архитектуры, вопросов...
принципов построения ETL/ELT, архитектуры DWH и Data Lake. Big Data: Практический опыт работы с Apache Spark и экосистемой...О компании: Присоединяйтесь к нашей команде для работы над масштабными data-driven проектами в ведущих компаниях из...
, Vertica, MS SQL и др. Языки: Python, SQL Big Data: Spark Оркестрация/ETL: Airflow, NiFi, dbt Инфраструктура: Kafka...) — любая комбинация. Будет плюсом: опыт со streaming (Kafka), CDC (Debezium), Spark, K8s, Data Vault. Что предлагаем Официальное...
построения запросов для высоконагруженных систем опыт работы с движками для распределенной обработки данных (Spark) навыки... работы с генеративными AI-моделями опыт создания AI-агентов, работы с Apache NiFi или разработки витрин с применением Atlant...
работы с Airflow и NiFi опыт разработки в экосистеме Hadoop знания фреймворка Spark, опыт оптимизации запросов знание...
Чем Вы будете заниматься: создавать ETL-процессы для данных (NiFi/MiNiFi/Airflow/Flink); создавать, оптимизировать... инструментов NiFi и MiNiFi; обладаете практическими навыками работы в экосистеме Hadoop, включая использование Hive...
приглашаем опытного Data engineer/Аналитика на проектную основу! Чем предстоит заниматься: Миграция и развитие: Активное... для компонентов стека Apache: Spark, NiFi, Airflow. Опыт применения сложных SQL-запросов (оконные функции, джоины). Навыки...
тестовых сценариев Взаимодействие с командой разработки, data engineer и аналитиками Наши ожидания: Знание основ и теории... процесса тестирования Опыт работы в сфере управления качеством ПО от 4 лет Опыт работы с ETL-инструментами: Apache NiFi...