Технологии: Java, Python, React, Hadoop, Spark, PostgreSQL, Kubernetes, Docker, TensorFlow, QlikView, Talend, и др. Наши... решений по хранению данных, таких как Hadoop и Greenplum; Оптимизировать SQL запросы в рамках разрабатываемых прототипов...
построения ETL/ELT-процессов; уверенно владеете Python, SQL, опыт работы с инструментами обработки больших данных, желательно... дорожной ситуации. Data-инженер будет отвечать за построение и развитие инфраструктуры обработки данных, подготовку датасетов...
и сопровождать ETL/ELT-процессы Разрабатывать стандарты построения пайплайнов Внедрять практики Data Quality и обеспечивать... Требования: 5+ лет в Data Engineering Опыт проектирования DWH / Data Lake Опыт администрирования Hadoop: Spark/HDFS/Airflow...
с использованием DBT (Data Build Tool). Написание и оптимизация SQL-трансформаций разной сложности. Интеграция с сервисами... построения Платформы данных на технологиях (Greenplum,Clickhouse,S3 +Impala) Разработка и поддержка ETL/ELT-процессов...
Требования: Опыт в разработке DWH/ETL, Data Lake/ELT от 2-ух лет Опыт разработки на Python от 2-ух лет Опыт работы с Apache... Spark от 2-ух лет Опыт в разработке на Oracle PL/SQL от года (или миграции) Опыт в настройке/отладке процессов CI/CD Опыт...
\функций (SQL) , оптимизация запросов; разработка и поддержка CDC-процессов; наполнение слоя ODS в Lakehouse (MinIO S3, Data... Ocean Nova); доставка данных до команд Банка и АБЦТ. Для нас важны в тебе: отличное знание SQL и Python (или Java/Scala...
Чем предстоит заниматься Реализация ETL/ELT-пайплайнов на dev/test-стендах с использованием Airflow, Spark, SQL... Экспертные знания SQL (диалект Oracle) для разработки/оптимизации ETL-скриптов, создания витрин. Опыт работы с Airflow, Spark...
) для обработки больших объемов данных (100TB - 1PB+) продвинутый уровень владения Python и SQL опыт работы с движками... эффективные ETL-пайплайны, чтобы поставлять в систему свежие данные для работы с ними с помощью RAG. Предлагать улучшения...
инфраструктуру (например с Hadoop/Hive/HDFS на Lakehouse/S3/Iceberg) Анализировать и оптимизировать ETL/SQL/Spark-приложений... движками SQL: продвинутые навыки работы с запросами и оптимизацией Python и/или Java: уверенное владение одним из языков...
Impala Airflow Spark DBT Python мы ожидаем Опыт написания SQL-кода от 2 лет Базовый уровень Python Опыт... Созданием новых и развитием существующих интеграций для загрузки сырых данных в Data Lake Разработкой пайплайнов доставки...
стек: Hadoop, Spark, SCALA, Python, Java, PostgreSQL, ClickHouse, Zeppelin/IntelliJ, AirFlow, ElasticSearch, Apache... Superset GitLab, k8s, Docker, Jira, Confluence Чем предстоит заниматься: Разрабатывать ETL-процессы с использованием...
и SQL опыт работы с движками для распределенной обработки данных (Spark, Trino) опыт работы с очередями сообщений (Kafka... и поддерживать эффективные ETL-пайплайны, чтобы поставлять в систему свежие данные для работы с ними с помощью RAG. Предлагать...
данных; Практический опыт с Python для обработки данных и трансформаций; Опыт разработки и сопровождения ETL/ELT-процессов...: Разработка, оптимизация и поддержка ETL/ELT-процессов; Проектирование и рефакторинг моделей данных с учётом масштабируемости...
: Уверенное владение Python (предпочтительно) или Java/Scala для разработки data-пайплайнов. ETL/ELT: Глубокое понимание... принципов построения ETL/ELT, архитектуры DWH и Data Lake. Big Data: Практический опыт работы с Apache Spark и экосистемой...
разработки от 3 лет для написания кастомных интеграций (желательно Python и опыт с SQL Alchemy, можно scala, java) Хорошие... знания SQL (Spark sql, соединения, оконные функции, оптимизация запросов) Будет плюсом: опыт работы с MPP базами, опыт...
работы с данными — от junior+ до уверенного middle; Понимаешь, как устроены ETL/ELT-процессы; Умеешь писать SQL и читаешь... (например, Apache Spark) и закладываем фундамент, на котором будут работать десятки инженерных команд. Что предстоит делать...
построение ETL-процессов поставки данных из внутренних и внешних источников сопровождение, поддержка и оптимизация... управления данными и их качеством Какие знания и навыки важны: продвинутые знания SQL: умение разбираться в сложных запросах...
и знание экосистемы Hadoop (HDFS, YARN, MapReduce, Hive) опыт работы с Apache Spark на Scala/Java/Python опыт работы... Обязанности разработка ETL-процессов построение витрин данных и доработка существующих витрин данных оптимизация запросов...
) и описывать их структуру/качество. Разрабатывать и поддерживать процессы загрузки и преобразования данных (ETL/ELT): расписания... данные для отображения на карте. Наши ожидания (обязательные требования) Уверенный SQL (соединения, агрегаты, оконные...
) в роли Data Engineer или схожих позициях Язык: свободное владение SQL; английский — технический уровень (чтение документации...Обязанности: Проектирование и внедрение масштабируемых ETL/ELT-пайплайнов Архитектура хранения и модели данных...