groups; Опыт работы с распределенными хранилищами (HDFS, S3, Apache Iceberg); Понимание процессов CI/CD и контейнеризации...
-архитектуру. СТЕК: SQL, Python, Greenplum, Apache Airflow, DBT, Trino, Apache Iceberg, Clickhouse, OpenMetadata ЧЕМ ПРЕДСТОИТ... + Iceberg) через DBT. Выделять главные сущности (клиенты, заказы), продумывать правила слияния и очистки данных Писать скрипты...
, MS SQL, Oracle, Hadoop, Spark, Iceberg, Parquet, Airflow, ClickHouse, Kafka, Debezium, DataHub Проект: Проект..., Greenplum DB, MS SQL, Oracle, Hadoop, Spark, Iceberg, Parquet, Airflow, ClickHouse, Kafka, Debezium, DataHub. Что ты...
. Работа с данными в Lakehouse: Писать эффективные SQL-запросы к нашему хранилищу на базе Trino и Iceberg, моделировать витрины данных.... Будет большим плюсом: Опыт работы с нашим стеком: Trino (TrinoDB/Presto), Apache Iceberg, Apache Airflow, Apache Superset...
, характерных для данной сферы); Практический опыт работы со стеком: Metabase, DataLens, Trino, Apache Iceberg; Базовые знания...
: Подключил OLTP- и API-источники и настроил инкрементальные загрузки данных в Iceberg (S3); Провёл proof of concept для CDC... (с использованием Debezium и Kafka → lakehouse) и выбрал оптимальный паттерн доставки данных в S3/Iceberg; Реализовал трансформации...
Iceberg, Airflow, Kubernetes, Parquet, PySpark Git, Confluence, Jira, CI/CD Ожидаем от кандидата: Опыт работы СА...
-архитектуру. СТЕК: SQL, Python, Greenplum, Apache Airflow, DBT, Trino, Apache Iceberg, Clickhouse, OpenMetadata ЧЕМ ПРЕДСТОИТ...
документации. Cтек: SQL - Trino/Hive/Presto; Dbt; Iceberg; Superset; Python. Цели и задачи: Выделение мастер... объектов raw data vault на движке Trino + Iceberg; Описание моделей данных в DBT с полнотой тестов и документации; Анализ...
взаимодействия: GP ↔ S3 (PXF),Flink ↔ S3, Trino ↔ Iceberg Data Platform / Lakehouse Участие во внедрении и эксплуатации: Apache... Iceberg, Trino Понимание: table formats (Iceberg),metadata layers, partitioning, compaction, snapshots Обеспечение...