Job Description: We are seeking a talented and motivated Data Engineer to join our dynamic team. The ideal candidate... of data storage formats like Apache Iceberg. Familiarity with monitoring tools such as Grafana. Understanding of data...
; Опыт с Iceberg (обязательно); Знания Spark архитектуры, и Big Data архитектуры, вопросов производительности; Глубокие...), SQL, Iceberg, S3. Что нужно делать: Знание BigData архитектуры и способность выявлять узкие места в существующих...
(от 2 лет), знание Pyspark; опыт с Iceberg, S3 знания Spark архитектуры, и Big Data архитектуры, вопросов... Griffin. Стек проекта: Iceberg, S3, Apache Spark (Pyspark), SQL, Airflow, StarRocks, DBT, Kafka. Чем предстоит заниматься...
Привет! Ищем в Блейз Аналитикс ведущего инженера данных (Lead Data Engineer) на проект Data Lakehouse для госзаказчика... разработки и возглавит группу из 2 инженеров данных. Стек: CedrusData (Trino) + Apache Iceberg, Spark, Airflow + MinIO / VK S3...
-команды. О роли Мы ищем Data Engineer, который готов расти и развиваться вместе с нами. Вы будете принимать... платформы. Наш идеальный кандидат: Имеет опыт работы на позиции Data Engineer или Data Analyst (с инженерным уклоном) от 2...
платформой, а интеллектуальной операционной системой для бизнеса. Сейчас нам нужен Senior Data Engineer, который закладывает...: Подключил OLTP- и API-источники и настроил инкрементальные загрузки данных в Iceberg (S3); Провёл proof of concept для CDC...
, S3, Apache Iceberg. Цель — заменить унаследованное решение на гибкую, управляемую и прозрачную data-инфраструктуру..., SDK, Windows/Linux); Формировать модели данных и витрины Raw → Core → Mart в PostgreSQL, S3 (Iceberg), Clickhouse...
BIG DATA МТС – место, где телеком данные превращаются в реально работающие IT-продукты. Мы создали и протестировали... в KION (МТС ТВ), услуга “Кто звонит?” или Спам blacklist. КОГО МЫ ИЩЕМ? SENIOR DATA ENGENEER В ЦЕНТР УПРАВЛЕНИЯ ДАННЫМИ...
по миграции ХД с Oracle на новый технологический стек (конфигурация хранилища Iceberg, S3, Clickhouse). Построение и оптимизация... и оптимизация ClickHouse для обеспечения низкой задержки в отчетах и дашбордах поверх данных из Iceberg. Документирование ХД...
2.4, Impala) на стек Apache Iceberg + Spark 3.5 + Apache Airflow. Реализация недостающих реплик для витрин данных с источников... с хранилищами данных на базе Hadoop / S3 / S3-compatible storage. Обязательное знание и опыт работы с Apache Iceberg (таблицы...
от кандидата: SQL, Python. Знание Scala\Java будет плюсом Технологический стек: Apache Spark, S3\Minio, Apache Iceberg, Parquet...
на стеке технологий, принятых в команде: Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos, Flink Оперативное... pull/commit/push) Опыт работы с DBT, Cosmos Представление о работе с Trino Понимание устройства Iceberg, форматов данных...
пути и формировать персонализированные предложения. Мы ищем сильного Data Engineer, который будет напрямую влиять..., Iceberg или аналогичными понимание DWH/Data Lake, ETL/ELT-процессов, SCD, Data Quality опыт проектирования отказоустойчивых...
взаимодействия: GP ↔ S3 (PXF),Flink ↔ S3, Trino ↔ Iceberg Data Platform / Lakehouse Участие во внедрении и эксплуатации: Apache... Iceberg, Trino Понимание: table formats (Iceberg),metadata layers, partitioning, compaction, snapshots Обеспечение...
); Поддерживать работу DWH и Data Lake (ETL, оптимизация); Сопровождать DWH разработчиков (Airflow, Spark, Jupyter); Обеспечивать... по договоренности с руководителем. Вы нам подходите, если: Имеете опыт работы с инструментами аналитиков и data-инженеров (ClearML...
объектов raw data vault на движке Trino + Iceberg; Описание моделей данных в DBT с полнотой тестов и документации; Анализ... документации. Cтек: SQL - Trino/Hive/Presto; Dbt; Iceberg; Superset; Python. Цели и задачи: Выделение мастер...
принципов командной разработки Будет плюсом: Опыт с MLOps / Big Data стэком (Spark, Flink, Trino, Iceberg, MinIO) Знание...Ищем DevOps Engineer (Senior / Lead) на аутстафф-проекты. Мы — аутстафф-компания, предоставляющая DevOps-инженеров...