О компании: Присоединяйтесь к нашей команде для работы над масштабными data-driven проектами в ведущих компаниях из... (реляционные СУБД, API, логи, стриминговые платформы). Архитектура данных: Проектирование архитектуры хранилищ данных (DWH, Data...
документации и схем данных. Требования: Возможность работать по часовому поясу мск; Опыт работы в области DWH/Data... в продуктивной среде; Работа с распределёнными системами: Hadoop (HDFS, Hive, Spark), Greenplum, ClickHouse; Понимание архитектуры...
оптимизации; свободное владение Python и основными библиотеками для data science: * ML-фреймворки: Scikit-Learn, XGBoost/LightGBM... данными (BigData): * Обработка: Apache Spark (PySpark), Hadoop (HDFS) * Аналитические СУБД: ClickHouse или аналоги (Vertica...
стандартов на тестирование, мониторинг и алертинг для всех data-процессов. Технологический стек проекта: Оркестрация: Apache... Airflow. Обработка данных: SQL, Python (Pandas), Apache Spark (PySpark). Аналитические СУБД: ClickHouse, Vertica, Trino...
Обязанности: Проектирование и развитие data-пайплайнов для обработки событий кибербезопасности; Нормализация... и обогащение событий безопасности; Проектирование и оптимизация аналитического хранилища данных (ClickHouse / StarRocks / аналоги...
AERO — провайдер e-commerce и data-решений. Делаем онлайн-шопинг простым и приятным, а магазины — надежными... улучшения и внедрять новые технологии, если они реально усилят платформу. Наш стек DWH/DB: ClickHouse, GreenPlum, PostgreSQL...
, развёртыванием и эксплуатацией кластеров PostgreSQL, ClickHouse, Cassandra, Kafka, AirFlow Оптимизация производительности..., алертинга и логирования для инфраструктуры, Kubernetes-кластеров, баз данных и data-платформ с применением SRE-подходов...
В Т-Банке большое и продвинутое хранилище данных: это 8000 объектов, 800 ТБ в Greenplum и 110 ТБ в Clickhouse... потребностей бизнес-пользователей Участвовать в проектах по развитию Data Platform Писать скрипты SQL и Python, это опционально...
с инструментом ELT/Data Pipeline Разработка и поддержка ETL/ELT пайплайнов на Python Проектирование и оптимизация процессов... Обеспечение надёжности и отказоустойчивости pipeline'ов Data Warehouse Проектирование и развитие архитектуры DWH Разработка...
совместно с аналитиком, data архитектором Предоставление поддержки data-потребителям по вопросам, связанным с использованием... данных Что мы ожидаем от кандидата Опыт работы в аналогичной должности от 1 года Опыт работы с ClickHouse Опыт...
работы в роли Data инженера / ETL-инженера от 3 лет; Отличное знание SQL, умение писать и оптимизировать сложные... аналитические запросы; Глубокое знание архитектуры ClickHouse и PostgreSQL; Умение строить и поддерживать ETL/ELT-процессы...
и очистка данных из различных источников (ClickHouse, HDFS) организация эффективного процесса выгрузки и загрузки данных... опыт работы с Apache Airflow, ClickHouse и HDFS опыт работы с графовыми базами данных отличное знание SQL и понимание...
, ClickHouse); Работать с большими объемами данных и высоконагруженными Kafka-топиками. Почему это интересно: Участвуешь... с современным стеком: Spark 3+, Kafka, S3, ClickHouse; Получаешь опыт, который сложно получить в рамках устоявшихся решений...
и страны СНГ. Наш стек технологий: ClickHouse, Kafka, Airflow, PostgreSQL, MySQL, Tableau, GitLab, Grafana, Minio. Вам...
Миграция баз данных (ClickHouse, Postgres) Интеграция с новыми API и парсинг данных из различных источников Поддержка... ClickHouse, Postgres, Airflow Опыт миграции баз данных и интеграции с внешними API Навыки парсинга и обработки больших объемов...
(python, SQL, Airflow, Nifi) построение хранилищ данных (PostgreSQL, Clickhouse) визуализация данных (PowerBI, Visiology... + менеджер ETL процессов + ClickHouse + Airflow + Python + PostgeSQL + визуализация PowerBI/Visiology опыт разработки...
(python, SQL, Airflow, Nifi) построение хранилищ данных (PostgreSQL, Clickhouse) визуализация данных (PowerBI, Visiology... + менеджер ETL процессов + ClickHouse + Airflow + Python + PostgeSQL + визуализация PowerBI/Visiology опыт разработки...
, профилирование, мониторинг аномалий, алертинг на отклонения; Оптимизация трансформаций под особенности PostgreSQL и ClickHouse.... денормализация, обработка исторических данных; Экспертное владение SQL с учётом специфики движков (ClickHouse MergeTree, PostgreSQL...
в СУБД (Oracle, PostgreSQL, MySQL или ClickHouse) Базовые представления о системах оркестрации задач (Airflow или аналог...