Git для дата-инженера¶

Git — система контроля версий, без которой невозможна командная работа. Дата-инженер версионирует SQL-модели dbt, DAG Airflow, конфиги Docker Compose и скрипты ETL. В этой статье — практика Git, которая нужна каждый день.

Зачем Git дата-инженеру¶

• SQL-модели dbt — каждая модель в файле, изменения в PR;
• DAG Airflow — новый DAG = новая ветка → PR → review → merge;
• Docker Compose — инфраструктура как код;
• ETL-скрипты — Python-код для загрузки и трансформаций;
• Миграции БД — SQL-миграции под контролем версий.

Основные команды¶

Инициализация и настройка¶

# Создать репозиторий
git init my-etl-project
cd my-etl-project

# Настроить имя и email (один раз)
git config --global user.name "Ruslan Mustafin"
git config --global user.email "ruslan@example.com"

# Клонировать существующий
git clone https://github.com/user/etl-project.git

Базовый цикл: add → commit → push¶

# Посмотреть статус
git status

# Добавить файлы в staging
git add dags/load_orders.py
git add models/staging/stg_orders.sql

# Закоммитить
git commit -m "feat: add orders pipeline DAG and staging model"

# Отправить на удалённый репозиторий
git push origin main

Просмотр истории¶

# Последние коммиты
git log --oneline -10

# Что изменилось в файле
git diff models/staging/stg_orders.sql

# Кто и когда менял строку
git blame dags/load_orders.py

Ветки¶

Ветка — изолированная линия разработки. Ты работаешь в ветке, не мешая основному коду.

# Создать ветку и переключиться
git checkout -b feature/add-orders-dag

# Список веток
git branch

# Переключиться на существующую
git checkout main

# Удалить ветку (после merge)
git branch -d feature/add-orders-dag

Merge — слияние веток¶

# Переключиться на main
git checkout main

# Влить ветку
git merge feature/add-orders-dag

Merge создаёт коммит слияния, сохраняя историю обеих веток.

Rebase — линейная история¶

# Находясь в feature-ветке
git rebase main

Rebase «переставляет» коммиты feature-ветки поверх main. История становится линейной.

Конфликты¶

Конфликт возникает, когда два разработчика изменили одну и ту же строку.

<<<<<<< HEAD
SELECT id, name, email
=======
SELECT id, full_name, email, phone
>>>>>>> feature/add-phone

Решение:

1. Открой файл и выбери нужный вариант (или объедини оба);
2. Удали маркеры <<<, ===, >>>;
3. git add <файл> → git commit.

.gitignore для DE-проектов¶

# Python
__pycache__/
*.pyc
.venv/
*.egg-info/

# Окружение
.env
.env.local

# IDE
.vscode/
.idea/

# Данные (не коммить файлы данных!)
*.csv
*.parquet
*.xlsx
data/raw/
data/output/

# dbt
dbt_packages/
target/
logs/

# Airflow
logs/
airflow.db

# Docker
.docker/

# OS
.DS_Store
Thumbs.db

Модели ветвления¶

Gitflow¶

main ─────────────────────────────── релизы
  └─ develop ─────────────────────── текущая разработка
       ├─ feature/add-orders-dag ── новая фича
       ├─ feature/fix-dedup ─────── другая фича
       └─ hotfix/fix-prod-bug ──── срочный фикс

• Подходит для проектов с регулярными релизами;
• Две долгоживущие ветки: main и develop;
• Feature-ветки от develop, hotfix от main.

Trunk-based¶

main ──●──●──●──●──●──●── все коммитят в main
       ↑  ↑  ↑
       короткие feature-ветки (1-2 дня)

• Подходит для CI/CD и dbt-проектов;
• Одна ветка main, короткие feature-ветки;
• PR-review обязателен.

Полезные команды¶

# Отменить изменения в файле (до commit)
git checkout -- models/staging/stg_orders.sql

# Убрать файл из staging (после add, до commit)
git reset HEAD models/staging/stg_orders.sql

# Изменить последний коммит (до push!)
git commit --amend -m "fix: correct column name in stg_orders"

# Спрятать незакоммиченные изменения
git stash
git stash pop  # вернуть обратно

# Посмотреть, что в stash
git stash list

Что запомнить¶

Проверь себя¶

Источники¶

• Pro Git Book — полная книга по Git на русском
• Atlassian Git Tutorials — сравнение Gitflow и trunk-based
• GitHub Docs — Getting Started — работа с GitHub