Linux: продвинутое¶

# Все процессы
ps aux | head -20

# По конкретному имени
ps aux | grep postgres

# top с сортировкой по памяти
top -o %MEM

# htop — удобная альтернатива
htop

# Фоновый запуск
long_script.sh &

# Список фоновых задач
jobs

# Вернуть в foreground
fg %1

# Завершить процесс
kill PID          # SIGTERM (мягкое)
kill -9 PID       # SIGKILL (жёсткое, последний шанс)

# Завершить по имени
pkill -f "python etl_pipeline.py"

# Процесс продолжает работу после закрытия SSH
nohup python pipeline.py > pipeline.log 2>&1 &

# Или: отвязать уже запущенный процесс
python pipeline.py &
disown %1

# Память процесса
cat /proc/PID/status | grep VmRSS

# Лимиты процесса (max open files и др.)
cat /proc/PID/limits

# Переменные окружения
cat /proc/PID/environ | tr '\0' '\n'

# Использование дисков
df -h

# Размер директорий
du -sh /var/log/*

# Топ-10 самых больших директорий
du -h --max-depth=1 /var | sort -rh | head -10

# Файлы > 1 GB
find / -type f -size +1G -exec ls -lh {} \; 2>/dev/null

# Старые логи
find /var/log -name "*.log" -mtime +30 -exec ls -lh {} \;

iostat -xz 1
# %util > 80% → диск перегружен
# await > 20ms → медленный I/O

# Сетевые интерфейсы и IP
ip addr show

# Таблица маршрутизации
ip route

# DNS-резолв
dig example.com
nslookup example.com

# Проверка доступности
ping -c 3 google.com

# Трассировка маршрута
traceroute google.com

# Кто слушает порт 5432
ss -tlnp | grep 5432
# или
lsof -i :5432

# Все установленные TCP-соединения
ss -tn state established

# Проверить открыт ли порт
nc -zv db-host 5432

# GET с заголовками
curl -v https://api.example.com/health

# POST JSON
curl -X POST https://api.example.com/data \
     -H "Content-Type: application/json" \
     -d '{"key": "value"}'

# Скачать файл
curl -o data.csv https://example.com/data.csv

# Замерить время ответа
curl -o /dev/null -s -w "Connect: %{time_connect}s\nTTFB: %{time_starttransfer}s\nTotal: %{time_total}s\n" \
     https://api.example.com/health

# Статус
systemctl status postgresql

# Старт/стоп/рестарт
sudo systemctl start postgresql
sudo systemctl stop postgresql
sudo systemctl restart postgresql

# Автозапуск при загрузке
sudo systemctl enable postgresql
sudo systemctl disable postgresql

# Логи сервиса
journalctl -u postgresql -f         # follow
journalctl -u postgresql --since today
journalctl -u postgresql -n 100     # последние 100 строк

sudo systemctl enable --now etl-pipeline.timer
systemctl list-timers  # список активных таймеров

# Что делает процесс (какие файлы открывает, сетевые вызовы)
strace -p PID -e trace=open,read,write -f

# Запустить с трассировкой
strace -o trace.log python pipeline.py

# Открытые файлы процесса
lsof -p PID

# Кто открыл файл
lsof /var/log/postgresql.log

# Кто использует порт
lsof -i :8080

# OOM-killer убил процесс?
dmesg | grep -i "out of memory"
dmesg | grep -i "killed process"

# Количество строк в CSV
wc -l data.csv

# Уникальные значения столбца (2-й)
awk -F',' '{print $2}' data.csv | sort -u | wc -l

# Быстрый просмотр структуры CSV
head -1 data.csv | tr ',' '\n' | cat -n

# Размер БД PostgreSQL
sudo -u postgres psql -c "SELECT pg_size_pretty(pg_database_size('dwh'));"

# Мониторинг в реальном времени
watch -n 5 'psql -c "SELECT count(*) FROM orders WHERE order_date = current_date"'

# Параллельная обработка файлов
ls *.csv | xargs -P 4 -I {} python process.py {}