Chaos Engineering Experiment Designer агент

# Шаблон Chaos эксперимента
experiment:
  name: "api-gateway-resilience-test"
  hypothesis: "Когда сервис аутентификации пользователей становится недоступным, API gateway будет корректно деградировать и поддерживать 99% доступности для кешированных пользовательских сессий"
  steady_state:
    metrics:
      - name: "response_time_p95"
        threshold: "< 500ms"
      - name: "availability"
        threshold: "> 99%"
      - name: "error_rate"
        threshold: "< 1%"
  failure_conditions:
    - service: "auth-service"
      failure_type: "network_partition"
      duration: "5m"
  blast_radius:
    percentage: 10
    environment: "staging"

# Python пример для прогрессивного chaos тестирования
class ChaosExperimentRunner:
    def __init__(self, experiment_config):
        self.config = experiment_config
        self.blast_radius_stages = [1, 5, 10, 25, 50]  # Процент трафика

    def run_progressive_experiment(self):
        for stage_percentage in self.blast_radius_stages:
            print(f"Запуск эксперимента с {stage_percentage}% радиусом поражения")

            # Настройка мониторинга
            baseline_metrics = self.collect_baseline_metrics()

            # Внедрение отказа
            chaos_handle = self.inject_chaos(percentage=stage_percentage)

            # Мониторинг отклонений от стабильного состояния
            if not self.monitor_steady_state(duration=300):  # 5 минут
                print(f"Стабильное состояние нарушено при {stage_percentage}%, остановка эксперимента")
                self.abort_experiment(chaos_handle)
                return False

            # Очистка и ожидание перед следующим этапом
            self.cleanup_chaos(chaos_handle)
            time.sleep(120)  # 2-минутный период восстановления

        return True

# Litmus ChaosEngine для удаления подов
apiVersion: litmuschaos.io/v1alpha1
kind: ChaosEngine
metadata:
  name: pod-delete-chaos
  namespace: default
spec:
  appinfo:
    appns: 'default'
    applabel: 'app=nginx'
    appkind: 'deployment'
  chaosServiceAccount: litmus-admin
  experiments:
  - name: pod-delete
    spec:
      components:
        env:
        - name: TOTAL_CHAOS_DURATION
          value: '60'
        - name: CHAOS_INTERVAL
          value: '10'
        - name: FORCE
          value: 'false'
        - name: PODS_AFFECTED_PERC
          value: '50'

# Внедрение сетевых задержек
apiVersion: chaos-mesh.org/v1alpha1
kind: NetworkChaos
metadata:
  name: network-delay
spec:
  action: delay
  mode: all
  selector:
    labelSelectors:
      app: web-service
  delay:
    latency: "90ms"
    correlation: "25"
    jitter: "90ms"
  duration: "5m"
  scheduler:
    cron: "0 */6 * * *"  # Запуск каждые 6 часов

{
  "version": "1.0.0",
  "title": "Устойчивость к завершению EC2 инстансов",
  "description": "Тестирование реакции автомасштабирования на завершение инстанса",
  "tags": ["aws", "ec2", "autoscaling"],
  "steady-state-hypothesis": {
    "title": "Приложение остается доступным",
    "probes": [
      {
        "name": "health-check",
        "type": "probe",
        "provider": {
          "type": "http",
          "url": "https://api.example.com/health",
          "timeout": 10
        },
        "tolerance": 200
      }
    ]
  },
  "method": [
    {
      "type": "action",
      "name": "terminate-random-instance",
      "provider": {
        "type": "python",
        "module": "chaosaws.ec2.actions",
        "func": "terminate_instances",
        "arguments": {
          "filters": [
            {
              "Name": "tag:Environment",
              "Values": ["staging"]
            }
          ],
          "count": 1
        }
      }
    }
  ]
}

# Prometheus метрики для chaos экспериментов
from prometheus_client import Counter, Histogram, Gauge
import time

class ChaosMetrics:
    def __init__(self):
        self.experiment_counter = Counter(
            'chaos_experiments_total',
            'Общее количество выполненных chaos экспериментов',
            ['experiment_name', 'status']
        )

        self.steady_state_gauge = Gauge(
            'chaos_steady_state_maintained',
            'Поддерживалось ли стабильное состояние во время эксперимента',
            ['experiment_name']
        )

        self.recovery_time = Histogram(
            'chaos_recovery_time_seconds',
            'Время восстановления системы после внедрения chaos',
            ['experiment_name']
        )

    def record_experiment_result(self, name, success, recovery_time_seconds):
        status = 'success' if success else 'failure'
        self.experiment_counter.labels(experiment_name=name, status=status).inc()
        self.steady_state_gauge.labels(experiment_name=name).set(1 if success else 0)

        if recovery_time_seconds:
            self.recovery_time.labels(experiment_name=name).observe(recovery_time_seconds)

class ChaosCircuitBreaker:
    def __init__(self, error_threshold=5, time_window=300):
        self.error_threshold = error_threshold
        self.time_window = time_window
        self.error_count = 0
        self.last_error_time = 0
        self.circuit_open = False

    def should_abort_experiment(self, current_metrics):
        # Проверка критических нарушений метрик
        if current_metrics.get('availability', 100) < 95:
            self.record_error()

        if current_metrics.get('error_rate', 0) > 10:
            self.record_error()

        return self.circuit_open

    def record_error(self):
        current_time = time.time()

        if current_time - self.last_error_time > self.time_window:
            self.error_count = 1
        else:
            self.error_count += 1

        self.last_error_time = current_time

        if self.error_count >= self.error_threshold:
            self.circuit_open = True
            print("АВТОМАТИЧЕСКИЙ ВЫКЛЮЧАТЕЛЬ АКТИВИРОВАН - ПРЕРЫВАНИЕ CHAOS ЭКСПЕРИМЕНТА")