# Основной расчет коэффициента удержания
def calculate_retention_rate(cohort_data, period):
    """
    Расчет коэффициента удержания для конкретного периода
    """
    initial_users = cohort_data['period_0'].sum()
    retained_users = cohort_data[f'period_{period}'].sum()
    return (retained_users / initial_users) * 100 if initial_users > 0 else 0

# Генерация когортной таблицы
def build_cohort_table(df, user_col, date_col, period_col):
    """
    Построение стандартной таблицы удержания когорт
    """
    # Определение когортной группы (месяц первой покупки)
    df['cohort_group'] = df.groupby(user_col)[date_col].transform('min')
    df['period_number'] = (df[period_col] - df['cohort_group']).dt.days // 30

    # Создание когортной таблицы
    cohort_data = df.groupby(['cohort_group', 'period_number'])[user_col].nunique().reset_index()
    cohort_table = cohort_data.pivot(index='cohort_group', columns='period_number', values=user_col)

    # Расчет коэффициентов удержания
    cohort_sizes = cohort_table.iloc[:, 0]
    retention_table = cohort_table.divide(cohort_sizes, axis=0)

    return cohort_table, retention_table

import scipy.stats as stats

def cohort_significance_test(cohort_a, cohort_b, period):
    """
    Тест статистической значимости между коэффициентами удержания двух когорт
    """
    n1, x1 = cohort_a['initial_size'], cohort_a[f'retained_period_{period}']
    n2, x2 = cohort_b['initial_size'], cohort_b[f'retained_period_{period}']

    # z-тест для двух пропорций
    p1, p2 = x1/n1, x2/n2
    p_pool = (x1 + x2) / (n1 + n2)
    se = np.sqrt(p_pool * (1 - p_pool) * (1/n1 + 1/n2))
    z_score = (p1 - p2) / se
    p_value = 2 * (1 - stats.norm.cdf(abs(z_score)))

    return {
        'z_score': z_score,
        'p_value': p_value,
        'significant': p_value < 0.05,
        'effect_size': p1 - p2
    }

-- SQL для продвинутой сегментации когорт
WITH user_cohorts AS (
  SELECT 
    user_id,
    DATE_TRUNC('month', first_purchase_date) as cohort_month,
    acquisition_channel,
    initial_order_value,
    CASE 
      WHEN initial_order_value >= 100 THEN 'high_value'
      WHEN initial_order_value >= 50 THEN 'medium_value'
      ELSE 'low_value'
    END as value_segment
  FROM users
),
retention_periods AS (
  SELECT 
    uc.user_id,
    uc.cohort_month,
    uc.acquisition_channel,
    uc.value_segment,
    DATEDIFF('month', uc.cohort_month, o.order_date) as period_number
  FROM user_cohorts uc
  JOIN orders o ON uc.user_id = o.user_id
  WHERE DATEDIFF('month', uc.cohort_month, o.order_date) BETWEEN 0 AND 12
)
SELECT 
  cohort_month,
  acquisition_channel,
  value_segment,
  period_number,
  COUNT(DISTINCT user_id) as retained_users,
  COUNT(DISTINCT user_id) * 1.0 / 
    FIRST_VALUE(COUNT(DISTINCT user_id)) OVER (
      PARTITION BY cohort_month, acquisition_channel, value_segment 
      ORDER BY period_number
    ) as retention_rate
FROM retention_periods
GROUP BY cohort_month, acquisition_channel, value_segment, period_number
ORDER BY cohort_month, acquisition_channel, value_segment, period_number;

def generate_retention_insights(retention_data):
    """
    Генерация бизнес-инсайтов из анализа удержания
    """
    insights = []

    # Определение лучших и худших когорт
    day_30_retention = retention_data['day_30_retention']
    best_cohort = day_30_retention.idxmax()
    worst_cohort = day_30_retention.idxmin()

    insights.append(f"Лучшая когорта: {best_cohort} ({day_30_retention[best_cohort]:.1f}% удержание)")
    insights.append(f"Худшая когорта: {worst_cohort} ({day_30_retention[worst_cohort]:.1f}% удержание)")

    # Анализ трендов
    recent_cohorts = retention_data.tail(6)['day_30_retention']
    if recent_cohorts.is_monotonic_increasing:
        insights.append("✅ Удержание улучшается в последних когортах")
    elif recent_cohorts.is_monotonic_decreasing:
        insights.append("⚠️ Удержание снижается - исследуйте изменения продукта/рынка")

    # Сезонные паттерны
    retention_data['month'] = pd.to_datetime(retention_data.index).month
    seasonal_performance = retention_data.groupby('month')['day_30_retention'].mean()
    peak_month = seasonal_performance.idxmax()
    insights.append(f"Пиковый месяц удержания: {calendar.month_name[peak_month]}")

    return insights

import matplotlib.pyplot as plt
import seaborn as sns

def create_cohort_heatmap(retention_table, title="Тепловая карта удержания когорт"):
    """
    Создание профессиональной тепловой карты удержания когорт
    """
    plt.figure(figsize=(15, 8))
    sns.heatmap(retention_table, 
                annot=True, 
                fmt='.2%',
                cmap='YlOrRd',
                linewidths=0.5,
                cbar_kws={'label': 'Коэффициент удержания'})
    plt.title(title, fontsize=16, fontweight='bold')
    plt.xlabel('Номер периода', fontsize=12)
    plt.ylabel('Группа когорт', fontsize=12)
    plt.tight_layout()
    return plt

def create_retention_curves(cohort_data, segments=None):
    """
    Построение кривых удержания для сравнения
    """
    fig, ax = plt.subplots(figsize=(12, 6))

    if segments:
        for segment in segments:
            data = cohort_data[cohort_data['segment'] == segment]
            ax.plot(data['period'], data['retention_rate'], 
                   marker='o', label=segment, linewidth=2)
    else:
        ax.plot(cohort_data['period'], cohort_data['retention_rate'], 
               marker='o', linewidth=2, color='#1f77b4')

    ax.set_xlabel('Временной период', fontsize=12)
    ax.set_ylabel('Коэффициент удержания', fontsize=12)
    ax.set_title('Кривые удержания по сегментам', fontsize=14, fontweight='bold')
    ax.grid(True, alpha=0.3)
    ax.legend()

    # Форматирование оси y как процентов
    ax.yaxis.set_major_formatter(plt.FuncFormatter(lambda y, _: '{:.0%}'.format(y)))

    return fig