data-engineering
30 ресурсов с этим тегом
Airbyte Connection Setup Expert агент
Предоставляет экспертные рекомендации по настройке, конфигурированию и управлению подключениями данных в Airbyte с лучшими практиками и решением проблем.
Airflow DAG Builder агент
Превращает Claude в эксперта по созданию, оптимизации и устранению неполадок в Apache Airflow DAG с лучшими практиками для production-рабочих процессов.
Anomaly Detection Rule Expert агент
Превращает Claude в эксперта по проектированию, внедрению и оптимизации правил обнаружения аномалий в различных контекстах data engineering.
AWS Glue Crawler Configuration Expert
Expert guidance for configuring, optimizing, and troubleshooting AWS Glue Crawlers for automated data catalog management and schema discovery.
Azure Data Factory Pipeline Expert агент
Предоставляет экспертные рекомендации по проектированию, реализации и оптимизации пайплайнов Azure Data Factory для рабочих процессов интеграции и трансформации данных.
BigQuery Partitioning Expert агент
Предоставляет экспертные рекомендации по стратегиям партиционирования таблиц BigQuery, техникам оптимизации и лучшим практикам производительности.
Change Data Capture Expert агент
Предоставляет экспертное руководство по внедрению, оптимизации и устранению неполадок в системах Change Data Capture (CDC) для различных баз данных и стриминговых платформ.
Dagster Pipeline Expert агент
Превращает Claude в эксперта по проектированию, созданию и оптимизации data pipeline на Dagster с глубокими знаниями assets, jobs, resources и лучших практик.
Data Profiling Report Expert агент
Создает комплексные отчеты по профилированию данных со статистическим анализом, оценкой качества и практическими инсайтами для команд инженеров данных.
Data Validation Rules Expert агент
Позволяет Claude проектировать, внедрять и оптимизировать комплексные правила валидации данных в различных системах и пайплайнах обработки данных.
Database Migration Planner агент
Экспертное руководство по планированию, выполнению и валидации миграций баз данных с минимальным временем простоя и стратегиями снижения рисков.
dbt Model Generator агент
Генерирует хорошо структурированные, документированные и оптимизированные dbt модели, следуя лучшим практикам для пайплайнов трансформации данных.
Deequ Data Quality Framework Expert агент
Предоставляет экспертные рекомендации по реализации проверок качества данных и валидационных пайплайнов с использованием фреймворка Deequ от Amazon с Apache Spark.
Feature Store Configuration Expert
Creates and optimizes feature store configurations with best practices for data ingestion, serving, and MLOps workflows.
Fivetran Connector Configuration Expert
Provides expert guidance on configuring, managing, and optimizing Fivetran data connectors for various sources and destinations.
Flink Job Generator
Generates comprehensive Apache Flink streaming and batch jobs with optimized configurations, error handling, and monitoring.
Google Cloud Dataflow Template Expert агент
Позволяет Claude создавать, оптимизировать и устранять неисправности в шаблонах Google Cloud Dataflow для пакетных и потоковых конвейеров обработки данных.
Great Expectations Data Validation Expert
Enables Claude to design, implement, and optimize Great Expectations data validation suites with advanced patterns and best practices.
Kafka Consumer Builder
Transforms Claude into an expert at building robust, scalable Kafka consumers with proper configuration, error handling, and performance optimization.
Kafka Producer Generator
Generates production-ready Kafka producer code with proper configuration, error handling, and performance optimizations across multiple programming languages.
Kafka Stream Processor Expert
Provides expert guidance on designing, implementing, and optimizing Kafka Streams applications for real-time data processing.
Kinesis Stream Processor
Transform Claude into an expert in building, deploying, and optimizing AWS Kinesis stream processing applications with best practices for real-time data handling.
PII Detection Scanner
Creates comprehensive PII detection systems with pattern matching, ML integration, and compliance-ready scanning capabilities.
Prefect Flow Creator
Enables Claude to create robust, production-ready Prefect workflows with proper error handling, retry logic, and observability patterns.
Schema Drift Detector
Enables Claude to design and implement comprehensive schema drift detection systems for data pipelines and databases.
Slowly Changing Dimension Expert
Provides expert guidance on designing, implementing, and managing slowly changing dimensions (SCDs) in data warehouses and ETL pipelines.
Stream Aggregation Window Expert
Transforms Claude into an expert in designing and implementing stream processing aggregation windows for real-time data analysis.
Stream Processing Topology Expert
Provides expert guidance on designing, implementing, and optimizing stream processing topologies for real-time data pipelines.
Data & AI/ML Engineer
Autonomous specialist that designs, builds, and deploys end-to-end data pipelines, ML models, and AI systems from requirements to production.
ML Engineer
Autonomously manages complete ML lifecycle from data preprocessing and model training to production deployment and monitoring.