AWS Data Processing MCP Server

O que é o AWS Data Processing MCP Server?

O AWS Data Processing MCP Server é um servidor compatível com MCP que expõe as capacidades de processamento de dados da AWS. Ele é especialmente voltado para serviços como AWS Glue e Amazon EMR-EC2, para agentes e ferramentas de desenvolvimento impulsionados por LLM. Ao se integrar a este servidor, seus assistentes de IA ou agentes autônomos podem realizar orquestração de pipeline de dados, operações ETL (Extrair, Transformar, Carregar), monitoramento de trabalhos, solução de problemas e automação em seu ambiente AWS existente. Isso preenche a lacuna entre o desenvolvimento orientado por IA e a engenharia prática de dados na nuvem, facilitando para as equipes automatizarem, otimizarem e escalarem seus fluxos de trabalho de dados.

Como Configurar

Pré-requisitos: Certifique-se de ter o uv instalado, Python disponível (ex: uv python install 3.10) e suas credenciais AWS configuradas para os serviços que deseja gerenciar.

Adicionar ao Cliente MCP: Adicione o AWS Data Processing MCP Server ao seu arquivo de configuração do cliente MCP (ex: mcp.json, cline_mcp_settings.json ou ~/.codeium/windsurf/mcp_config.json). Especifique o comando, argumentos e variáveis de ambiente necessárias.

{
  "awslabs.aws-dataprocessing-mcp-server": {
    "command": "uvx",
    "args": ["awslabs.aws-dataprocessing-mcp-server@latest"],
    "env": {
      "AWS_PROFILE": "seu-perfil-aws",
      "AWS_REGION": "us-east-1",
      "FASTMCP_LOG_LEVEL": "ERROR"
    }
  }
}

Conceder Permissões: Certifique-se de que seu perfil AWS tenha as permissões IAM necessárias para interagir com o Glue, EMR e outros serviços requeridos.
Uso de Contêiner: Opcionalmente, execute em um contêiner Docker, usando --env-file e montando suas credenciais AWS para uma execução segura.
Verificação: Valide a configuração do servidor executando um comando básico ou visualizando as ferramentas disponíveis em seu cliente MCP.

Como Usar

No seu assistente de codificação (ex: Cline, Cursor, Claude ou Windsurf), certifique-se de que o AWS Data Processing MCP Server está habilitado.
Na interface de chat da IA ou interface de comandos, solicite ações como:
- "Liste todos os pipelines de dados do Glue."
- "Inicie um trabalho EMR para processar este conjunto de dados."
- "Monitore este fluxo de trabalho ETL para erros."
- "Quais tabelas estão registradas no Glue Catalog atualmente?"
O agente de IA utilizará as ferramentas do servidor MCP para executar essas operações, exibir progresso e retornar resultados.
Para automação, processos em segundo plano ou agentes de fluxo de trabalho, automatize trabalhos de dados orquestrando chamadas de ferramentas do servidor em código.
Use os endpoints do servidor, como tools/list para operações disponíveis e tools/call para invocação direta de tarefas.

Principais Recursos

Visibilidade em Pipeline em Tempo Real: Monitore, depure e analise execuções e pipelines do AWS Glue e EMR.
Orquestração de Fluxo de Trabalho Programática: Inicie, pare e gerencie trabalhos de processamento de dados usando invocações simples de ferramentas.
Integração Unificada com LLM: Traga operações de dados da AWS para qualquer agente, interface de chat ou ferramenta de automação de fluxo de trabalho impulsionada por LLM.
Suporte Abrangente para ETL: Crie, atualize e programe fluxos de trabalho ETL em seus data lakes e ambientes na nuvem.
Operações Seguras: Conecta-se através das suas credenciais AWS e impõe suas políticas IAM.
Relatos de Erro e Solução de Problemas: Busque logs, status e detalhes de erro para diagnósticos e respostas mais rápidas.
Descoberta de Ferramentas e Documentação: Liste facilmente as operações disponíveis e obtenha descrições de ferramentas dentro do seu cliente MCP.

Casos de Uso

Engenharia de Dados Orientada por IA: Gere, gerencie ou solucione problemas automaticamente em trabalhos do Glue/EMR a partir de solicitações de modelos de linguagem.
Monitoramento e Alerta de Pipeline: Observe o status do fluxo de trabalho, busque saídas de trabalhos e ative notificação por Slack/email em caso de falha.
Conversacional DataOps: Faça perguntas em linguagem natural sobre seus pipelines de dados, status de trabalhos recentes ou execuções históricas e receba respostas estruturadas instantaneamente.
Orquestração ETL Automatizada: Programe, atualize e coordene fluxos de trabalho ETL em múltiplas etapas usando agentes controlados por LLM.
Exploração do Catálogo de Dados: Liste tabelas, partições e esquemas disponíveis do Glue Data Catalog para análise ou tarefas de conformidade.
Pipelines de Dados Self-Service: Permita que usuários menos técnicos realizem operações de dados através de interfaces em linguagem natural que integram o servidor MCP.
Agentes Autônomos Headless: Implemente agentes autônomos para verificações de saúde de pipelines de dados, reinícios automáticos e remediação incremental de erros.

FAQ

1. Quais serviços da AWS este servidor MCP suporta?

O AWS Data Processing MCP Server suporta principalmente o AWS Glue e o Amazon EMR-EC2, mas também pode integrar-se a serviços de dados relacionados, como o Glue Data Catalog. Verifique as ferramentas disponíveis do servidor para uma lista completa.

2. Como funciona a autenticação e controle de acesso?

O servidor utiliza suas credenciais e região AWS configuradas. Suas operações são regidas pelas políticas IAM do seu perfil AWS, garantindo que ações estejam em conformidade com seus padrões de segurança.

3. Posso usar este servidor para iniciar, monitorar e parar trabalhos a partir de uma interface de chat de IA?

Sim! As ferramentas expostas permitem que você inicie, pare, monitore ou consulte tanto trabalhos do Glue quanto do EMR em tempo real, diretamente a partir de assistentes de codificação ou fluxos de trabalho de IA.

4. É possível executar o servidor dentro de um contêiner?

Absolutamente. O servidor pode ser conteinerizado (por exemplo, com Docker), montando suas credenciais .aws e passando variáveis de ambiente com as opções --env-file e --volume.

5. Como posso solucionar problemas se meus trabalhos não estão sendo executados como esperado?

Você pode usar as ferramentas disponíveis para buscar logs de trabalhos, status e erros. Além disso, certifique-se de que suas permissões IAM incluam todas as APIs relevantes do Glue, EMR e de registro.

Nome do Protocolo	Descrição
list_glue_jobs	Retorna uma lista de todos os trabalhos do AWS Glue dentro da conta e região AWS configuradas, incluindo nomes, descrições e status dos trabalhos.
start_glue_job	Inicia um trabalho do AWS Glue com parâmetros fornecidos e fornece um ID de execução do trabalho e link ou status de monitoramento em tempo real.
get_glue_job_status	Recupera o status atual, logs e mensagens de erro (se houver) para uma execução específica de trabalho do Glue pelo nome do trabalho e ID de execução.
list_emr_clusters	Retorna uma lista de clusters EMR, sua saúde/status, datas de criação e configurações.
submit_emr_job	Submete um trabalho (etapa) para um cluster EMR existente, incluindo suporte para Spark, Hive ou cargas de trabalho personalizadas.
get_emr_job_status	Busca status de execução e logs para trabalhos ou etapas EMR, incluindo detalhes de erro para execuções com falha.
list_glue_catalog_tables	Lista todas as tabelas no AWS Glue Data Catalog, opcionalmente filtradas por banco de dados ou prefixo, incluindo detalhes de esquema.