> ## Documentation Index
> Fetch the complete documentation index at: https://private-7c7dfe99-detect-table-modification.mintlify.site/llms.txt
> Use this file to discover all available pages before exploring further.

> Guia passo a passo para criar seu primeiro ClickPipe do Amazon S3.

# Criando seu primeiro ClickPipe do Amazon S3

export const Image = ({img, alt, size = "lg"}) => {
  const normalizedSize = ["sm", "md", "lg"].includes(size) ? size : "lg";
  return <div className={`ch-image-${normalizedSize}`}>
      <Frame>
        <img src={img} alt={alt} />
      </Frame>
    </div>;
};

export const props_0 = undefined

export const provider_0 = "s3"

O ClickPipe do S3 oferece uma forma totalmente gerenciada e resiliente de fazer a ingestão de dados do Amazon S3 e de armazenamentos de objetos compatíveis com S3 para o ClickHouse Cloud. Ele oferece suporte tanto à **ingestão única** quanto à **ingestão contínua**, com garantia de processamento exatamente uma vez.

<Steps>
  <Step>
    ## Selecione a fonte de dados

    **1.** No ClickHouse Cloud, selecione **Data sources** no menu principal de navegação e clique em **Create ClickPipe**.

    <Image img="https://mintcdn.com/private-7c7dfe99-detect-table-modification/Qdrmbc1T54ihl0_n/images/integrations/data-ingestion/clickpipes/cp_step0.webp?fit=max&auto=format&n=Qdrmbc1T54ihl0_n&q=85&s=5c127cc5de6fe7160371dce223f06b60" alt="Selecionar importações" size="lg" border width="2606" height="790" data-path="images/integrations/data-ingestion/clickpipes/cp_step0.webp" />

    {props_0.provider_0 === 's3' && <S3DataSource />}

    {props_0.provider_0 === 'gcs' && <GCSSDataSource />}
  </Step>

  <Step>
    ## Configure a conexão do ClickPipe

    **1.** Para configurar um novo ClickPipe, você deve informar como se conectar ao seu serviço de armazenamento de objetos e se autenticar nele.

    {props_0.provider_0 === 's3' && <S3Connection />}

    {props_0.provider_0 === 'gcs' && <GCSConnection />}

    **2.** Clique em **Incoming data**. O ClickPipes buscará os metadados do seu bucket para a próxima etapa.
  </Step>

  <Step>
    ## Selecione o formato dos dados

    A UI exibirá uma lista de arquivos no bucket especificado.
    Selecione o formato dos dados (no momento, oferecemos suporte a um subconjunto dos formatos do ClickHouse) e se deseja habilitar a ingestão contínua.
    Consulte a seção "continuous ingest" na página de visão geral para mais detalhes.

    <Image img="https://mintcdn.com/private-7c7dfe99-detect-table-modification/Qdrmbc1T54ihl0_n/images/integrations/data-ingestion/clickpipes/cp_step3_object_storage.webp?fit=max&auto=format&n=Qdrmbc1T54ihl0_n&q=85&s=da8ab02f25b125878a2dee63f69a25ec" alt="Definir formato dos dados e tópico" size="lg" border width="2336" height="1566" data-path="images/integrations/data-ingestion/clickpipes/cp_step3_object_storage.webp" />
  </Step>

  <Step>
    ## Configure a tabela, o esquema e as configurações

    Na próxima etapa, você poderá escolher se deseja fazer a ingestão dos dados em uma nova tabela do ClickHouse ou reutilizar uma existente.
    Siga as instruções na tela para alterar o nome da tabela, o esquema e as configurações.
    Você pode ver uma prévia em tempo real das alterações na tabela de amostra na parte superior.

    <Image img="https://mintcdn.com/private-7c7dfe99-detect-table-modification/Qdrmbc1T54ihl0_n/images/integrations/data-ingestion/clickpipes/cp_step4a.webp?fit=max&auto=format&n=Qdrmbc1T54ihl0_n&q=85&s=b9f12f6c0d73035e1aada3ba43ebbad2" alt="Definir tabela, esquema e configurações" size="lg" border width="2734" height="1328" data-path="images/integrations/data-ingestion/clickpipes/cp_step4a.webp" />

    Você também pode personalizar as configurações avançadas usando os controles fornecidos

    <Image img="https://mintcdn.com/private-7c7dfe99-detect-table-modification/Qdrmbc1T54ihl0_n/images/integrations/data-ingestion/clickpipes/cp_step4a3.webp?fit=max&auto=format&n=Qdrmbc1T54ihl0_n&q=85&s=082d0fc28d1d2f8af315e1cfa3d1e0d2" alt="Definir controles avançados" size="lg" border width="1592" height="338" data-path="images/integrations/data-ingestion/clickpipes/cp_step4a3.webp" />

    Como alternativa, você pode optar por fazer a ingestão dos dados em uma tabela existente do ClickHouse.
    Nesse caso, a UI permitirá mapear campos da origem para os campos do ClickHouse na tabela de destino selecionada.

    <Image img="https://mintcdn.com/private-7c7dfe99-detect-table-modification/Qdrmbc1T54ihl0_n/images/integrations/data-ingestion/clickpipes/cp_step4b.webp?fit=max&auto=format&n=Qdrmbc1T54ihl0_n&q=85&s=5a68f31fdac86791722db4a0faa0f298" alt="Usar uma tabela existente" size="lg" border width="2738" height="1322" data-path="images/integrations/data-ingestion/clickpipes/cp_step4b.webp" />

    <Info>
      Você também pode mapear [colunas virtuais](/pt-BR/reference/functions/table-functions/s3#virtual-columns), como `_path` ou `_size`, para campos.
    </Info>
  </Step>

  <Step>
    ## Configure as permissões

    Por fim, você pode configurar as permissões para o usuário interno do ClickPipes.

    **Permissões:** O ClickPipes criará um usuário dedicado para gravar dados em uma tabela de destino. Você pode selecionar uma função para esse usuário interno usando uma função personalizada ou uma das funções predefinidas:

    * `Full access`: com acesso total ao cluster. Obrigatório se você usar visão materializada ou Dicionário com a tabela de destino.
    * `Only destination table`: com permissões `INSERT` apenas na tabela de destino.

    <Image img="https://mintcdn.com/private-7c7dfe99-detect-table-modification/Qdrmbc1T54ihl0_n/images/integrations/data-ingestion/clickpipes/cp_step5.webp?fit=max&auto=format&n=Qdrmbc1T54ihl0_n&q=85&s=3a3657fe0c594a1217d71290f27d096a" alt="Permissões" size="lg" border width="2736" height="1318" data-path="images/integrations/data-ingestion/clickpipes/cp_step5.webp" />
  </Step>

  <Step>
    ## Conclua a configuração

    Ao clicar em "Complete Setup", o sistema registrará seu ClickPipe, e você poderá vê-lo listado na tabela de resumo.

    <Image img="https://mintcdn.com/private-7c7dfe99-detect-table-modification/Qdrmbc1T54ihl0_n/images/integrations/data-ingestion/clickpipes/cp_success.webp?fit=max&auto=format&n=Qdrmbc1T54ihl0_n&q=85&s=81d5e86ce8d7315d5463f45d54e4f53c" alt="Aviso de sucesso" size="sm" border width="613" height="212" data-path="images/integrations/data-ingestion/clickpipes/cp_success.webp" />

    <Image img="https://mintcdn.com/private-7c7dfe99-detect-table-modification/Qdrmbc1T54ihl0_n/images/integrations/data-ingestion/clickpipes/cp_remove.webp?fit=max&auto=format&n=Qdrmbc1T54ihl0_n&q=85&s=c4cc25a78f1bdb4212d42cf8659bd02d" alt="Aviso de remoção" size="lg" border width="2756" height="1320" data-path="images/integrations/data-ingestion/clickpipes/cp_remove.webp" />

    A tabela de resumo fornece controles para exibir dados de amostra da origem ou da tabela de destino no ClickHouse

    <Image img="https://mintcdn.com/private-7c7dfe99-detect-table-modification/Qdrmbc1T54ihl0_n/images/integrations/data-ingestion/clickpipes/cp_destination.webp?fit=max&auto=format&n=Qdrmbc1T54ihl0_n&q=85&s=186557ea6d5b5189f972399519a60165" alt="Ver destino" size="lg" border width="2758" height="1316" data-path="images/integrations/data-ingestion/clickpipes/cp_destination.webp" />

    Assim como controles para remover o ClickPipe e exibir um resumo do job de ingestão.

    <Image img="https://mintcdn.com/private-7c7dfe99-detect-table-modification/Qdrmbc1T54ihl0_n/images/integrations/data-ingestion/clickpipes/cp_overview.webp?fit=max&auto=format&n=Qdrmbc1T54ihl0_n&q=85&s=1dfc009ce729fb48f46e3e7cd6c83581" alt="Ver visão geral" size="lg" border width="3436" height="1076" data-path="images/integrations/data-ingestion/clickpipes/cp_overview.webp" />

    **Parabéns!** Você configurou com sucesso seu primeiro ClickPipe.
    Se este for um ClickPipe configurado para ingestão contínua, ele será executado continuamente, fazendo a ingestão de dados em tempo real da sua fonte de dados remota.
    Caso contrário, ele fará a ingestão do batch e será concluído.
  </Step>
</Steps>
