Alex Pimentel
06/11/2023 10:57:48
Eu sou engenheiro de dados e às vezes preciso extrair dados das tabelas do SAP para jogar no datalake. Hoje utilizo a tecnica de calc view. O problema é ficar dependente dos usuários responsável pela geração dessas tabelas.
Eu gostaria de saber se eu conseguiria fazer isso via API ou ABAP. Tudo que preciso é gerar dados em CSV e depois importar para DATABRICKS(SPARK) e gerar tabelas parquet.
Eu gostaria de saber se adquirindo seu curso eu conseguiria ter êxito em relação às calc view ?
Alex Pimentel
06/11/2023 10:58:56
Olá, tudo bem? Quando se fala de SAP estamos falando de um sistema extremamente complexo e repleto de opções. Ter um curso "com todas as opções", somente num curso AO VIVO, pois se for gravado, vai requerer pelo menos uns 50 cursos relacionados ao assunto. Não se trata em "apenas baixar uma tabela", mas se vai funcionar, quais os dados são necessários para a sua pesquisa, quanto tempo vai levar, qual custo, se vai precisar de atualização ou inclusão de outras transações,etc.
Também não se trata de um ou 30 cursos que vão resolver o seu problema. A questão é que você em todas as opções abaixo vai precisar saber pelo menos o essencial para poder trabalhar efetivamente, pois são milhões de parametrizações e opções possíveis. Sem conhecer o ERP, é recomendável até chamar uma Consultoria ou Consultor para poder auxiliar você e a empresa a efetuar estes procedimentos. São pelo menos 30 mil tabelas no SAP e pelo menos umas 7 opções para tratamento de dados. Abaixo estão elas:
Opção 1 - Baixar diretamente na transação. O problema disso é que você terá que avisar quais transações vai usar. São mais de 126 mil transações no ERP e cada uma requer um usuário e autorização para a transação. O TI vai ter que liberar praticamente todas as transações para você e isto pode ser um risco para a Empresa, pois se você não souber profundamente o ERP, pode realizar uma transação ou um procedimento que irá afetar a base de dados. Abaixo está um procedimento padrão para a exportação de dados para o Excel. A questão, como havia dito é que você vai precisar um usuário com centenas e até milhares de perfis para realizar o procedimento em cada transação:
https://grandesprojetos.com.
Opção 2 - Utilizar automação SCRIPT para isso. Se for transações recorrentes é possível realizar a automação de dados via SAP Script. O problema é que pode levar meses para fazer um projeto que funcione satisfatoriamente. Também é necessário fazer um ou vários cursos de SAP Script para poder dominar este assunto. Tem um curso muito bom no Júlio Battisti onde também aborda EXCEL VBA:
https://www.juliobattisti.com.
Opção 3 - APIs do SAP: O SAP oferece APIs que permitem extrair dados programaticamente a partir do sistema. Você pode usar essas APIs para acessar os dados diretamente, transformá-los em formato CSV e, em seguida, importá-los no Databricks. Isso oferece mais autonomia em relação à extração de dados. As APIs podem ser criadas em ABAP ou na transação SHDB e SQVI. no momento não temos cursos deste assunto, mas em breve teremos.
Opção 4 - ABAP: Vai precisar de um programador ABAP, para poder criar programas ABAP para extrair os dados das tabelas do SAP, transformá-los em arquivos CSV e disponibilizá-los para serem transferidos para o Databricks. O ABAP é a linguagem de programação usada no SAP, e você pode usá-la para criar rotinas de extração de dados personalizadas. Um curso só deste assunto não existe. Vai ter que contratar um programador ABAP, pois para chegar neste nível, vai ter que ter no mínimo uns 3 anos de experiência.
Opção 5 - Soluções de terceiros: Existem soluções de terceiros que facilitam a extração de dados do SAP e sua transformação em formatos como CSV. Alguns desses produtos oferecem integração direta com sistemas de big data, como o Databricks, o que pode simplificar o processo. Vai ter que pesquisar consultorias que faça este serviço e não fica menos de 50 mil reais e pode chegar a milhões de reais a depender da complexidade.
Opção 6 - Apache Nifi: Você pode considerar o uso do Apache NiFi para criar fluxos de dados que conectam ao SAP, extraem os dados, transformam-nos em CSV e os carregam no Databricks. O Apache NiFi é uma ferramenta de orquestração de fluxo de dados que suporta integração com várias fontes e destinos de dados. Nunca vi alguém fazer isso, mas é uma opção.
Opção 7 - Escolher uma ou várias abordagens simultaneamente. A escolha da melhor abordagem vai depender das suas habilidades em SAP, dos recursos disponíveis, dos requisitos específicos do seu ambiente e de quanto a empresa quer desembolsar para resolver o seu problema. É bom certificar-se de avaliar a segurança e a conformidade dos dados ao implementar qualquer solução de extração e transformação de dados do SAP para o Databricks.
Conforme havia dito, ter um curso único e definitivo deste assunto é bem difícil pela complexidade envolvida. Você pode se inscrever em nossos cursos para ter uma visão geral do SAP e ver qual seria a melhor alternativa possível para resolver este seu problema, mas uma solução pronta e definitiva, definitivamente não recomendo fazer "um único curso" para isso.