IDP - Intelligent Document Processing

Fase I - Estudo

Título da Ideia

IDP - Intelligent Document Processing

Objetivos

Desenvolver uma compreensão aprofundada do Intelligent Document Processing (IDP), explorando suas aplicações. Em seguida, realizar uma prova de conceito (PoC) personalizada demonstrando os benefícios e vantagens dessa solução para a empresa.

Conceito

O Intelligent Document Processing (IDP) é uma tecnologia contida no campo da inteligência artificial juntamente com a automatização na manipulação de documentos. No seu processo, ele identifica, extrai e organiza informações de documentos não estruturados ou semiestruturados, tornando os dados utilizáveis. O IDP utiliza tecnologias envolvidas como o Optical Character Recognition (OCR) na identificação e extração de dados, a inteligência artificial (IA), como o Processamento de Linguagem Natural (NLP), que interpreta e classifica os documentos, enquanto o Robotic Process Automation (RPA) recebe os dados e automatiza os processos repetitivos.

Com a demanda crescente de sistemas de IDP, são destacadas variedades no mercado com o propósito de aprimorar tecnologias internas, como a melhoria do OCR, do NLP e da compressão de documentos complexos. Em paralelo a isso, há estudos para a integração de novas tecnologias ao IDP, como o reconhecimento de voz, identificação de documentos multilíngues e documentos de formatos complexos.

Portanto, o IDP se enquadra na Torre Analytics, correlacionando com a automatização.

Características Principais

Dentro das características principais do IDP, destacam-se as vantagens, sendo uma das maiores a eficiência operacional, pois a automação da extração de informações de documentos reduz a necessidade de intervenção manual, aumentando a agilidade e produtividade. Além disso, o IDP proporciona redução de erros, com alta precisão na extração de informações, evitando problemas decorrentes de informações incorretas. A automação de fluxos de trabalho também é uma vantagem, permitindo uma sequência completa de processamento de documentos, integrando sistemas e agilizando os processos. A geração de insights e tomada de decisão fundamentada é outra vantagem, pois o IDP fornece informações confiáveis para uma análise de negócios mais detalhada e estratégica.

Existem diferentes abordagens que as organizações podem adotar ao investir nas soluções de IDP. Algumas empresas optam por soluções de fornecedores especializados em setores específicos ou casos de uso particulares, buscando soluções mais especializadas e adaptadas às suas necessidades específicas. Outras empresas escolhem incorporar as capacidades de IDP em seus conjuntos de software empresarial existentes, como RPA, ERP ou outras plataformas de software. Essa integração permite que o IDP seja parte integrante das operações e processos já estabelecidos, oferecendo benefícios complementares. Há também a opção de construir e manter soluções de IDP personalizadas, utilizando códigos ou desenvolvimento próprio por meio de APIs/SDKs. Essa abordagem oferece maior controle e customização das funcionalidades da solução. Por fim, existem as plataformas No-Code/Low-Code, que permitem que usuários lidem com uma ampla variedade de tipos de conteúdo e suportem diversos casos de uso sem a necessidade de habilidades avançadas de codificação. Essas plataformas tornam a implementação do IDP mais fácil e acessível a diferentes equipes dentro da organização.

Principais Soluções do Mercado

O mercado de Intelligent Document Processing (IDP) é composto por diversos fornecedores que se originaram de diferentes pontos de partida. Essas soluções abrangem uma variedade de setores, incluindo automação, serviços de processamento de documentos, IDPs puros com incorporação de inteligência artificial e novos participantes que começaram com o uso de inteligência artificial.

No que diz respeito à automação, destacam-se empresas como AntWorks, Automation Anywhere e Blue Prism, que desenvolveram soluções de IDP a partir de suas competências em automação de processos. Além disso, têm os IDPs que incorporam inteligência artificial em sua essência, são representados, por exemplo, pela solução da Ephesoft.

Entre as principais soluções de IDP, de acordo com o Gartner, estão as oferecidas por empresas como ABBYY, Alkymi, Automation Anywhere, Metamaze e qBotica. Cada uma dessas soluções apresenta recursos e características únicas para a captura, interpretação e extração de informações de documentos não estruturados ou semiestruturados.

Estudo Dirigido

• Pesquisar e escrever sobre as características principais da tecnologia;
• Redigir sobre Conceito conforme orientações do template;
• Estudar RPA (imersão com Marcus Vinícius), OCR e ferramentas de ML direcionadas para esse contexto;
• Definir Objetivos com o time;
• Descrever o processo principal e os benefícios diretos;
• Destacar os principais fornecedores e informações relativas a ele;
• Pesquisar as aplicações principais onde pode ser implantado;
• Pesquisar soluções open-source;
• Começar a pensar numa aplicação dessa tecnologia que deverá estar alinhada com o objetivo.

• Bibtex:

1. martinez2023intelligent [2023] Revisão de 37 ferramentas industriais
2. cutting2021intelligent [2021] Visão sob a perspectiva do usuário final
3. fantina2022planning [2022] Sete benefícios de IDP

Fase II - Ensino

Conteúdo

Desenvolva um conteúdo que possa transmitir o conhecimento adquirido para outros
Crie um material (Wiki, PDF, PPT, ...) que possa ser armazenado e facilmente atualizável

Apresentação

Slides e vídeo de apresentação: [[1]]

Metodologia

Descrevas as metodologias usadas. Alguns exemplos:

Estratégia de Job Rotation
Estudos básicos para conhecimento do potencial
Estudos básicos para entendimento sobre o problema
Estudos para dar base aos pesquisadores
Benchmarking com empresas estrangeiras 
Aceleradoras de empresas
Adoção de novas tecnologias
Utilização da proposta de soluções Open-source
Priorização no desenvolvimento interno
Foco na não dependência de fornecedores
Prática de formação dos talentos necessários 

Hipóteses

 Que questões envolvem a pesquisa? 
O que se espera provar?
O que se espera como resultado?
Explicações e argumentos que subsidiem a investigação em curso

Fase III - Exemplo de Caso de Negócio

Product Backlog

Descreva os requisitos deste projeto

Benefícios para quem for oferecer esta solução

    Descrever em tópicos os benefícios que uma pessoa ou uma empresa podem obter: ganhos, receitas, novos negócios, novos produtos, novas parcerias

Benefícios para o usuário

    Descrever em tópicos os benefícios para os usuários desta solução.
    Pode se inspirar no Canvas.

Direcionadores chave para esta iniciativa

    Descrever em tópicos o que esta iniciativa pode proporcionar

Possíveis modelos de negócios

    Descrever em tópicos os possíveis modelos de negócios

Business Case

    Descrever um exemplo de negócio que permita avaliar a solução comercialmente

Alinhamento com Lei do Bem

• Projeto possui algum elemento tecnologicamente novo ou inovador?

Elemento tecnologicamente novo ou inovador pode ser entendimento como o avanço tecnológico pretendido pelo projeto, ou a hipótese que está sendo testada

• Projeto possui barreira ou desafio tecnológico superável?

Barreira ou desafio tecnológico superável pode ser entendido como aquilo que dificulta o atingimento do avanço tecnológico pretendido, ou dificulta a comprovação da hipótese

• Projeto utiliza metodologia/método para superação da barreira ou desafio tecnológico?

Metodologia/método para superação da barreira ou desafio tecnológico pode ser entendido como aqueles atividades que foram realizadas para superação da barreira ou do desafio tecnológico existente no projeto

• Projeto é desenvolvido em parceira com alguma instituição acadêmica, ICT ou startup?

Se sim, o desenvolvimento tecnológico é executado por associado ou por alguma empresa terceira? qual o nome da empresa? 
Anexar cópia do contrato

Fase IV - Protótipo orientado ao Negócio

Escopo

Explique o escopo deste protótipo

Limitações

Informe sobre as limitações técnicas, comerciais, operacionais, recursos, etc.

PoC

Desenvolva um PoC (Proof of Concept)

Privacidade (LGPD)

• Avaliar condições referentes à Lei Geral de Proteção de Dados

Detalhamento Técnico

Descreva especificamente os aspectos técnicos desta pesquisa

Próximos Passos

• 02/05 - Adquirir documentos com a Deise (COE Algar Telecom) para inicio de PoC
• 06/05 - Criação de diagrama para 1° faturamento (COE Algar Telecom)
• 08/05 - Seguir em paralelo com fluxo de lançamento de ofertas (MPE e Jurídico Algar)
• 14/05 - Anonimizar um documento para apresentar ao parceiro ElectroNeek
• 15//05 - Apresentar diagrama e dos documentos que serão utilizados na PoC para parceiro ElectroNeek
• 16/05 - Discutir com COE a respeito da viabilidade da PoC com IDP no 1° faturamento
• 20/05 - Anonimizar 6 documentos para enviar a parceiro ElectroNeek
• 21/05 - Definir ponto com com parceiro ElectroNeek para início da PoC
• 21/05 - Enviar documentos com dados anonimizados a parceiro ElectroNeek
• 21/05 - Marcar ponto para apresentação de diagrama e documentos com parceiro FlaxFlow
• 31/05 - Iniciar PoC com parceiros ElectroNeek e FlaxFlow
• 14/06 - Finalizar apresentação da tecnologia para Algar
• 14/06 - Finalizar desenvolvimento da PoC com Electroneek
• 20/06 - Coletar informações restantes com fornecedores como, casos de sucessos utilizando as ferramentas da PoC, estimativa de valores
• 28/06 - Finalizar material de apresentação IDP

Histórico

• 16/06/2023: Reunião para introdução ao tema. Participaram Luiz, Clara, Ingrid e Marcus;
• 26/06/2023: Reunião de Kickoff. Participaram Luiz, Enock, Clara, Ingrid e Marcus;
• 03/07/2023: Reunião com Marcos Paulo Pires - especialista em RPA;
• 04/07/2023: Reunião com Poliane Canedo - Dores atuais IDP Algar;
• 06/07/2023: Webinar RPA e IA;
• 06/07/2023: Workshop IA - Presencial Brain;
• 29/11/2023: Brain: Atualização sobre o atual estágio do IDP
• 05/12/2023: Envio de email para Abby (flaxflow.com.br)
• 30/04/2024: Alinhamento de POC com Electroneek para fluxo da Enéa
• 02/05/2024: Reunião com FlaxFlow para definição de POC e orientação com o fluxo da Enéa
• 08/05/2024: Ponto com jurídico (Maria Inez) discussao sobre correção do documento
• IDP - 15/05/2024 Eletroneek
  • Electroneek: Carolina Tognolli, Ivan Ramos
  • Brain: Manoel, Davi, Luiz Cláudio,
• IDP - 21/05/2024 Brain x MPE x Jurídico
  • Jurídico Algar: Maria Inez
  • MPE Algar: Kayllane
  • Brain: Manoel
• 23/05/2024 - Alinhamento sobre o fluxo MPE e Jurídico com a Algar Telecom
  • Atores: Davi Lacerda (BRAIN), Kayllane Alves (Algar Telecom - MPE), Leticia Santos (Algar Telecom - MPE), Gabriela Dias (Algar Telecom - Jurídico Tributário) e Maria Inez Oliveira (Algar Telecom - Jurídico Cível)
• IDP - 27/05/2024 FlaxFlow
  • Brain: Manoel, Davi e Luiz Cláudio
  • FlaxFlow: Fábio, Ricardo
• IDP - 29/05/2024 Brain x MPE x Jurídico
  • Brain: Manoel e Davi
  • Jurídico Algar: Gabriella
  • MPE: Kayllane
• IDP² - 29/05/2024 Eletroneek
  • Electroneek: Carolina Tognolli, Ivan Ramos
  • Brain: Manoel, Davi
• 04/06/2024: Ponto de acompanhamento PoC Brain x Electroneek
• 20/06/2024: Ponto de conclusão de PoC Brain x Electroneek
• 20/06/2024: Ponto de conclusão de PoC Brain x FlaxFlow
• 11/07/2024: Material de apresentação finalizado e enviado para validação do Luiz Cláudio
• IDP - 20/08/2024 Brain x Jurídico
  • Caroline e Robertha

Pesquisadores

• Ingrid Lima Cro Rossi
• Manoel Vinícius Botelho
• Enock Cabral Almeida Vieira