IA sobre Redes Banda Larga

Fase I - Estudo

Objetivos

O objetivo de fazer as redes de telecom autônomas é com a finalidade de ter baixos custos para competir no mercado, evoluir mais rapidamente e depender menos de pessoas. Com isso teremos IA como correção preventiva, não apenas reativa (monitorando vários parâmetros e correlações para impedir de um incidente acontecer), sendo assim um processo mais eficaz e minucioso para esse propósito temos as seguintes variantes:

Self healing (rede de autocura) → rede artificial arruma o problema sem um humano. Ex: IA detecta a inconsistência na rede e executa pela automação o script para resolver, se não o engenheiro arruma.

Self optimization → não há um problema na rede, apenas reconfigura para tornar melhor. Ex: calcula a rota de forma automática.

Self configuration (ZTP) → autoconfigura a rede para o cliente.

Para o projeto iremos utilizar os dados gerados pelo CX BL, o qual gerencia a experiência do cliente e um MVP de IA que aprende com os dados de telemetria da banda larga

E por que não utilizar somente a automação? Sem a IA aplicada o processo fica travado, dependendo de pessoas e não evolui com o tempo.

Conceito

IA (Inteligência Artificial), conceito geral:

• A Inteligência Artificial (IA) é o campo da computação que busca criar sistemas capazes de realizar tarefas que normalmente requerem inteligência humana, como reconhecimento de voz, visão, raciocínio, aprendizado e planejamento.

Divisão:

• A IA pode ser dividida em dois tipos principais: IA fraca e IA forte.
• IA fraca:

• IA fraca se concentra em realizar tarefas específicas, como reconhecimento de voz ou visão.

• IA forte:

• IA forte busca criar sistemas capazes de realizar qualquer tarefa intelectual que um ser humano possa fazer, como raciocínio, aprendizado e planejamento.

Subcampos:

• A IA engloba vários subcampos, incluindo aprendizado de máquina, visão computacional, processamento de linguagem natural e robótica. Cada um desses subcampos se concentra em desenvolver tecnologias específicas para alcançar os objetivos gerais da IA.
• Aprendizado de máquina:

• Aprendizado de máquina é um subcampo da IA que se concentra em desenvolver algoritmos que possam aprender e melhorar com a experiência, sem serem explicitamente programados. Existem dois tipos principais de aprendizado de máquina: aprendizado supervisionado e aprendizado não supervisionado.

• Visão computacional:

• Visão computacional é um subcampo da IA que se concentra em desenvolver tecnologias para permitir que os computadores interpretem e compreendam imagens. Isso inclui tarefas como detecção de objetos, reconhecimento de rostos e rastreamento de movimentos.

• Processamento de linguagem natural:

• Processamento de linguagem natural é um subcampo da IA que se concentra em desenvolver tecnologias para permitir que os computadores compreendam e respondam à linguagem humana. Isso inclui tarefas como reconhecimento de fala, tradução automática e geração de texto.

• Robótica:

• Robótica é um subcampo da IA que se concentra em desenvolver tecnologias para criar robôs capazes de realizar tarefas, como navegação, manipulação de objetos e cooperação com seres humanos.

IMS é uma estrutura arquitetônica baseada em padrões com objetivo fornecer serviços de comunicação multimídia, como voz, vídeo e mensagens de texto em redes IP.

O que é TR-069:

• TR-069 é uma especificação técnica para a gestão remota de dispositivos de rede.
• Desenvolvido pela Broadband Forum, é amplamente usado para gerenciar dispositivos de banda larga como roteadores e modems em redes de provedores de serviços de internet.

• Usa o protocolo HTTP para comunicação entre dispositivos e o sistema de gerenciamento, chamado Auto Configuration Server (ACS)

Como funciona TR-069:

• Define uma interface de comunicação entre dispositivos de rede e o ACS

• O ACS pode ser usado para configurar, monitorar e gerenciar dispositivos remotamente
• Também pode ser usado para coletar dados de diagnóstico e estatísticas de dispositivos

Segurança:

• Usado em conjunto com opções de encriptação e autenticação SSL/TLS
• TR-069 usa o protocolo HTTP para comunicação entre dispositivos e ACS

• Ele também suporta o uso de HTTPS para comunicação segura

Benefícios:

• Controle remoto dos CPEs (equipamento instalado no cliente)
• Maior eficiência na gestão de dispositivos de rede

• Melhoria da qualidade do serviço
• Redução de custos operacionais

• Coleta de informações de análise de uso e atividade da rede e utilização do serviço
• Controle de dados do Wi-Fi como: filtros de conteúdo, controle parental, backup e vigilância a distância
• Atualizações e instalações a distância

Padrão TR-069

• Seguindo um formato bem definido de XML (Extensible Markup Language)
• Existindo uma especificação que todos devem seguir, mas existem campos que só foram adicionados em versões futuras: gera diferenças entre TR-069 dos fabricantes.

Aplicações:

• Amplamente utilizado no setor de provedores de serviços de internet, mas também é utilizado em outras indústrias, como a indústria de segurança de redes e automação industrial.

O que é CX (Customer Experience):

• CX é o conjunto de percepções e impressões que um cliente tem sobre uma determinada empresa ou produto, a partir de sua interação com ela em todas as etapas do processo. Isso inclui desde a descoberta do produto, até a compra, uso e suporte pós-venda.

O que é CXBL (Customer Experience Banda Larga):

• CXBL é uma abordagem voltada para gerenciar a experiência de uso da conexão de banda larga do cliente de forma proativa. Ele busca resolver problemas comuns encontrados pelos clientes, tais como:

• Baixo conhecimento de velocidade da conexão sem saber diferenciar qual era o problema, se de rede, do Wifi ou de dispositivos.
• Percepção de reatividade na detecção de problemas de banda larga ou adequação de demandas de produto.
• Instabilidade no serviço em momentos importantes sem um diagnóstico claro ou soluções definitivas.
• Alto esforço do cliente e percepção ruim para solução de alguns problemas técnicos, com repetições de solicitações.
• Falta de conhecimento preventivo da forma de uso de cada cliente de banda larga com intuito de tomar medidas antecipadas.
• Volume relevante de reclamações de problemas que poderiam ser resolvidos de forma preventiva e remotamente.
• Percepção ruim do cliente no serviço de banda larga devido à falta de diagnóstico assertivo e prévio sobre problemas fora do escopo do produto contratado.
• Falta de informações sobre o perfil de utilização do cliente para ajustar ofertas e soluções de garantia de experiência.

Objetivos da implantação do CX:

• Conhecer e garantir a experiência de utilidade aos consumidores.
• Atuar preventivamente nas etapas da jornada.
• Fortalecer iniciativas que melhorem a experiência, reduzam SLA (Service Level Agreement) e custos.
• Extrair valor do conhecimento do perfil de uso: personalização.
• Priorizar soluções de dores que mais impactam o negócio.

Como o CXBL propõe fazer isso:

• Utiliza soluções de telemetria, onde há um software embarcado no CPE para medir e armazenar dados de tráfego de banda larga por cliente.
• Utiliza soluções de ACS para coletar e atuar na configuração do modem/ambiente Wifi remotamente através do TR-069.
• Implementar ML/Analytics para colocar modelos preditivos sobre o perfil de uso.

Os MVPs do CXBL são:

• Durante a aquisição: espera-se a melhor experiência na jornada

• Oferecer serviços por detecção do aparelho móvel em Wi-Fi UBL.

• Na oferta: soluções personalizadas garantindo a satisfação

• Oferta de produtos que podem facilitar a vida do cliente dependo do que ele precisa pelo perfil de uso do Wi-Fi.
• Cross-seling (ofertas do produto certo e na hora certa) dependendo do perfil de consumo.
• Oferta SmartFI com base em diagnóstico ambiente Wi-Fi e aparelho

• Entregas conforme a solução acordada, no melhor tempo

• Nos 2 primeiros dias se tem a detecção de um CX ruim pós-ativação e atuação
• Identifica a velocidade contratada vs velocidade real sempre monitorado de 1 semana para trás.

• Onborading com a melhor experiência de uso e solução de problemas

• Monitoramento da experiência de uso de clientes e redes através do QoE e do NPS
• Monitoramento de clientes VIP e formadores de opinião
• Ordem de serviço faz o autodiagnóstico e identifica falha na banda larga, para evitar chamadas no CRM (serviço de atendimento) e que a operação faça tantas atividades.
• App Autocuidado envia informações para a central para identificar a situação do Wi-Fi e do aparelho

• Ongoing para melhorar a experiência de acordo com cada perfil

• Qualificação do upselling (tentativa de venda de algo mais completo, melhorada e de maior valor) com maiores GAP de perfil uso e do perfil produto
• Oferta degustação suporte oferta Up-selling e Cross-selling
• Qualificação Upselling clientes com pior experiência Uso

• E durante o churn: atuação proativa nos processos que geram impacto

• Oferta para retenção de acordo com perfil e a experiência de uso
• Prevenção de churn voluntário de clientes com experiência uso negativa

O que é o protocolo IP (Internet Protocol):

• É um protocolo de comunicação de rede responsável por garantir que os pacotes de dados sejam transmitidos de forma confiável e eficiente através da rede.
• É utilizado para identificar e rotear pacotes de dados através da internet e outras redes de computadores.

Divisão:

• IP versão 4 (IPv4): o protocolo mais utilizado atualmente

• Usa endereços IP de 32 bits, o que permite um total de 4.294.967.296 endereços únicos.

• IP versão 6 (IPv6): está sendo gradualmente implementado para lidar com o crescimento exponencial do número de dispositivos conectados à internet.

• Usa endereços de 128 bits, o que permite um total de 340.282.366.920.938.463.463.374.607.431.768.211.456 endereços únicos. Além de oferecer melhorias de segurança e qualidade de serviço em relação ao IPv4.

Para que serve:

• Identificar e rotear pacotes: feito com a ajuda de tabelas de roteamento, usadas para determinar o caminho mais eficiente para o pacote.
• Fornece mecanismos de fragmentação e reassemblamento de pacotes, garantindo que os pacotes sejam transmitidos corretamente mesmo se precisarem ser divididos em várias partes para passar por redes de diferentes tamanhos.

• Isso é feito com a ajuda de cabeçalhos de fragmentação, adicionados aos pacotes para indicar qual parte do pacote é a primeira e qual é a última.
• Os pacotes são reassemblados no destino antes de serem entregues ao dispositivo final.

• Fundamental para a comunicação na internet

Como as informações são repassadas de forma confiável e eficiente:

• Deve ser usado em conjunto com outros protocolos, como o TCP (Transmission Control Protocol) e o UDP (User Datagram Protocol)

• O TCP é usado para garantir que os pacotes sejam entregues corretamente e na ordem correta.
• O UDP é usado para transmitir pacotes de dados sem garantia de entrega ou ordem.

• IPsec (Internet Protocol Security) é usado para criptografar pacotes de dados e garantir a privacidade e a autenticidade.

Tipos de endereços IP

• Endereços de host são usados para identificar dispositivos individuais na rede.
• Endereços de rede são usados para identificar conjuntos de dispositivos conectados à mesma rede.

Classes de endereços IP:

• A Classe A é usada para redes de grande porte.
• Classe B é usada para redes de médio porte.
• A Classe C é usada para redes de pequeno porte.
• Classe D é usada para multicast.
• A Classe E é reservada para uso futuro.

Protocolo SIP (Session Initiation Protocol):

• É um protocolo de comunicação utilizado para iniciar, manter, modificar e encerrar sessões de comunicação de áudio e vídeo na internet.
• Baseado em texto simples e trabalha na camada de aplicação do modelo OSI (Open Systems Interconnection).

Como funciona:

• Troca de mensagens entre dispositivos, como chamadas e respostas, que são enviadas através de endereços IP.
• É necessário realizar um registro para que os dispositivos possam se encontrar e se comunicar entre si.

Utilização:

• Para comunicações de voz e vídeo, videoconferências, mensagens instantâneas e outros tipos de comunicação multimídia.
• Amplamente utilizado em sistemas de comunicação unificada (UC) e sistemas de telefonia IP (VoIP) devido à sua flexibilidade e facilidade de uso.

Vantagens:

• SIP é um protocolo aberto e não tem taxas de licenciamento, o que o torna atraente para empresas.
• Facilidade de implementação e personalização com várias bibliotecas e implementações de código aberto disponíveis.
• Compatibilidade com outros protocolos de comunicação como H.323 e SCCP, o que permite interoparabilidade entre sistemas diferentes, ou seja, diferentes sistemas podem se comunicar entre si, independentemente de sua tecnologia.
• Compatível com redes de comunicação móveis, como 3G e 4G, permitindo chamadas e videoconferências móveis.
• Permite a utilização de recursos avançados, como transferência de chamadas, encaminhamento de chamadas, conferência e outros recursos que melhoram a eficiência e a produtividade das comunicações.
• Projetado para lidar com grandes volumes de tráfego de comunicação, permitindo que as empresas cresçam sem problemas e adicionem novos usuários e dispositivos à sua rede de comunicação.

Integração:

• Ao integrar o SIP com o protocolo RTP (Real-time Transport Protocol), pode transmitir áudio e vídeo em tempo real.
• Protocolo RTCP (Real-time Transport Control Protocol), para controlar e monitorar as comunicações em tempo real.
• Protocolo SDP (Session Description Protocol) para descrever as características de uma sessão de comunicação.
• Protocolo STUN (Session Traversal Utilities for NAT) para superar as limitações do NAT (Network Address Translation) em redes privadas.
• Protocolo LDAP (Lightweight Directory Access Protocol) para autenticação e autorização de usuários.
• Protocolo DNS (Domain Name System) para resolução de nomes de dispositivos.

Características 

• Ideia:
  • Vinculado à tese de Mestrado: Prof Flávio (Artigo para leitura)
  • Objetivo incial: Potencializar pesquisa sobre acesso BL
  • Proposta: Criar um prototipo em Python de uma solução de IA
  • Prover condições para auto diagnóstico de rede (self optimization - self healing)
  • Base de dados real da rede Banda Larga
  • Foco: aplicado na casa do cliente
  • Ex: WiFi está congestionado: Muda a frequência
    • Tem que trocar um parametro do modem porque desse jeito está com autoprocessamento
  • De onde virão os dados: inputs do modem de BL
  • O que fazer: a solução identifica estes parametros e toda vez que identificar sugere uma correção. É um aprendizado supervisionado
  • Roteiro: Desenvolver uma solução de IA em Python sobre uma base de teste e posteriormente implantar na rede
  • Quem tem a Base de Dados? CXBL - Henrique Omena
  • Quem é especialista nos parametros da rede? Felipe Oliveira Franco (Cientista de Dados)

Estudo Dirigido

Foi Primeiramente feito uma revisão de algumas partes da estatística:

Resumo estatística

Após esse estudo foi feito uma pesquisa sobre Inteligência Artificial:

IA em cada país

Diferença entre IA, ML e DL

Como criar uma IA

Exemplo de IA para code review

Dados sobre quantas empresas com gestão de dados usam IA

Análise de Dados com IA

GÉRON, Aurélien. Mãos à Obra: Aprendizado de Máquina com Scikit-Learn, Keras & TensorFlow. 2ª.ed. Rio de Janeiro: Starlin Atla, 2021.

Estudo sobre IMS:

IMS

Video de como funciona uma ligação

TR069:

O que é e como funciona o TR069

Diferenças de TR-069

CXBL:

CX na Algar

CXBL na Algar

CX

Protocolo IP

O que é

Protocolo SIP

Informações sobre

Playlist VoIP e SIP

Fase II - Ensino

Conteúdo

O conteúdo está no estudo dirigido e no trello: Conversation Code

Metodologia

Agile: Scrum, Dailys e Weeklys

Pesquisa exploratória

JACI (Just Autodidact Collaborative Intensive)

Hipóteses

Se for aplicado IA em redes banda largas, seria possível prever problemas em um cliente e assim diminuir a quantidade de chamados por instabilidade na rede.

Fase III - Exemplo de Caso de Negócio

Product Backlog

Trello

Estudar TR069, CXBL, protocolo IP/SIP, machine learning, python, RSSI

Definir contexto de atuação do CXBL

Tratar base de dados

Planejar a PoC

Implementar técnicas de redes neurais na base de dados

Fazer BC e pitch

Benefícios para quem for oferecer esta solução

Menor custo das chamadas e menos churn

Benefícios para o usuário

Melhor internet e menos preocupação em relação à rede banda larga

Direcionadores chave para esta iniciativa

IA, redes neurais, redes, gradiente boosting, árvore de decisão, parâmetros

Possíveis modelos de negócios

Produto: soluções de ia aplicado sobre dados de rede banda-larga

Preço: número de OS que deixam de ser criadas

Praça: global

Pessoas: cientistas de dados, administrador de banco de dados, engenheiros de infraestrutura de TI, PO, scrum, desenvolvedor de backend e frontend

Prazo: 4 meses

Business Case

• Case 1: Capacidade de Backbone todos os trafego de produtos passam por aqui (Denner)
  • Qual a dor que a área possui hoje?

O Backbone mexe com diversos dados de vários produtos, as variáveis são utilizadas para haver uma projeção futura de quanto será disponibilizado para cada lugar, mas dependendo da localidade e do item há pouca quantidade de dados, o que pode tornar a Inteligência Artificial não tão vantajosa, pois não teria informações suficientes para que a máquina aprenda sobre um padrão, o que faz a técnica ser menos precisa. Por outro lado, o sistema atual de coleta de dados, o shadow IT (uma ferramenta não oficial da empresa, desenvolvida pela própria área), implica na falta de manutenção do produto, o que pode gerar perda de dados, outro ponto é que área ainda não consegue inserir outras informações importantes, como as pesquisas mercadológicas para o cálculo das projeções (atualmente usam-se somente informações de marketing durante o planejamento de capex).

• O que pode ser feito para gerar um resultado interessante?

Para gerar melhor desenvolvimento para área, pode ser necessário aplicar IA em apenas alguns produtos em que há informações em quantidades satisfatórias, além de reunir dados em um lugar confiável e de fácil manutenção e conseguir implementar a utilização de dados mercadológicos.

• Case 2: Capacidade de Banda Larga (Flávio de Souza)
  • Qual a dor que a área possui hoje?

Há uma abundância de dados referentes ao uso da banda larga e vários índices desse produto, como a taxa de penetração de diversos lugares. As dores desse setor é ter a maior assertividade possível nas previsões de esgotamento de equipamento, dificuldade de coleta e tratamento de dados, além de problemas em relação à coesão de dados de diferente lugares. Ao ajustar essas informações, podem futuramente interferir de forma positiva não somente no local de uso, mas também no Backbone, pois é um dos meios trabalhados pela área.

• O que pode ser feito para gerar um resultado interessante?

As propostas são de melhorar a previsão de esgotamento da banda larga para o decorrer do tempo, saber se o recurso é necessário para atender o mercado atual e futuro, reunir os dados em um único lugar com fácil acesso e com as devidas interligações, outro ponto interessante é a análise de combinação de dados e quais alterações a IA pode fazer para que as informações sejam assertivas.

• Como é entregue o serviço banda larga?

Na Algar o serviço é entregue por fibra ótica, onde tem várias POP/estações (lugar próprio com equipamentos de telecomunicação) para a internet funcionar, de lá sai uma fibra ótica e vai indo para os postes até chegar ao mais próximo do cliente e assim sai um equipamento de ONT/ONU (modem) que a fibra vai ligada e faz a comunicação com tudo para trás.

Detalhe do caminho da Rede

• Case 3: Palestra Fabiola

• Qual a dor que a área possui hoje?

Reclamações de clientes muitas vezes não são visualizadas, visualizar um possível erro antes mesmo de acontecer e identificar um problema recorrente e o motivo dele acontecer.

• O que pode ser feito para gerar um resultado interessante?

Categorização de reclamações de clientes com dados em linguagem natural, analisar padrões de erros para prever um futuro problema e corrigi-lo e saber exatamente quando precisara de uma mão de obra em específico.

• Case 4: Redes Banda Larga (Felipe e Enock)

• Qual a dor que a área possui hoje?

Clientes fazem diversas ligações para a Algar com problemas no modem ou relacionado a internet, como lentidão e travamento. Outro ponto é a necessidade de muitas pessoas especializadas para arrumar o empecilho, aumentando os custos da empresa.

• O que pode ser feito para gerar um resultado interessante?

Desenvolver uma aplicação baseado em IA a partir de uma base de dados possa aprender e preventivamente atuar, melhorando a experiência do cliente.

Alinhamento com Lei do Bem

• Projeto possui algum elemento tecnologicamente novo ou inovador?

Elemento tecnologicamente novo ou inovador pode ser entendimento como o avanço tecnológico pretendido pelo projeto, ou a hipótese que está sendo testada

• Projeto possui barreira ou desafio tecnológico superável?

Barreira ou desafio tecnológico superável pode ser entendido como aquilo que dificulta o atingimento do avanço tecnológico pretendido, ou dificulta a comprovação da hipótese

• Projeto utiliza metodologia/método para superação da barreira ou desafio tecnológico?

Metodologia/método para superação da barreira ou desafio tecnológico pode ser entendido como aqueles atividades que foram realizadas para superação da barreira ou do desafio tecnológico existente no projeto

• Projeto é desenvolvido em parceira com alguma instituição acadêmica, ICT ou startup?

Se sim, o desenvolvimento tecnológico é executado por associado ou por alguma empresa terceira? qual o nome da empresa? 
Anexar cópia do contrato

Fase IV - Protótipo orientado ao Negócio

Escopo

Implementar machine learn sobre uma base de dados originados de uma solução da beegol, analisando vários parâmetros como jitter, latência, perda de pacote, qualidade dos canais, quantidade de reboots e número de aparelhos distantes

Limitações

Uma fonte de dados com poucos registros, não foi analisado todos os parâmetros e é feito apenas para banda larga

PoC

Desenvolva um PoC (Proof of Concept)

Privacidade (LGPD)

• Avaliar condições referentes à Lei Geral de Proteção de Dados

Dados sensíveis excluidos

Detalhamento Técnico

Link GitHub

Histórico

• Kick-off - 05/01/2023:
  • Gessyca, Felipe Franco, Enock, Luiz Cláudio, Marcus Vinicius
  • Desafio: autonomia na operação de redes de telecom. Conceito de SDN - Software Defined Network. Self-optimization, Self configuration (Zero Touch Provisioning) e Self-Healing. FO, BL, backbone, metro, celular, voz, fixa.
  • Foco: Redes Autônomas. Criar automação com inteligência
  • Automações pró-ativas. Ex: auto-cura de rede. Incidente na rede BL. um problema no modem leva o sw a identificar o caso, toma uma decisão e executa um comando. Porém se puder ser proativo e puder antecipar uma ação corretiva é o ideal.
  • CXBL: Caso de uso. TR-069 como exemplo sem IA
  • Case: Dados reais de uma operadora aplicando IA. TR
  • P&D: MVP de uma IA que aprendesse com os dados que vem da telemetria BL, premissa - par incidente solução treinar uma rede neural se identificar que este é um tipo de acidente sabe a ação a ser feita. Se tiver assertividade pode implementar uma ação preditiva.
  • BD: exportar de algum local = Felipe. Preocupação com a LGPD
  • Linguagem: Python com Pandas, etc
  • Automação: usar TR-069
  • Case inicial: Estudar opções do CXBL
  • Escopo: ssid do modem com 5 cel 2 smartv no 2.4, sistema percebe que suportam 5 mhz. Automat muda pra 5 mhz. Assim melhora a experiência do cliente. Para isso tem que aprender com os parâmetros e gerar uma ação.
  • Formação:
    • Disponibilidade: 30 minutos/semana
    • Treinamento: Montar material com Felipe
• 16/01/2023:

Pesquisadores

• Gessyca Carneiro Bernardes
• Felipe Oliveira Franco
• Enock Cabral Almeida Vieira