Exibir código-fonte para Automação de capacidade de Banda Larga

= Fase I - Estudo  =

<br> 

== Título da Idéia   ==
Automação do controle da capacidade de Banda Larga

== Objetivos  ==

 O objetivo desse projeto é automatizar o controle de capacidade, gerando planilhas otimizadas
 e pesquisar sobre novas formas de cálculo de previsões do esgotamento de portas e banda, 
 levando em consideração eventos sazonais.
*Coletar dados
*Desenvolver uma aplicação que utilize modelos estatísticos que:
**Prevê com precisão quando ocorrerá o esgotamento de recursos (portas, banda).
**Quando e onde deve se fazer o investimento na planta para que um cliente consiga contratar o serviço e receba 100% do que foi contratado
<br>

* Escopo: Desenvolver uma aplicação para análise de capacidades das tecnologias ADSL, VDSL, GPON e HFC. Para ADSL e VDSL o sistema deverá coletar os dados no Rubi, para o GPON no Connect Master e para o HFC em equipamentos e no Grafana.
<br>

== Conceito  ==

<br> 

  

*A pesquisa será inserida na área de gestão de capacidade, o intuito é saber com precisão quando uma rede esgotará, investindo assim nos equipamentos certos evitando que a rede fique esgotada/sufocada.
*Atualmente usa-se o grafana para gerar os gráficos.
*A equipe utiliza os dados dos últimos n meses e calcula uma media aritmética,projetando assim os dados no futuro.
*Quanto mais distante for a previsão, maior é a chance de erro. Consequentemente esgotando o numero máximo de clientes que uma determinada rede suporta e/ou ultrapassando o limite de largura de banda 
(imagem)
*A ideia atual é desenvolver uma aplicação que utilize modelos estatísticos para que se tenha precisão na hora de prever os dados.
*Após definir quais dados são relevantes, o algoritmo irá pegar as informações e prever a situação dos n meses seguintes, sempre realimentando os dados

*Uma possível evolução da pesquisa é para análise de ações na bolsa de valores

<br> 

<br>

== Enquadramento  ==
Pesquisa Aplicada
<br> 
<br>

== Desafio tecnológico  ==

*Encontrar um modelo probabilístico
*Criar uma aplicação com esse modelo

<br> 

<br>

== Características&nbsp;  ==

<br> 
Primeiramente precisa-se de um modelo probabilístico para uni-lo com os dados que temos

<br> 

<br>

== Estudo Dirigido  ==

<br> 
*SNMP, Cacti, MRTG, ZABBIX
*Tipos de redes(HFC, GPON, ADSL, VDSL)
*Perfil de uso(Netflix, Google, Facebook, Akamai)
*Tráfego IP
*Modelos probabilísticos
<br>


= Estudo Prático =
<br>[[Arquivo:Automação.pptx]]



* Quebra de  Planilha => Willian
* Avaliação do Ruby => Guilherme e Ricardo (Dhenner)
* Capacidade baseada em vizinhança => Rodrigo
<br>

= Fase II - Ensino  =

<br> 

<br> 

== Conteúdo  ==
[[Arquivo:Automação de capacidade de Banda Larga.pdf]]
<br>

== Apresentação  ==

<br>
O Projeto de Automação da Capacidade de Banda Larga foi desenvolvido com o intuito de automatizar a criação e análise de planilhas relacionadas as tecnologias ADSL (Asymmetric Digital Subscriber Line) e VDSL (Very-high-bit-rate Digital Subscriber Line), fazendo a contagem de variáveis como a quantidade de portas disponíveis, ocupadas e o total. O programa irá utilizar um modelo de previsão de Média Móvel ou Suavização Exponencial para fazer a previsão de esgotamento das portas em cada estação, além de calcular a taxa de crescimento a cada mês e dar a previsão, em meses, de quando uma estação terá todas suas portas ocupadas.

Devido ao tamanho e a quantidade de informação presentes nas planilhas ADSL e VDSL, o processo de criação da planilha final e de sua análise pode ser muito trabalhoso quando feito manualmente, exigindo muito tempo e habilidades como o uso de Macros. Por isso, a necessidade de um programa que automatiza essa tarefa fazendo tanto a filtragem da planilha quanto sua análise em um tempo consideravelmente menor e com uma taxa de erros menor.

O projeto não visa apenas a automatização e rapidez na criação da planilha, mas também uma melhor maneira de fazer a análise de previsão de esgotamento de portas. Por isso foram implementados dois modelos de cálculo de previsão. O primeiro e mais simples é a Média Móvel, nela uma média simples é feita com os valores dos 2 meses anteriores e do mês atual, essa média é usado como previsão. O segundo é um método de Séries Temporais conhecido como Suavização Exponencial, em que os valores de n meses são considerados. No entanto, quanto mais distante a observação é da observação do mês atual, menor é o peso que ela tem sobre o resultado do final da análise.

O projeto pode ajudar a Algar Telecom oferecendo uma melhor previsão de quando as portas ADSL/VDSL de cada estação serão esgotadas, possibilitando uma melhor visão de quando uma estação deve ser expandida, adicionando novas portas para suprir uma demanda na região, ou quando uma estação deve ser reduzida, retirando portas de uma região estável ou que está em decrescimento e disponibilizando-as para outras estações.

Após a primeira etapa envolvendo as tecnologias xDSL, o foco será direcionado para as tecnologias GPON (Gigabit Passive Optical Network) e HFC (Hybrid Fiber Coaxial). Para o GPON, a princípio, o foco será a capacidade das portas das CTOs (Caixa de Terminação Ótica), que pode utilizar da mesma análise estatística citada anteriormente. Não menos importante, o tráfego das OLTs (Optical Line Terminal) deve ser monitorado com uma visão vista da porta do Switch, pois o elemento pode ter uma capacidade inferior ao da porta da OLT.

Para o HFC o foco é o tráfego de cada node, comparando o tráfego de cada portadora que compõe essa node, analisando tanto a capacidade quanto o balanceamento entre elas. O diferencial dessa tecnologia é que não existe uma plataforma alimentada com os dados da tecnologia. Algumas informações são monitoradas no Grafana (inseridas e atualizadas de forma manual) e outras são coletadas acessando o equipamento que controla a tecnologia.

Em todas as tecnologias, é necessário destacar os pontos sazonais que podem alterar as previsões de forma anormal. Como exemplo pode-se citar eventos como Copa do Mundo, finais de campeonatos, período de férias escolares. Estes eventos devem ser analisados para que não afetem a capacidade.

O programa será desenvolvido em Python 2.7 usando as bibliotecas pandas, para conversão de de planilhas e arquivos csv, e psycopg2 para comunicação com o banco de dados utilizado, o software open source PostgreSQL.

= Fase III - Exemplo de Caso de Negócio<br>  =

<br> 

== Benefício para a Algar Telecom  ==
*Investir em equipamento no lugar certo e no momento certo 
*Oferecer o serviço de prevenção para outras empresas
<br> 

<br>

== Benefícios para o cliente  ==
*Disponibilidade para contratar os serviços oferecidos pela Algar
*Usar 100% da banda contratada mesmo em caso de ruptura do anel
<br>

== Direcionadores chave  ==
*Investir em locais que realmente precisam de investimento
*Prevenção de possíveis problemas
<br><br>

== Elemento inovador  ==
*Algoritmo de prevenção
*Modelo probabilístico

<br><br>

== Possíveis modelos de negócios  ==

     Descrever em tópicos os possíveis modelos de negócios

== Business Case  ==

     Descrever um exemplo de négócio que permita avaliar a solução comercialmente

<br> 

= Fase IV - Protótipo orientado ao Negócio  =

<br> 

== Escopo  ==

# entrar no rubi: rubi/ctbc/netsuper/sistemarubi.php
# consulta adsl sem filtro, gerar csv.
# filtrar coluna tecnologia (S):
## huawei
## huawei ngn
## keymile
## keymile adsl
## zte
# juntar disponível e disponivel ngn como disponível
# juntar auditoria, ocupado e ocupado ngn como ocupado
# inserir tabela dinâmica:
## 'Regional'
## 'Localidade'
## 'Estação mãe'
## 'Estação'
## 'Total de portas'
## 'Portas disponíveis'
## 'Portas ocupadas'
## 'Previsão de esgotamento (em meses)'
# ordena por disponivel crescente
## regional
## localidade
## estação mãe
## estação
## total de portas
## disponíveis
## ocupadas
## previsão
<br>
# [0, 0] -> vermelho
# (0, 10] -> amarelo
# (10, +inf) -> verde
# crescimento = (total_hoje - antigo) / diff(hoje - antigo) em meses
# previstao de esgotamento = qtd_portas / crescimento

== Metodologia  ==

<br> 

 Qual metodologia ou método utilizado?

<br> 

<br> 

== Limitações  ==

<br> 

 Informe sobre as limitações

<br> 

== PoC  ==

<br> 

 Desenvolva um PoC (Proof of Concept)

<br> 

== Detalhamento Técnico  ==

<br> 

 Descreva especificamente os aspectos técnicos desta pesquisa

<br> 

<br> 

<br> 

<br> 

= Planejamento  =

<br> 

== Cronograma Macro  ==

<br> 

== Histórico  ==
<br>

* 30/08/2017:
** Fontes dos dados:
*** Especificar todas as fontes, com nome de arquivo, formato, explicando o conteúdo
** Opção de usar serviços mais simples: BL e UBL
*** Foco na Análise de portas e tráfego
** Avaliar previsão de esgotamento do armário
** Identificar eventos esporádicos
*** Evento como Luta MayWeather x OConnor  => Poderia ter uma previsão
*** Camaru => Sabe que vai afetar a capacidade da região
*** Férias: Impacta seriamente e pode ser previsto
*** Comercial quer ampliar de 2 MB para 4 MB => o sistema pode simular
** Willian tem uma planilha que faz o cálculo atual
*** Enviar arquivo para avaliação
*** Gravar um vídeo com a operação do processo

= Funcionalidades =
<br>

# 
<br>

= Pesquisadores  =
*Arthur Borges Duarte
*Cristiano Azevedo Vinaud 
*Denner Cesar de Almeida
*Fellipe Augusto de Oliveira
*Lucas Amaral Damaso
*Luiz Cláudio Theodoro
*Willian Santos Silva