Processamento de Big Data no QoE Stor

O Big Data pode ser usado pelo operador nos seguintes cenários:

1. Compreender a estrutura de tráfego por protocolos e aplicativos e sua dinâmica para formar planos tarifários atraentes, identificar pontos de peering e otimizar rotas.
2. Monitorar a qualidade dos links de aplicativos para aplicativos específicos e reagir rapidamente a problemas com o tráfego da rede WAN.
3. Identifique os assinantes problemáticos com base na latência e nas solicitações de pacotes para solucionar problemas e melhorar a fidelidade do assinante.
4. Monitore proativamente as ameaças cibernéticas com base nas estatísticas de chamadas dos assinantes usando o banco de dados de feed da Kaspersky para reduzir o número de BotNet na rede.
5. Monitore ataques DDoS e reaja a picos de tráfego a tempo.

3 minutos para criar um relatório sobre 1 petabyte de dados

Vamos considerar o exemplo de uma operadora com 1 milhão de assinantes. Em nossa experiência, supõe-se que uma operadora desse porte tenha cerca de 2 Tbps de tráfego de pico.

Para trabalhar com operadoras de casos comerciais típicos:

• Armazenar estatísticas IPFIX “brutas” por 24 horas, o que equivale a aproximadamente 45 TB.
• Em seguida, usando os algoritmos de QoE da Stor, os dados são agregados para armazenamento e reduzidos em um fator de 5. Normalmente, os dados agregados são armazenados por 3 meses, o que equivale a cerca de 900 TB .

Combinado com outros tipos de dados (por exemplo, registro NAT ou registro GTP), nosso operador de referência chega a cerca de 1 petabyte .

Entretanto, não é importante apenas obter os dados, mas também garantir que eles estejam disponíveis e sejam processados rapidamente. Os engenheiros e especialistas em marketing da operadora trabalham com eles todos os dias: eles criam relatórios sobre vários campos e filtros para toda a profundidade do armazenamento de dados. Para o trabalho confortável dos usuários, o tempo de criação de relatórios por filtros não deve exceder 3 minutos .

Além disso, os dados do banco de dados são usados regularmente para enviar relatórios periódicos aos serviços da operadora por e-mail/telegrama e para criar painéis de controle.

Você pode calcular o volume das estatísticas da sua operadora usando a calculadora.

Componentes da solução

A aquisição de dados ocorre em vários estágios:

1. Passagem do tráfego pelo SSG para analisá-lo por assinatura (protocolos e aplicativos).
2. Envio de estatísticas do SSG por meio do protocolo IPFIX (NetFlow v10), que é realizado por meio do balanceador ipfixcol2 para distribuir uniformemente as estatísticas entre os nós e fornecer tolerância a falhas em caso de falha de um nó.
3. Recebimento de estatísticas sobre o QoE Stor usando ipfixreceiver2.

Caso o volume de tráfego seja maior do que um único SSG pode suportar, um cluster de DPI é usado. O tráfego é extraído da parte central da rede e enviado para o balanceador de carga do SSG, que distribui a carga uniformemente entre vários servidores SSG. O balanceador de carga é capaz de lidar com até 800 Gbps de tráfego espelhado.

Informações mais detalhadas sobre a operação do Load Balancer podem ser encontradas em nossa base de conhecimento.

Cluster de QoE

O QoE Stor usa basicamente um banco de dados ClickHouse com a capacidade de criar um cluster de vários nós:

• Um nó mestre é atribuído ao cluster, que recebe uma solicitação da GUI e envia solicitações ao nó escravo.
• Cada nó escravo cria um relatório com base em seus próprios dados e o envia para o nó mestre.
• O nó mestre agrega as respostas recebidas do nó escravo e faz a representação resultante para visualização na GUI.

Essa hierarquia permite realizar o dimensionamento linear do cluster quando novos nós são adicionados, sem a necessidade de aumentar o desempenho do nó mestre. A GUI trabalha com o cluster em um modo especial (ativado por uma opção separada nas configurações), modificando as consultas SQL para que os nós criem relatórios prontos para serem colados. Sem esse modo, o cluster é apenas um armazenamento distribuído, e o desempenho é limitado apenas pelo desempenho do nó mestre e pela largura de banda da rede entre os nós de QoE.

O QoE Stor executa o processamento de dados em vários estágios:

1. ipfixreceiver2 recebe e grava dados brutos em um arquivo de texto com uma frequência especificada (10 seg.-10 min.) no disco padrão.
2. O pós-processo realiza a agregação de dados brutos para reduzir o espaço de armazenamento e preencher tabelas para a criação de relatórios. A etapa de agregação dura de 1 minuto a 1 hora.

Vários tipos de discos são usados para otimizar o custo de armazenamento:

• Padrão – discos rápidos para receber dados e executar o processo de agregação; recomenda-se SSDs NVMe.
• hot – discos para armazenamento durante o período em que haverá uma alta probabilidade de solicitação de relatórios sobre esses dados, geralmente até 3 meses.
• frio – discos lentos de grande volume para armazenamento de longo prazo, recomenda-se o uso de HDD.

O período de armazenamento em cada nível é definido na configuração via GUI. A movimentação de dados entre discos e a limpeza de dados são feitas automaticamente de acordo com as configurações. Há também um mecanismo de controle de estouro para proteger o banco de dados.

Para obter mais informações sobre as vantagens do Stingray Service Gateway e do módulo de análise de QoE, entre em contato com a VAS Experts. Deixe um pedido de teste para avaliar objetivamente os recursos e a funcionalidade do software.

.