Processamento de Big Data no QoE Stor

May 17, 2024
DPI Quality of Experience Stingray SG Functionality
Processamento de Big Data no QoE Stor
Os clientes da VAS Experts são operadoras de telecomunicações que prestam serviços aos assinantes finais, que, por sua vez, geram tráfego. Para gerenciar com eficiência esse fluxo de dados, a equipe da VAS Experts desenvolveu um sistema de monitoramento e análise de tráfego, o Stingray Service Gateway (SSG), que permite às operadoras não apenas analisar o tráfego, mas também descarregar estatísticas. À medida que o número de assinantes aumenta, as operadoras recebem mais e mais dados, o que complica o processo de armazenamento e processamento de dados. Neste artigo, analisaremos em detalhes como as informações são processadas e armazenadas no servidor de estatísticas do SSG - QoE Stor.

O Big Data pode ser usado pelo operador nos seguintes cenários:

  1. Compreender a estrutura de tráfego por protocolos e aplicativos e sua dinâmica para formar planos tarifários atraentes, identificar pontos de peering e otimizar rotas.
  2. Monitorar a qualidade dos links de aplicativos para aplicativos específicos e reagir rapidamente a problemas com o tráfego da rede WAN.
  3. Identifique os assinantes problemáticos com base na latência e nas solicitações de pacotes para solucionar problemas e melhorar a fidelidade do assinante.
  4. Monitore proativamente as ameaças cibernéticas com base nas estatísticas de chamadas dos assinantes usando o banco de dados de feed da Kaspersky para reduzir o número de BotNet na rede.
  5. Monitore ataques DDoS e reaja a picos de tráfego a tempo.

3 minutos para criar um relatório sobre 1 petabyte de dados

Vamos considerar o exemplo de uma operadora com 1 milhão de assinantes. Em nossa experiência, supõe-se que uma operadora desse porte tenha cerca de 2 Tbps de tráfego de pico.

Para trabalhar com operadoras de casos comerciais típicos:

  • Armazenar estatísticas IPFIX “brutas” por 24 horas, o que equivale a aproximadamente 45 TB.
  • Em seguida, usando os algoritmos de QoE da Stor, os dados são agregados para armazenamento e reduzidos em um fator de 5. Normalmente, os dados agregados são armazenados por 3 meses, o que equivale a cerca de 900 TB .

Combinado com outros tipos de dados (por exemplo, registro NAT ou registro GTP), nosso operador de referência chega a cerca de 1 petabyte .

Entretanto, não é importante apenas obter os dados, mas também garantir que eles estejam disponíveis e sejam processados rapidamente. Os engenheiros e especialistas em marketing da operadora trabalham com eles todos os dias: eles criam relatórios sobre vários campos e filtros para toda a profundidade do armazenamento de dados. Para o trabalho confortável dos usuários, o tempo de criação de relatórios por filtros não deve exceder 3 minutos .

Além disso, os dados do banco de dados são usados regularmente para enviar relatórios periódicos aos serviços da operadora por e-mail/telegrama e para criar painéis de controle.

Você pode calcular o volume das estatísticas da sua operadora usando a calculadora.

Componentes da solução

A aquisição de dados ocorre em vários estágios:

  1. Passagem do tráfego pelo SSG para analisá-lo por assinatura (protocolos e aplicativos).
  2. Envio de estatísticas do SSG por meio do protocolo IPFIX (NetFlow v10), que é realizado por meio do balanceador ipfixcol2 para distribuir uniformemente as estatísticas entre os nós e fornecer tolerância a falhas em caso de falha de um nó.
  3. Recebimento de estatísticas sobre o QoE Stor usando ipfixreceiver2.

Caso o volume de tráfego seja maior do que um único SSG pode suportar, um cluster de DPI é usado. O tráfego é extraído da parte central da rede e enviado para o balanceador de carga do SSG, que distribui a carga uniformemente entre vários servidores SSG. O balanceador de carga é capaz de lidar com até 800 Gbps de tráfego espelhado.

Informações mais detalhadas sobre a operação do Load Balancer podem ser encontradas em nossa base de conhecimento.

Cluster de QoE

O QoE Stor usa basicamente um banco de dados ClickHouse com a capacidade de criar um cluster de vários nós:

  • Um nó mestre é atribuído ao cluster, que recebe uma solicitação da GUI e envia solicitações ao nó escravo.
  • Cada nó escravo cria um relatório com base em seus próprios dados e o envia para o nó mestre.
  • O nó mestre agrega as respostas recebidas do nó escravo e faz a representação resultante para visualização na GUI.

Essa hierarquia permite realizar o dimensionamento linear do cluster quando novos nós são adicionados, sem a necessidade de aumentar o desempenho do nó mestre. A GUI trabalha com o cluster em um modo especial (ativado por uma opção separada nas configurações), modificando as consultas SQL para que os nós criem relatórios prontos para serem colados. Sem esse modo, o cluster é apenas um armazenamento distribuído, e o desempenho é limitado apenas pelo desempenho do nó mestre e pela largura de banda da rede entre os nós de QoE.

O QoE Stor executa o processamento de dados em vários estágios:

  1. ipfixreceiver2 recebe e grava dados brutos em um arquivo de texto com uma frequência especificada (10 seg.-10 min.) no disco padrão.
  2. O pós-processo realiza a agregação de dados brutos para reduzir o espaço de armazenamento e preencher tabelas para a criação de relatórios. A etapa de agregação dura de 1 minuto a 1 hora.


Vários tipos de discos são usados para otimizar o custo de armazenamento:

  • Padrão – discos rápidos para receber dados e executar o processo de agregação; recomenda-se SSDs NVMe.
  • hot – discos para armazenamento durante o período em que haverá uma alta probabilidade de solicitação de relatórios sobre esses dados, geralmente até 3 meses.
  • frio – discos lentos de grande volume para armazenamento de longo prazo, recomenda-se o uso de HDD.

O período de armazenamento em cada nível é definido na configuração via GUI. A movimentação de dados entre discos e a limpeza de dados são feitas automaticamente de acordo com as configurações. Há também um mecanismo de controle de estouro para proteger o banco de dados.

Para obter mais informações sobre as vantagens do Stingray Service Gateway e do módulo de análise de QoE, entre em contato com a VAS Experts. Deixe um pedido de teste para avaliar objetivamente os recursos e a funcionalidade do software.

.

(English) We use cookies to optimize site functionality and give you the best possible experience. To learn more about the cookies we use, please visit our Cookies Policy. By clicking ‘Okay’, you agree to our use of cookies. Learn more.