{"id":10672,"date":"2024-05-17T11:00:01","date_gmt":"2024-05-17T08:00:01","guid":{"rendered":"https:\/\/vasexperts.com\/?p=10672"},"modified":"2025-08-11T14:13:36","modified_gmt":"2025-08-11T11:13:36","slug":"processing-big-data-in-qoe-stor","status":"publish","type":"post","link":"https:\/\/vasexperts.com\/es\/blog\/dpi\/processing-big-data-in-qoe-stor\/","title":{"rendered":"Procesamiento de macrodatos en QoE Stor"},"content":{"rendered":"Big data puede ser utilizado por el operador para los siguientes escenarios:\r\n<ol>\r\n \t<li><a href=\"https:\/\/vasexperts.com\/es\/blog\/quality-of-experience\/case-how-an-operator-can-reduce-the-uplink-cost\/\">Comprender la estructura del tr\u00e1fico por protocolos y aplicaciones y su din\u00e1mica para formar planes de tarifas atractivos, identificar puntos de peering y optimizar las rutas.<\/a><\/li>\r\n \t<li><a href=\"https:\/\/wiki.vasexperts.com\/doku.php?id=dpi:qoe:use_cases:full_netflow_analytics:start#uplink_monitoring_service\">Supervisar la calidad de los enlaces de aplicaciones para aplicaciones espec\u00edficas y reaccionar r\u00e1pidamente ante problemas con el tr\u00e1fico de la red WAN.<\/a><\/li>\r\n \t<li><a href=\"https:\/\/vasexperts.com\/es\/blog\/dpi\/effective-network-monitoring-with-ssg-and-qoe-module-practical-case-study\/\">Identifique los abonados problem\u00e1ticos en funci\u00f3n de la latencia y las solicitudes de paquetes para solucionar problemas y mejorar la fidelidad de los abonados.<\/a><\/li>\r\n \t<li><a href=\"https:\/\/wiki.vasexperts.com\/doku.php?id=dpi:qoe:use_cases:full_netflow_analytics:start#threats_monitor_service\">Supervise de forma proactiva las ciberamenazas bas\u00e1ndose en las estad\u00edsticas de llamadas de los abonados mediante la base de datos de alimentaci\u00f3n de Kaspersky para reducir el n\u00famero de BotNet en la red.<\/a><\/li>\r\n \t<li><a href=\"https:\/\/vasexperts.com\/es\/blog\/dpi\/what-ddos-attacks-are-and-how-a-telecom-operator-can-protect-against-them\/\">Supervise los ataques DDoS y reaccione a tiempo ante los picos de tr\u00e1fico.<\/a><\/li>\r\n<\/ol>\r\n<h2>3 minutos para construir un informe sobre 1 petabyte de datos<\/h2>\r\nConsideremos el ejemplo de un operador con 1 mill\u00f3n de abonados. Seg\u00fan nuestra experiencia, se supone que un operador de este tama\u00f1o tiene unos 2 Tbps de tr\u00e1fico pico.\r\n\r\nPara trabajar con casos de negocio t\u00edpicos operadores:\r\n<ul>\r\n \t<li>Almacenar las estad\u00edsticas IPFIX \u00aben bruto\u00bb durante 24 horas, lo que supone aproximadamente    <strong>   45 TB.    <\/strong>  <\/li>\r\n \t<li>Luego, utilizando los algoritmos de QoE de Stor, los datos se agregan para su almacenamiento y se reducen en un factor de 5. Los datos agregados se almacenan normalmente durante 3 meses, lo que supone unos    <strong>   900 TB    <\/strong>   .<\/li>\r\n<\/ul>\r\nCombinado con otros tipos de datos (por ejemplo, registro NAT o registro GTP), nuestro operador de referencia sale a unos    <strong>   1 petabyte    <\/strong>   .\r\n\r\nSin embargo, no s\u00f3lo es importante obtener los datos, sino tambi\u00e9n asegurarse de que est\u00e9n disponibles y se procesen r\u00e1pidamente. Los ingenieros del operador y los especialistas en marketing trabajan con ellos a diario: elaboran informes sobre diversos campos y filtros para toda la profundidad de almacenamiento de datos. Para que el trabajo de los usuarios sea c\u00f3modo, el tiempo de creaci\u00f3n de informes por filtros no debe superar los    <strong>   3 minutos    <\/strong>   .\r\n\r\nLos datos de la base de datos tambi\u00e9n se utilizan regularmente para enviar informes peri\u00f3dicos a los servicios del operador por correo electr\u00f3nico\/telegrama y para elaborar cuadros de mando.\r\n\r\nPuede calcular el volumen de las estad\u00edsticas de su operador utilizando <a href=\"https:\/\/wiki.vasexperts.com\/doku.php?id=dpi:dpi_components:qoestor:install_and_update:hardware_recommendations:start\">la calculadora<\/a>.\r\n<h2>Componentes de la soluci\u00f3n<\/h2>\r\nLa adquisici\u00f3n de datos se realiza en varias etapas:\r\n<ol>\r\n \t<li>Paso del tr\u00e1fico a trav\u00e9s del SSG para analizarlo por firmas (protocolos y aplicaciones).<\/li>\r\n \t<li>Env\u00edo de estad\u00edsticas desde el SSG mediante el protocolo IPFIX (NetFlow v10), que se realiza a trav\u00e9s del equilibrador ipfixcol2 para distribuir uniformemente las estad\u00edsticas entre los nodos y proporcionar tolerancia a fallos en caso de que falle un nodo.<\/li>\r\n \t<li>Recepci\u00f3n de estad\u00edsticas en QoE Stor mediante ipfixreceiver2.<\/li>\r\n<\/ol>\r\n<ol><\/ol>\r\n<a href=\"\/wp-content\/uploads\/2024\/05\/com.png\" data-fancybox=\"\"><noscript><img loading=\"lazy\" decoding=\"async\" src=\"\/wp-content\/uploads\/2024\/05\/com-2-1.png\" alt=\"\" width=\"489\" height=\"586\" class=\"alignnone wp-image-10674\" srcset=\"\/wp-content\/uploads\/2024\/05\/com-2-1.png 816w, \/wp-content\/uploads\/2024\/05\/com-2-1-250x300.png 250w, \/wp-content\/uploads\/2024\/05\/com-2-1-768x920.png 768w\" sizes=\"(max-width: 489px) 100vw, 489px\"><\/noscript><img loading=\"lazy\" decoding=\"async\" src=\"\/wp-content\/uploads\/2024\/05\/com-2-1.png\" alt=\"\" width=\"489\" height=\"586\" class=\"alignnone wp-image-10674 lazyload\" sizes=\"(max-width: 489px) 100vw, 489px\" data-src=\"\/wp-content\/uploads\/2024\/05\/com-2-1.png\" data-srcset=\"\/wp-content\/uploads\/2024\/05\/com-2-1.png 816w, \/wp-content\/uploads\/2024\/05\/com-2-1-250x300.png 250w, \/wp-content\/uploads\/2024\/05\/com-2-1-768x920.png 768w\"><\/a>\r\n\r\nEn caso de que el volumen de tr\u00e1fico sea superior al que puede gestionar un \u00fanico SSG, se utiliza un cl\u00faster DPI. El tr\u00e1fico se extrae de la parte central de la red y se env\u00eda al SSG Load Balancer, que distribuye la carga uniformemente entre varios servidores SSG. El equilibrador de carga es capaz de gestionar hasta 800 Gbps de tr\u00e1fico duplicado.\r\n\r\nPuede encontrar informaci\u00f3n m\u00e1s detallada sobre el funcionamiento del equilibrador de carga en nuestra <a href=\"https:\/\/wiki.vasexperts.com\/doku.php?id=dpi:load_balancer:start\">base de conocimientos<\/a>.\r\n<h2><span style=\"font-weight: 400;\">Cl\u00faster QoE<\/span><\/h2>\r\n<a href=\"\/wp-content\/uploads\/2024\/05\/qoe_cluster.png\" data-fancybox=\"\"><noscript><img loading=\"lazy\" decoding=\"async\" class=\" wp-image-\" title=\"\" src=\"\/wp-content\/uploads\/2024\/05\/qoe_cluster.png\" alt=\"\" width=\"356\" height=\"269\"><\/noscript><img loading=\"lazy\" decoding=\"async\" class=\" wp-image- lazyload\" title=\"\" src=\"\/wp-content\/uploads\/2024\/05\/qoe_cluster.png\" alt=\"\" width=\"356\" height=\"269\" data-src=\"\/wp-content\/uploads\/2024\/05\/qoe_cluster.png\"><\/a>\r\n\r\nQoE Stor b\u00e1sicamente utiliza una base de datos ClickHouse con la capacidad de crear un cl\u00faster de m\u00faltiples nodos:\r\n<ul>\r\n \t<li>Se asigna un nodo maestro al cl\u00faster, que recibe una solicitud de la GUI y env\u00eda solicitudes al nodo esclavo.<\/li>\r\n \t<li>Cada nodo esclavo crea un informe basado en sus propios datos y lo env\u00eda al nodo maestro.<\/li>\r\n \t<li>El nodo maestro agrega las respuestas recibidas del nodo esclavo y realiza la representaci\u00f3n resultante para su visualizaci\u00f3n en la GUI.<\/li>\r\n<\/ul>\r\nEsta jerarqu\u00eda permite realizar un escalado lineal del cl\u00faster cuando se a\u00f1aden nuevos nodos sin tener que aumentar el rendimiento del nodo maestro. GUI trabaja con el cl\u00faster en un modo especial (habilitado por una opci\u00f3n separada en la configuraci\u00f3n), modificando las consultas SQL para que los nodos construyan informes listos para el encolado. Sin este modo, el cl\u00faster es s\u00f3lo un almacenamiento distribuido, y el rendimiento s\u00f3lo est\u00e1 limitado por el rendimiento del nodo maestro y el ancho de banda de la red entre los nodos QoE.\r\n\r\n<a href=\"\/wp-content\/uploads\/2024\/05\/qoestor_arc.png\" data-fancybox=\"\"><noscript><img loading=\"lazy\" decoding=\"async\" class=\" wp-image-\" title=\"\" src=\"\/wp-content\/uploads\/2024\/05\/qoestor_arc.png\" alt=\"\" width=\"570\" height=\"750\"><\/noscript><img loading=\"lazy\" decoding=\"async\" class=\" wp-image- lazyload\" title=\"\" src=\"\/wp-content\/uploads\/2024\/05\/qoestor_arc.png\" alt=\"\" width=\"570\" height=\"750\" data-src=\"\/wp-content\/uploads\/2024\/05\/qoestor_arc.png\"><\/a>\r\n\r\nQoE Stor realiza el procesamiento de datos en varias etapas:\r\n<ol>\r\n \t<li>ipfixreceiver2 recibe y escribe datos sin procesar en un archivo de texto con una frecuencia especificada (10 seg.-10 min.) en el default-disk.<\/li>\r\n \t<li>El postproceso realiza la agregaci\u00f3n de los datos sin procesar para reducir el espacio de almacenamiento y rellenar las tablas para crear informes. El paso de agregaci\u00f3n dura de 1 minuto a 1 hora.<\/li>\r\n<\/ol>\r\n<a href=\"\/wp-content\/uploads\/2024\/05\/storage.png\" data-fancybox=\"\"><noscript><img loading=\"lazy\" decoding=\"async\" class=\" wp-image-\" title=\"\" src=\"\/wp-content\/uploads\/2024\/05\/storage.png\" alt=\"\" width=\"311\" height=\"295\"><\/noscript><img loading=\"lazy\" decoding=\"async\" class=\" wp-image- lazyload\" title=\"\" src=\"\/wp-content\/uploads\/2024\/05\/storage.png\" alt=\"\" width=\"311\" height=\"295\" data-src=\"\/wp-content\/uploads\/2024\/05\/storage.png\"><\/a>\r\nSe utilizan varios tipos de discos para optimizar el coste de almacenamiento:\r\n<ul>\r\n \t<li>default \u2013 discos r\u00e1pidos para recibir datos y realizar el proceso de agregaci\u00f3n, se recomiendan los SSD NVMe.<\/li>\r\n \t<li>Los SSD NVMe son los discos m\u00e1s r\u00e1pidos para recibir datos y realizar el proceso de agregaci\u00f3n.<\/li>\r\n \t<li>caliente \u2013 discos para almacenamiento durante el periodo en el que habr\u00e1 una alta probabilidad de solicitar informes sobre estos datos, normalmente hasta 3 meses.<\/li>\r\n \t<li>fr\u00edos \u2013 discos lentos de gran volumen para el almacenamiento a largo plazo, se recomienda utilizar HDD.<\/li>\r\n \t<li>Discos de gran capacidad.<\/li>\r\n<\/ul>\r\nPer\u00edodo de almacenamiento en cada nivel se establece en la configuraci\u00f3n a trav\u00e9s de GUI. El movimiento de datos entre discos y la limpieza de datos se realiza autom\u00e1ticamente de acuerdo con la configuraci\u00f3n. Tambi\u00e9n hay un mecanismo de control de desbordamiento para proteger la base de datos.\r\n\r\nPara obtener m\u00e1s informaci\u00f3n sobre las ventajas de Stingray Service Gateway y el m\u00f3dulo de an\u00e1lisis QoE, p\u00f3ngase en contacto con VAS Experts. Deje una <a href=\"https:\/\/vasexperts.com\/es\/test-us\/\">solicitud de prueba<\/a> para evaluar objetivamente las capacidades y la funcionalidad del software.\r\n\r\n[subscription id=\u00bb 11987\u2033]Suscr\u00edbete al bolet\u00edn del blog para no perderte nuevos materiales.[\/suscripci\u00f3n].","protected":false},"excerpt":{"rendered":"<p>Los clientes de VAS Experts son operadores de telecomunicaciones que prestan servicios a abonados finales, quienes a su vez generan tr\u00e1fico.<br \/>\nPara gestionar eficazmente este flujo de datos, el equipo de VAS Experts ha desarrollado un sistema de supervisi\u00f3n y an\u00e1lisis del tr\u00e1fico, Stingray Service Gateway (SSG), que permite a los operadores no s\u00f3lo analizar el tr\u00e1fico, sino tambi\u00e9n descargar estad\u00edsticas.  A medida que aumenta el n\u00famero de abonados, los operadores reciben cada vez m\u00e1s datos, lo que complica el proceso de almacenamiento y procesamiento de datos.<\/p>\n<p> En este art\u00edculo estudiaremos en detalle c\u00f3mo se procesa y almacena la informaci\u00f3n en el servidor de estad\u00edsticas SSG &#8211; QoE Stor.<\/p>\n","protected":false},"author":24,"featured_media":10680,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[51,44,55],"tags":[],"class_list":["post-10672","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-dpi","category-quality-of-experience","category-functionality"],"yoast_head":"<!-- This site is optimized with the Yoast SEO plugin v23.1 - https:\/\/yoast.com\/wordpress\/plugins\/seo\/ -->\n<title>VAS Experts<\/title>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"WebPage\",\"@id\":\"https:\/\/vasexperts.com\/blog\/quality-of-experience\/processing-big-data-in-qoe-stor\/\",\"url\":\"https:\/\/vasexperts.com\/blog\/quality-of-experience\/processing-big-data-in-qoe-stor\/\",\"name\":\"[:br]Processamento de Big Data no QoE Stor[:fr]Traitement des donn\u00e9es massives dans le cadre du programme QoE Stor[:es]Procesamiento de macrodatos en QoE Stor[:en]Processing Big Data in QoE Stor[:] - VAS Experts\",\"isPartOf\":{\"@id\":\"https:\/\/vasexperts.com\/#website\"},\"primaryImageOfPage\":{\"@id\":\"https:\/\/vasexperts.com\/blog\/quality-of-experience\/processing-big-data-in-qoe-stor\/#primaryimage\"},\"image\":{\"@id\":\"https:\/\/vasexperts.com\/blog\/quality-of-experience\/processing-big-data-in-qoe-stor\/#primaryimage\"},\"thumbnailUrl\":\"\/wp-content\/uploads\/2024\/05\/frame-29787.jpg\",\"datePublished\":\"2024-05-17T08:00:01+00:00\",\"dateModified\":\"2025-08-11T11:13:36+00:00\",\"author\":{\"@id\":\"https:\/\/vasexperts.com\/#\/schema\/person\/f27674e15c2c6c09c36db4e68f9dd198\"},\"description\":\"In this article we will consider in detail how information is processed and stored in the SSG statistics server - QoE Stor.\",\"breadcrumb\":{\"@id\":\"https:\/\/vasexperts.com\/blog\/quality-of-experience\/processing-big-data-in-qoe-stor\/#breadcrumb\"},\"inLanguage\":\"es\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/vasexperts.com\/blog\/quality-of-experience\/processing-big-data-in-qoe-stor\/\"]}]},{\"@type\":\"ImageObject\",\"inLanguage\":\"es\",\"@id\":\"https:\/\/vasexperts.com\/blog\/quality-of-experience\/processing-big-data-in-qoe-stor\/#primaryimage\",\"url\":\"\/wp-content\/uploads\/2024\/05\/frame-29787.jpg\",\"contentUrl\":\"\/wp-content\/uploads\/2024\/05\/frame-29787.jpg\",\"width\":1000,\"height\":460},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\/\/vasexperts.com\/blog\/quality-of-experience\/processing-big-data-in-qoe-stor\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"\u0413\u043b\u0430\u0432\u043d\u0430\u044f \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0430\",\"item\":\"https:\/\/vasexperts.com\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"Processing Big Data in QoE Stor\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/vasexperts.com\/#website\",\"url\":\"https:\/\/vasexperts.com\/\",\"name\":\"ITGLOBAL.COM\",\"description\":\"(English) VASExperts\",\"inLanguage\":\"es\"},{\"@type\":\"Person\",\"@id\":\"https:\/\/vasexperts.com\/#\/schema\/person\/f27674e15c2c6c09c36db4e68f9dd198\",\"name\":\"Darya Aulova\",\"url\":\"https:\/\/vasexperts.com\/es\/blog\/author\/darya-aulova\/\"}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"VAS Experts","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"WebPage","@id":"https:\/\/vasexperts.com\/blog\/quality-of-experience\/processing-big-data-in-qoe-stor\/","url":"https:\/\/vasexperts.com\/blog\/quality-of-experience\/processing-big-data-in-qoe-stor\/","name":"[:br]Processamento de Big Data no QoE Stor[:fr]Traitement des donn\u00e9es massives dans le cadre du programme QoE Stor[:es]Procesamiento de macrodatos en QoE Stor[:en]Processing Big Data in QoE Stor[:] - VAS Experts","isPartOf":{"@id":"https:\/\/vasexperts.com\/#website"},"primaryImageOfPage":{"@id":"https:\/\/vasexperts.com\/blog\/quality-of-experience\/processing-big-data-in-qoe-stor\/#primaryimage"},"image":{"@id":"https:\/\/vasexperts.com\/blog\/quality-of-experience\/processing-big-data-in-qoe-stor\/#primaryimage"},"thumbnailUrl":"\/wp-content\/uploads\/2024\/05\/frame-29787.jpg","datePublished":"2024-05-17T08:00:01+00:00","dateModified":"2025-08-11T11:13:36+00:00","author":{"@id":"https:\/\/vasexperts.com\/#\/schema\/person\/f27674e15c2c6c09c36db4e68f9dd198"},"description":"In this article we will consider in detail how information is processed and stored in the SSG statistics server - QoE Stor.","breadcrumb":{"@id":"https:\/\/vasexperts.com\/blog\/quality-of-experience\/processing-big-data-in-qoe-stor\/#breadcrumb"},"inLanguage":"es","potentialAction":[{"@type":"ReadAction","target":["https:\/\/vasexperts.com\/blog\/quality-of-experience\/processing-big-data-in-qoe-stor\/"]}]},{"@type":"ImageObject","inLanguage":"es","@id":"https:\/\/vasexperts.com\/blog\/quality-of-experience\/processing-big-data-in-qoe-stor\/#primaryimage","url":"\/wp-content\/uploads\/2024\/05\/frame-29787.jpg","contentUrl":"\/wp-content\/uploads\/2024\/05\/frame-29787.jpg","width":1000,"height":460},{"@type":"BreadcrumbList","@id":"https:\/\/vasexperts.com\/blog\/quality-of-experience\/processing-big-data-in-qoe-stor\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"\u0413\u043b\u0430\u0432\u043d\u0430\u044f \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0430","item":"https:\/\/vasexperts.com\/"},{"@type":"ListItem","position":2,"name":"Processing Big Data in QoE Stor"}]},{"@type":"WebSite","@id":"https:\/\/vasexperts.com\/#website","url":"https:\/\/vasexperts.com\/","name":"ITGLOBAL.COM","description":"(English) VASExperts","inLanguage":"es"},{"@type":"Person","@id":"https:\/\/vasexperts.com\/#\/schema\/person\/f27674e15c2c6c09c36db4e68f9dd198","name":"Darya Aulova","url":"https:\/\/vasexperts.com\/es\/blog\/author\/darya-aulova\/"}]}},"_links":{"self":[{"href":"https:\/\/vasexperts.com\/es\/wp-json\/wp\/v2\/posts\/10672"}],"collection":[{"href":"https:\/\/vasexperts.com\/es\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/vasexperts.com\/es\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/vasexperts.com\/es\/wp-json\/wp\/v2\/users\/24"}],"replies":[{"embeddable":true,"href":"https:\/\/vasexperts.com\/es\/wp-json\/wp\/v2\/comments?post=10672"}],"version-history":[{"count":12,"href":"https:\/\/vasexperts.com\/es\/wp-json\/wp\/v2\/posts\/10672\/revisions"}],"predecessor-version":[{"id":12784,"href":"https:\/\/vasexperts.com\/es\/wp-json\/wp\/v2\/posts\/10672\/revisions\/12784"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/vasexperts.com\/es\/wp-json\/wp\/v2\/media\/10680"}],"wp:attachment":[{"href":"https:\/\/vasexperts.com\/es\/wp-json\/wp\/v2\/media?parent=10672"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/vasexperts.com\/es\/wp-json\/wp\/v2\/categories?post=10672"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/vasexperts.com\/es\/wp-json\/wp\/v2\/tags?post=10672"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}