Requisitos por faixa
1. Ambiente Distribuído (Produtivo)
A arquitetura distribuída da Plataforma Simon é composta por diferentes tipos de instâncias balanceadas entre Inventário, AIOps e APM (Application Performance Monitoring). O dimensionamento a seguir define as configurações mínimas recomendadas para ambientes produtivos, considerando a quantidade de Itens de Configuração (CIs) e o equilíbrio entre performance, escalabilidade e custo.
1.1 Tabela de Sizing — Balanceada entre Inventário / AIOps / APM
Faixa (Itens de Configuração) | MASTER-NODE | DB-WORKER | ATOM-WORKER | APM-WORKER |
|---|---|---|---|---|
1 – 1.000 | 12 vCPU / 24 GB / 200 GB | 8 vCPU / 16 GB / 500 GB | 4 vCPU / 8 GB / 100 GB | Opcional — 4 vCPU / 8 GB / 1 TB SSD/NVMe |
1.001 – 3.000 | 16 vCPU / 24 GB / 300 GB | 8 vCPU / 24 GB / 500 GB | 8 vCPU / 16 GB / 100 GB | 1x 8 vCPU / 16 GB / 2 TB SSD/NVMe |
3.001 – 5.000 | 16 vCPU / 24 GB / 300 GB | 8 vCPU / 32 GB / 1 TB | 12 vCPU / 16 GB / 100 GB | 1x 8 vCPU / 16 GB / 2 TB SSD/NVMe |
5.001 – 10.000 | 18 vCPU / 32 GB / 300 GB | 16 vCPU / 64 GB / 2 TB | 2x 8 vCPU / 16 GB / 100 GB | 1x 16 vCPU / 24 GB / 2 TB SSD/NVMe |
10.001 – 15.000 | 18 vCPU / 48 GB / 300 GB | 16 vCPU / 64 GB / 3 TB | 3x 8 vCPU / 16 GB / 100 GB | 2x 16 vCPU / 24 GB / 2 TB SSD/NVMe |
15.001 – 20.000 | ≥ 24 vCPU / 64 GB / 400 GB | ≥ 24 vCPU / 128 GB / 4 TB | ≥ 3x 8 vCPU / 16 GB / 100 GB | 3x 16 vCPU / 24 GB / 2 TB SSD/NVMe |
> 20.000 | Cluster Multi-Master | Cluster Distribuído (Storage Dedicado) | Sob medida | Cluster Distribuído (Storage Dedicado) |
1.2 Descrição dos Componentes
- MASTER-NODE: coordena a orquestração dos fluxos cognitivos, processamento de IA e automação.
- Recomendado utilizar disco SSD para agilidade em operações de cache e logs.
- DB-WORKER: executa operações analíticas e armazenamento em banco de dados (ClickHouse).
- Deve priorizar desempenho de I/O e espaço, sendo recomendado disco NVMe para ambientes acima de 5.000 CIs.
- ATOM-WORKER: responsável por rotinas de coleta, inventário e descoberta de rede (SNMP, Ping, etc.).
- Exige processamento moderado e boa conectividade de rede.
- APM-WORKER: processa métricas, traces e logs de aplicações.
- É o componente mais intensivo em disco, sendo recomendado NVMe de alta velocidade.
- Pode operar de forma independente ou escalada horizontalmente por pontos de dados coletados.
2. Dimensionamento APM por Pontos de Dados
O módulo APM (Application Performance Monitoring) é responsável pela coleta contínua de métricas e telemetria de aplicações. Devido à natureza de alta ingestão de dados, o seu dimensionamento é baseado na métrica de Pontos de Dados Coletados por Hora (pph) e na retenção de histórico.
2.1 Capacidade Base
Parâmetro | Valor Padrão |
|---|---|
Capacidade inicial suportada | Até 1.000.000 pontos/hora (pph) |
Configuração base | 1 APM-WORKER (4–8 vCPU / 8–16 GB / 1–2 TB NVMe) |
Retenção típica | 15 a 30 dias |
Escalabilidade | Horizontal (adição de novos APM-WORKERs) |
Métrica de cálculo | pph (pontos de dados coletados por hora) |
O primeiro nível (até 1.000 CIs) já suporta 1 milhão de pontos por hora, mantendo retenção de até 15 dias em disco NVMe local.
2.2 Estimativa de Armazenamento
Considerando 1,5 KB por ponto de dado (dados + índices + overhead de compressão):
Pontos por Hora (pph) | Pontos por Dia | Armazenamento 15 dias | Armazenamento 30 dias |
|---|---|---|---|
1.000.000 | 24.000.000 | ~540 GB | ~1,1 TB |
3.000.000 | 72.000.000 | ~1,6 TB | ~3,2 TB |
5.000.000 | 120.000.000 | ~2,7 TB | ~5,4 TB |
10.000.000 | 240.000.000 | ~5,4 TB | ~10,8 TB |
Fórmula de referência: Disco (TB) ≈ (pph × 24 × dias × 1,5 KB) / 10^12 × 1,2 (+20% de folga para picos e reprocessamentos)
2.3 Escalonamento Horizontal
Volume APM (pph) | APM-WORKERs (mín.) | CPU/Mem por nó | Disco total sugerido (30 dias) |
|---|---|---|---|
até 1M | 1 | 4–8 vCPU / 8–16 GB | 1–2 TB NVMe |
1–3M | 2–3 | 8 vCPU / 16 GB | 3–5 TB |
3–5M | 3–5 | 8–16 vCPU / 16 GB | 5–8 TB |
5–10M | 5–10 | 16 vCPU / 24 GB | 10–20 TB |
>10M | Sob consulta | Dimensionamento dedicado | Object storage + tiering |
2.4 Diretrizes Técnicas
- I/O é o principal gargalo — priorizar NVMe de alta taxa de leitura e escrita.
- CPU escala conforme a complexidade das análises, não o volume bruto de dados.
- Downsampling e retention policies são fundamentais para manter custos e performance.
- Armazenamento em camadas (Tiering):
- Hot (NVMe local): dados recentes (0–7 dias).
- Warm/Cold (S3, MinIO ou Ceph): dados históricos.
- Expansão linear: cada novo APM-WORKER adiciona cerca de +1M pph de capacidade.
2.5 Observações Finais
- O APM pode ser configurado conforme o tipo de contrato ou necessidade operacional.
- Em ambientes exclusivamente de Inventário e AIOps, o APM-WORKER é opcional.
- Para projetos com alto volume transacional (telemetria, logs, métricas contínuas), recomenda-se mensuração por pontos de dados coletados ao invés do número de CIs.
- Ambientes com retention maior que 30 dias devem considerar object storage distribuído.