📑 Post-Mortem – Instabilidades 3C Plus

1. Contexto

Nos últimos dias, a plataforma 3C Plus apresentou uma sequência de instabilidades que impactaram a disponibilidade dos serviços de originação de chamadas, operação de agentes e acesso ao sistema.

Durante todo o período, nosso time esteve 100% focado na identificação, diagnóstico e solução dos problemas. Não medimos esforços: investigamos profundamente cada sintoma, revisamos logs, métricas de sistema e infraestrutura, e aplicamos aju...

Identificamos que o volume de chamadas normalizou.

Procedimento concluído. Serviços normalizados.

Hoje, dia 22/08/2025, houve uma instabilidade na plataforma, entre às 9h30 e 16h05, causando oscilação nas ligações. Isso pode ter afetado a performance e a produtividade dos usuários. A oscilação foi causada por uma sobrecarga em um dos nossos bancos de dados. A causa foi encontrada e uma correção foi feita. Seguimos monitorando.

Foi identificada e resolvida a falha que afetava o acesso à plataforma, principalmente no Omnichannel 3C.

Identificamos uma instabilidade que está causando lentidão nos acessos ao sistema 3C Plus. Esta lentidão está dificultando o acesso correto à plataforma. Nossa equipe está investigando a causa para normalizar o serviço o quanto antes.

A falha que impedia o carregamento da tela do Omnichannel foi identificada e resolvida.

Medidas paliativas foram adotadas para normalização dos serviços.
Uma manutenção será realizada as 12h15.

A operação foi restabelecida e o sistema voltou a funcionar normalmente. Identificamos uma falha no provedor da API do WhatsApp, que ocasionou a perda de conexões com as instâncias ativas, resultando em falhas no envio e recebimento de mensagens e lentidão.

Identificamos que multiplas instancias de Telefonia - Agentes sofreram reinicialização devido à uma falha interna em nosso cluster. Já identificamos e tratamos a causa do problema e estamos monitorando neste momento a normalização completa dos serviços.

Falha normalizada.

Identificamos uma instabilidade que está resultando em abandono de chamadas mesmo com agentes disponíveis em algumas empresas. Este problema pode impactar o fluxo de chamadas e a produtividade. Nossa equipe está investigando a causa para normalizar o serviço o quanto antes.

Identificamos e tratamos a instabilidade que causava lentidão na originação das ligações da discadora. Estamos monitorando o sistema e constatamos que, desde as 10h50, o problema foi completamente solucionado.

Após investigação identificamos que a plataforma 3C+ não foi afetada, a falha ocorreu em alguns provedores de telefonia que não estavam respondendo às requisições de ligação

Ocorreu uma falha no sistema que resultou em problemas no recebimento e no envio de mensagens. A equipe identificou e corrigiu o problema, e o serviço foi restabelecido com sucesso.

Falhas remanescentes foram identificadas e corrigidas, plataforma está novamente respondendo e operando corretamente em todas as suas funcionalidades.

Após rápida investigação, a causa raiz do problema foi identificada. Correção realizada e monitoramento confirma normalização do problema. A falha causou reinicialização de instancias de RTP Proxies responsáveis pela mídia dos agentes, causando desconexão de alguns usuários devido à deteção de rtptimeout.

Ultimos ajustes realizados. Monitoramento apresenta normalização.

Interrupção de Atualizações em Tempo Real
Data: 30 jun 2025
Duração: aproximadamente 27 min
Impacto: Telas de clientes deixaram de exibir dados em tempo real.

Visão geral
Na manhã de 30 de junho, um incidente afetou brevemente o módulo responsável por entregar atualizações em tempo real aos clientes. A capacidade de processamento reduziu‐se além do limiar necessário para manter a taxa normal de mensagens, resultando em atraso e falha de exibição dos dados.

Linha do tempo resumida
Horário (B...

Ações Imediatas

• Isolamento da causa em cada incidente.
• Ajustes operacionais para restabelecer o tráfego normal de chamadas.
• Comunicação direta com clientes impactados durante os eventos.
• Manutenção realizada corrigiu o problema de originação Seg 23/06/2025 12:15.
• Ajustes para solucionar a oscilação no completamento de chamadas está em andamento.

Status Atual

Neste momento todos os serviços encontram‑se estáveis e operando dentro dos parâmetros usuais.

Hoje, às 09:50, após a liberação de uma nova versão de uma de nossas aplicações, uma query específica começou a aumentar gradualmente a carga em nosso banco de dados. Esse crescimento não foi detectado imediatamente por nossos alertas de integridade.

Às 10:25, recebemos os primeiros relatos de clientes sobre baixa agressividade no mailing. Devido ao feriado, o sistema operava com um limite reduzido de ligações (10:1 / 15:1). Ao retornarmos ao limite normal (30:1), o impacto no banco de dados...

Página de status GCP: https://status.cloud.google.com/
Página de status Cloudflare: https://www.cloudflarestatus.com/

Apesar das informações oficiais do Google e Cloudflare ainda persistirem os problemas, nossos testes e monitoramento internos demonstraram normalização da plataforma 3C Plus.

Estamos monitorando e atualizaremos em caso de novas oscilações sejam percebidas.

Serviços normalizados. Estamos monitorando.