Post-Mortem: Incidentes de Sistema - 18-19 de Setembro de 2025

Período dos Incidentes: 18-19 de setembro de 2025

Duração Total Combinada: 4h31min

Status: AMBOS INCIDENTES RESOLVIDOS

Manutenção Preventiva: ID 727380 - 21/09/2025 23h30-07h30

Resumo Executivo

Entre 18 e 19 de setembro de 2025, nossa plataforma enfrentou dois incidentes críticos completamente independentes com causas raiz distintas. Após investigação rigorosa, **ambas as situações foram ...

Foi identificada uma sobrecarga em um de nossos bancos de dados. Nossa equipe técnica já aplicou as medidas corretivas necessárias para mitigar o impacto e restaurar a operação plena do serviço.

Todos os serviços estão estáveis novamente. Seguimos monitorando.

Recebimento de mensagens e atualização de status das mensagens enviado foram restabelecidos.

Identificamos uma oscilação no uso de CPU em um de nossos bancos de dados.

Volume de ligações normalizado. Seguimos investigando as possíveis causas do problema.

A instabilidade que causava lentidão no 3C Plus — afetando a abertura de fichas e a realização de chamadas — foi resolvida. Nossa equipe continua investigando as causas para evitar recorrências.

Identificamos e resolvemos o problema de atualização em tempo real das mensagens, assim como a falha intermitente na criação de novos chats. O erro foi localizado no frontend do projeto, que não estava processando corretamente os eventos recebidos via WebSocket.

Resumo do Incidente - Indisponibilidade Temporária do Serviço

Período: 15h45 - 16h03 (18 minutos)
Status: Resolvido
Impacto: Interrupção completa do serviço

O que aconteceu

Durante o período informado, nossos usuários experimentaram uma indisponibilidade completa do serviço devido a uma sobrecarga em componente crítico de nossa infraestrutura responsável pelo processamento de tarefas em segundo plano.

Ação tomada

Nossa equipe executou imediatamente os procedimentos emergenciais padr...

Resumo do Incidente – 01/09/2025

Hoje tivemos instabilidades em nossa plataforma em três momentos distintos:

• 09h37–09h40
• 09h48–09h51
• 13h46–13h55

Durante esses períodos, houve interrupção no funcionamento da telefonia, impactando chamadas em andamento e disponibilidade de agentes.

A causa foi uma falha de configuração que afetou a estabilidade de um dos componentes da infraestrutura. A configuração foi corrigida e o sistema foi restabelecido às 13h55.

Após monitoramento, o inciden...

📑 Post-Mortem – Instabilidades 3C Plus

1. Contexto

Nos últimos dias, a plataforma 3C Plus apresentou uma sequência de instabilidades que impactaram a disponibilidade dos serviços de originação de chamadas, operação de agentes e acesso ao sistema.

Durante todo o período, nosso time esteve 100% focado na identificação, diagnóstico e solução dos problemas. Não medimos esforços: investigamos profundamente cada sintoma, revisamos logs, métricas de sistema e infraestrutura, e aplicamos aju...

Identificamos que o volume de chamadas normalizou.

Procedimento concluído. Serviços normalizados.

Hoje, dia 22/08/2025, houve uma instabilidade na plataforma, entre às 9h30 e 16h05, causando oscilação nas ligações. Isso pode ter afetado a performance e a produtividade dos usuários. A oscilação foi causada por uma sobrecarga em um dos nossos bancos de dados. A causa foi encontrada e uma correção foi feita. Seguimos monitorando.

Foi identificada e resolvida a falha que afetava o acesso à plataforma, principalmente no Omnichannel 3C.

Identificamos uma instabilidade que está causando lentidão nos acessos ao sistema 3C Plus. Esta lentidão está dificultando o acesso correto à plataforma. Nossa equipe está investigando a causa para normalizar o serviço o quanto antes.

A falha que impedia o carregamento da tela do Omnichannel foi identificada e resolvida.

Medidas paliativas foram adotadas para normalização dos serviços.
Uma manutenção será realizada as 12h15.

A operação foi restabelecida e o sistema voltou a funcionar normalmente. Identificamos uma falha no provedor da API do WhatsApp, que ocasionou a perda de conexões com as instâncias ativas, resultando em falhas no envio e recebimento de mensagens e lentidão.

Identificamos que multiplas instancias de Telefonia - Agentes sofreram reinicialização devido à uma falha interna em nosso cluster. Já identificamos e tratamos a causa do problema e estamos monitorando neste momento a normalização completa dos serviços.

Falha normalizada.

Identificamos uma instabilidade que está resultando em abandono de chamadas mesmo com agentes disponíveis em algumas empresas. Este problema pode impactar o fluxo de chamadas e a produtividade. Nossa equipe está investigando a causa para normalizar o serviço o quanto antes.

Identificamos e tratamos a instabilidade que causava lentidão na originação das ligações da discadora. Estamos monitorando o sistema e constatamos que, desde as 10h50, o problema foi completamente solucionado.

Após investigação identificamos que a plataforma 3C+ não foi afetada, a falha ocorreu em alguns provedores de telefonia que não estavam respondendo às requisições de ligação

Ocorreu uma falha no sistema que resultou em problemas no recebimento e no envio de mensagens. A equipe identificou e corrigiu o problema, e o serviço foi restabelecido com sucesso.

Falhas remanescentes foram identificadas e corrigidas, plataforma está novamente respondendo e operando corretamente em todas as suas funcionalidades.

Após rápida investigação, a causa raiz do problema foi identificada. Correção realizada e monitoramento confirma normalização do problema. A falha causou reinicialização de instancias de RTP Proxies responsáveis pela mídia dos agentes, causando desconexão de alguns usuários devido à deteção de rtptimeout.

Ultimos ajustes realizados. Monitoramento apresenta normalização.