A capacidade de processamento da infraestrutura foi aumentada, os eventos acumulados foram processados e o tempo de recebimento de mensagens, assim como a atualização do status das mensagens enviadas, foi normalizado.

Post-mortem – Incidente de abandono de ligações (24/fev)

A seguir apresentamos um resumo cronológico do incidente, as ações tomadas e o tempo total de indisponibilidade identificado.

Tempo total de indisponibilidade

Somando os três períodos identificados de efetiva indisponibilidade:

• 1º Período 11h20–11h29: 9 minutos
  
• 2º Período 11h42–11h46: 4 minutos
  
• 3º Período 15h22–15h26: 4 minutos
  

Total: ~17 minutos de indisponibilidade.

Causa raiz e ...

Concluímos a correção para normalização da falha.
Estamos agora iniciando testes e monitorando o sistema para garantir que está tudo solucionado.

Após investigações, encontramos uma possível causa para o problema enfrentado. Estamos atuando nela neste momento. As correções serão aplicadas ao ambiente sem impactos previstos.

Enfrentamos uma instabilidade em nosso sistema decorrente de um súbito aumento no tráfego de usuários. Este incremento inesperado de acessos não permitiu tempo hábil para a escalabilidade dos componentes necessários, culminando na ocorrência de um erro 500 em nossa plataforma.

O incidente foi prontamente identificado e as medidas necessárias foram tomadas para mitigar o impacto aos nossos usuários. Nossa equipe técnica está empenhada em monitorar continuamente o ambiente, a fim de assegurar ...

As instabilidades no processamento de requisições da API foram totalmente resolvidas. Após uma investigação detalhada, identificamos a causa raiz do problema, relacionada a limitações nas configurações que impactavam o processamento de grandes volumes de requisições paralelas.

Realizamos ajustes específicos nessas configurações, o que permitiu otimizar a capacidade de processamento do microsserviço de back-end. As melhorias foram aplicadas com sucesso e, desde então, o sistema opera de forma...

Nosso time está investigando a causa das falhas que foram identificadas em alguns usuários e clientes mas não foram automaticamente detectadas por nosso monitoramento e sistemas de health-check.

POSTMORTEM: Abandono Indevido de Ligações - 28 de Janeiro

Resumo do Incidente

• Incidente: Abandono Indevido de Ligações
  
• Primeira Identificação: 28 Jan, 10:06am GMT-3
  
• Serviços Afetados:
  
  • Socket Realtime
    
  • Controle de Telefonia
    
  • Telefonia - Agentes
    
  • Telefonia - Ligações
    
• Resolução Final: 28 Jan, 04:31pm GMT-3
  

Indisponibilidades Totais Durante o Período

1. 28 Jan, 10:06am - 10:10am → 4 minutos
   
2. **28 Jan, 11:1...

Visão Geral do Incidente

Nos dias recentes, a plataforma 3C Plus experienciou instabilidades significativas que resultaram em downtime. Foi observado um grande volume de chamadas sendo abandonadas, apesar da disponibilidade de agentes para atender a essas chamadas. Este relatório visa documentar as causas, impactos e medidas corretivas adotadas para resolver a situação.

Descrição do Incidente

• Datas dos Incidentes: Dois dias consecutivos 21 e 22 de Janeiro de 2024
• Horários dos Picos...

Visão Geral do Incidente

Nos dias recentes, a plataforma 3C Plus experienciou instabilidades significativas que resultaram em downtime. Foi observado um grande volume de chamadas sendo abandonadas, apesar da disponibilidade de agentes para atender a essas chamadas. Este relatório visa documentar as causas, impactos e medidas corretivas adotadas para resolver a situação.

Descrição do Incidente

• Datas dos Incidentes: Dois dias consecutivos 21 e 22 de Janeiro de 2024
• Horários dos Picos...

Procedimento de normalização finalizado.
Todos os serviços foram restabelecidos.

A API da META retornou, porém com certa lentidão

O monitoramento continua demonstrando que a plataforma está totalmente normalizada após a instabilidade.

Nossa equipe está alocada na investigação da causa inicial do problema que ocorreu.

Até o momento, verificamos que o Cluster GKE sofreu eventos de atualização e estamos buscando mais informações sobre o que iniciou esse processo.

Durante a fase de atualização, o cluster deixa de disponibilizar micro-serviços utilizados para a descoberta de instâncias ativas, necessários para o correto f...

Testes realizados e todos os serviços foram normalizados.