Falha corrigida.

Correção realizada. Plataforma normalizada.

📝 Post-mortem — Desconexões de Usuários na Plataforma

Data: 14/04/2025

Horário: 15:09 – 15:14 (GMT-3)

Resumo do Incidente

No dia 14/04, entre 15h09 e 15h14, identificamos desconexões inesperadas de usuários em nossa plataforma, impactando os seguintes serviços:

• Back-end API
  
• Vox - Back-end CLI
  
• Controle de Telefonia
  
• Telefonia - Agentes
  
• Telefonia - Ligações

Causa Identificada

Durante a investigação, constatamos que o limite de conexões simu...

Processo concluído. Estamos monitorando para garantir normalização completa.

O recebimento de mensagens e as atualizações de status das mensagens enviadas (ACK) foram normalizados.

Informamos que nosso monitoramento após ajustes aplicados mostra normalização completa de todos os serviços. Nossa equipe segue monitorando tudo em tempo real.

Estamos monitorando e iniciando processo de investigação mais profundo neste momento.

Confirmamos após monitoramento que todos os serviços foram completamente restabelecidos. A causa raiz do problema foi solucionada. Além do monitoramento contínuo, nenhuma ação futura será necessária para este incidente.

Foi identificado a causa raiz do problema e corrigido.
Tela de chats normalizado.

Postmortem – Falha na Geração de Ligações

Data do incidente: 01 de março de 2025
Duração: 07:59 – 08:39 GMT-3
Status: Resolvido

Resumo do Incidente

Na manhã do dia 01 de março, identificamos uma falha que impedia a geração de ligações na plataforma. As chamadas que foram iniciadas não foram corretamente processadas, impactando a operação.

Causa Raiz

A investigação apontou que o problema teve origem nas atualizações automáticas do Google Kubernetes Engine (GKE), onde nosso cluster e...

A capacidade de processamento da infraestrutura foi aumentada, os eventos acumulados foram processados e o tempo de recebimento de mensagens, assim como a atualização do status das mensagens enviadas, foi normalizado.

Post-mortem – Incidente de abandono de ligações (24/fev)

A seguir apresentamos um resumo cronológico do incidente, as ações tomadas e o tempo total de indisponibilidade identificado.

Tempo total de indisponibilidade

Somando os três períodos identificados de efetiva indisponibilidade:

• 1º Período 11h20–11h29: 9 minutos
  
• 2º Período 11h42–11h46: 4 minutos
  
• 3º Período 15h22–15h26: 4 minutos
  

Total: ~17 minutos de indisponibilidade.

Causa raiz e ...

Concluímos a correção para normalização da falha.
Estamos agora iniciando testes e monitorando o sistema para garantir que está tudo solucionado.

Após investigações, encontramos uma possível causa para o problema enfrentado. Estamos atuando nela neste momento. As correções serão aplicadas ao ambiente sem impactos previstos.

Enfrentamos uma instabilidade em nosso sistema decorrente de um súbito aumento no tráfego de usuários. Este incremento inesperado de acessos não permitiu tempo hábil para a escalabilidade dos componentes necessários, culminando na ocorrência de um erro 500 em nossa plataforma.

O incidente foi prontamente identificado e as medidas necessárias foram tomadas para mitigar o impacto aos nossos usuários. Nossa equipe técnica está empenhada em monitorar continuamente o ambiente, a fim de assegurar ...

As instabilidades no processamento de requisições da API foram totalmente resolvidas. Após uma investigação detalhada, identificamos a causa raiz do problema, relacionada a limitações nas configurações que impactavam o processamento de grandes volumes de requisições paralelas.

Realizamos ajustes específicos nessas configurações, o que permitiu otimizar a capacidade de processamento do microsserviço de back-end. As melhorias foram aplicadas com sucesso e, desde então, o sistema opera de forma...