Previous incidents

Procedimentos finalizados. Plataforma normalizada.

Monitoramento e testes confirmam normalização das falhas.

A causa inicial do incidente está em investigação.

CRM normalizado.

[Post-Mortem - Incidente de indisponibilidade de serviços]

Com este post-mortem, queremos fornecer uma compreensão completa do ocorrido na data de hoje, que causou uma interrupção dos nossos serviços. Queremos assegurar a nossos clientes que já tomamos medidas necessárias para prevenir tal problema e para melhorar a nossa resposta em futuras ocorrências.

RESUMO

Data & Hora: 12 de Novembro
Hora inicial: 04:30pm GMT-3
Horário de Resolução: 04:5...

Correção aplicada, todos os serviços foram normalizados.

Identificamos a causa raiz das falhas.

O mecanismo responsável por iniciar e preparar as instâncias às 7h45 apresentou problemas, o que impediu o escalonamento preventivo adequado da estrutura. Aplicamos um patch ao script e, após testes, confirmamos que a falha foi solucionada.

Revisamos todos os aspectos e, com a correção implementada, garantimos que o problema não ocorrerá novamente no futuro.

Pedimos desculpas pela indisponibilidade e pelos transtornos causados. Reforçamos nosso compro...

Procedimentos executados e finalizados com sucesso. Plataforma 100% operacional.

A situação foi solucionada na causa raiz porém como o processo de propagação é demorado, caso você ainda esteja tendo algum problema com o acesso ao 3C Plus, sugerimos uma das seguintes soluções:

1. Configure seu computador para utilizar o servidor de DNS do Google 8.8.8.8 ou da CloudFlare: 1.1.1.1, estes serviços são atualizados mais rapidamente e já estão propagados com a informação correta desde as 14h30 aproximadamente.
2. Entre em contato com seu provedor de DNS e solicite que ele atual...

Procedimento concluído.

Procedimentos finalizados.

Após investigação e identificação das falhas o nosso time conseguiu realizar a correção do problema e a rota Extensions voltou a funcionar corretamente.

Identificamos e corrigimos o problema.

Acabamos de enviar uma correção para invalidar o endpoint que estava recebendo a sobrecarga. O front foi novamente atualizado para utilizar a endpoint nova do api/v1/agent/connect_novo (temporária). Enquanto a endpoint api/v1/agent/connect foi invalidada.

Usuários precisam atualizar a página para obterem a nova versão corrigida do front-end e conseguirem utilizar o sistema normalmente a partir de agora.

Identificamos também em nosso monitoramento que a carga de trabalho no back-end normaliz...

Identificamos a causa do problema e já o corrigimos diretamente na raiz da falha.

Causa identificada: O serviço de APM e monitoramento utilizado apresentou degradação de performance e afetou o tempo de execução das instancias de API BackEnd.

Correção imediata adotada: Aplicado ajuste nas configurações do serviço de APM e Monitoramento, normalizando completamente os serviços.