[Post-Mortem - Incidente de indisponibilidade de serviços]

Com este post-mortem, queremos fornecer uma compreensão completa do ocorrido na data de hoje, que causou uma interrupção dos nossos serviços. Queremos assegurar a nossos clientes que já tomamos medidas necessárias para prevenir tal problema e para melhorar a nossa resposta em futuras ocorrências.

RESUMO

Data & Hora: 12 de Novembro
Hora inicial: 04:30pm GMT-3
Horário de Resolução: 04:55pm GMT-3
Duração Total: 25 minutos
Serviço afetado: Back-end da plataforma

DESCRIÇÃO

Em 12 de Novembro, nosso backend ficou indisponível por aproximadamente 25 minutos, causando a resposta de ERRO HTTP 503 para nossos clientes. Isso foi causado por uma aplicação incorreta de uma configuração de ambiente do tipo configmap no ambiente.

RESOLUÇÃO

Depois de identificarmos o problema, iniciamos imediatamente um procedimento de limpeza e reinicialização da plataforma. Após a plicação da configuração certa, a plataforma ficou normalizada por volta das 04:50pm GMT-3 e pelos nossos monitoramentos e feedback dos clientes, confirmamos a normalização completo dos serviços às 04:55pm GMT-3.

AÇÕES DE PREVENÇÃO

Este incidente foi uma situação única, sendo a primeira vez que este determinado erro aconteceu. Apesar disso, eventos como este nos permitem melhorar nossos processos e sistemas.

Embora já tenhamos encerrado este incidente, continuaremos a monitorar nossa plataforma para prevenir futuros incidentes semelhantes. Pedimos desculpas por qualquer inconveniente causado, e agradecemos a sua paciência enquanto trabalhamos para corrigir o problema e prevenir a recorrência deste tipo de incidente no futuro.

Nosso monitoramento acusa normalidade. Estamos realizando testes internamente e recebendo feedbacks dos clientes para garantirmos normalização e restabelecimento completo dos serviços.

Plataforma normalizada.

Reinicialização em reta final. Plataforma será normalizada dentro de instantes.

Previsão atualizada 16h47.

Reinicialização ainda em curso. Estamos aguardando o upload dos dados antes de finalizar os serviços.

Nova previsão: 16h45

Procedimento de reinicialização iniciado.
Previsão de normalização 16h40.

Identificamos a causa do problema e estamos trabalhando na solução definitiva.
Inciaremos em instantes o procedimento de limpeza e reinicialização da plataforma.

Previsão para completa normalização às 16h40.

Identificamos que o back-end da plataforma está indisponível e retornando ERRO HTTP 503.
Estamos tratando a falha com máxima prioridade e urgência neste momento.