Previous incidents

Procedimento de reinicialização concluído. Sistema normalizado.

Plataforma normalizada.
Estamos monitorando todos os serviços após a normalização.

Esta instabilidade ocorrida evidenciou o ponto de falha que vinha causando os últimos travamentos percebidos na ultima semana. Ajustes definitivos foram aplicados e com eles esperamos ter solucionado completamente a causa para este problema. Seguimos monitorando todas as camadas de nossos serviços visando manter nosso Acordos de Nível de Serviço (SLAs) cada vez maiores.

Procedimentos de correção foram finalizados, monitoramento acusa total normalização de todos os componentes da plataforma 3C Plus.

Realizado rollback e reversão da alteração para normalização da integração com a plataforma que foi afetada.

Todos os procedimentos foram realizados e a plataforma está novamente 100% operacional.

Correções no CRM foram finalizadas.

Identificamos a causa raiz do problema como sendo sobrecarga em um dos nós responsáveis pelo armazenamento de histórico de ligações e bases de mailing da plataforma. Restabelecemos rapidamente os serviços e iremos realizar ajustes para prevenir que essa queda volte à ocorrer na data de hoje a partir das 22h.

Identificamos a causa da lentidão como sendo demora em algumas consultas em nossa infra CloudSQL, apesar de já normalizado, realizamos todos ajustes de otimização de performance necessários para garantir que a falha não aconteça novamente.

Após desativarmos o disparo de webhooks, observamos que não ocorreram mais instabilidades. Continuaremos a investigar a causa para restaurar essa funcionalidade o mais rápido possível.