No components marked as affected
Write-up published
Resolved
Verificamos alguns comportamentos inadequados no funcionamento do indexador e ao realizar uma manutenção para acertar este comportamento acabamos enviando uma carga muito acima do esperado para a API do catálogo, impossibilitando a mesma de realizar o escalonamento em tempo hábil.
Para evitar que este incidente ocorra novamente criamos um processo para manutenção do indexador que evita que essa carga acumulada vá diretamente para a API do catálogo, evitando assim novas quedas devido a este problema.
Lamentamos os problemas que foram causados devido a essa instabilidade e reforçamos nosso compromisso em documentar e realizar as ações pare evitar que este incidente ocorra novamente.
Resolved
O sistema foi restabelecido, as causas e medidas tomadas serão estudadas e detalhadas em um post-mortem.
Monitoring
Após intervenção manual os sistemas foram restabelecidos. Uma investigação mais detalhada será realizada e maiores detalhes serão informados no post mortem.
Identified
Um dos sistemas teve um comportamento inesperado no escalonamento dos recursos necessários para o horário. A equipe esta efetuando as alterações necessárias para o restabelecimento dos sistemas.
Investigating
Estamos investigando um aumento de erros retornados pelo catálogo.