{"id":86926,"date":"2022-04-13T01:03:52","date_gmt":"2022-04-13T03:03:52","guid":{"rendered":"https:\/\/teknomers.com\/fr\/reprise-apres-sinistre-interregionale-avec-elasticsearch\/"},"modified":"2022-04-13T01:03:52","modified_gmt":"2022-04-13T03:03:52","slug":"reprise-apres-sinistre-interregionale-avec-elasticsearch","status":"publish","type":"post","link":"https:\/\/teknomers.com\/fr\/reprise-apres-sinistre-interregionale-avec-elasticsearch\/","title":{"rendered":"Reprise apr\u00e8s sinistre interr\u00e9gionale avec Elasticsearch"},"content":{"rendered":"


\n<\/p>\n

\n
\"Reprise<\/div>\n

Sans surprise, ici \u00e0 Rembobiner<\/a>, nous avons beaucoup de donn\u00e9es \u00e0 prot\u00e9ger (plus de 2 p\u00e9taoctets). L’une des bases de donn\u00e9es que nous utilisons s’appelle Elasticsearch (ES ou Opensearch, comme on l’appelle actuellement dans AWS). Pour le dire simplement, ES est une base de donn\u00e9es de documents qui facilite les r\u00e9sultats de recherche ultra-rapides. La rapidit\u00e9 est essentielle lorsque les clients recherchent un fichier ou un \u00e9l\u00e9ment particulier qu’ils doivent restaurer \u00e0 l’aide de Rembobiner<\/a>. Chaque seconde d’indisponibilit\u00e9 compte, c’est pourquoi nos r\u00e9sultats de recherche doivent \u00eatre rapides, pr\u00e9cis et fiables.<\/p>\n

Une autre consid\u00e9ration \u00e9tait le d\u00e9sastre r\u00e9cup\u00e9ration<\/a>. Dans le cadre de notre Contr\u00f4les du syst\u00e8me et de l’organisation niveau 2 (SOC2)<\/a> processus de certification, nous devions nous assurer que nous disposions d’un plan de reprise apr\u00e8s sinistre fonctionnel pour restaurer le service dans le cas peu probable o\u00f9 toute la r\u00e9gion AWS serait en panne.<\/p>\n

\u00ab Une r\u00e9gion AWS enti\u00e8re ?? Cela n’arrivera jamais ! (\u00c0 l’exception de quand c’est arriv\u00e9<\/a>) <\/p>\n

Tout est possible, les choses tournent mal, et pour r\u00e9pondre \u00e0 nos exigences SOC2, nous avions besoin d’une solution fonctionnelle. Plus pr\u00e9cis\u00e9ment, nous avions besoin d’un moyen de r\u00e9pliquer les donn\u00e9es de nos clients de mani\u00e8re s\u00e9curis\u00e9e, efficace et rentable dans une autre r\u00e9gion AWS. La r\u00e9ponse \u00e9tait de faire ce que Rewind fait si bien – faire une sauvegarde\u00a0!<\/p>\n

D\u00e9couvrons comment fonctionne Elasticsearch, comment nous l’avons utilis\u00e9 pour sauvegarder des donn\u00e9es en toute s\u00e9curit\u00e9 et notre processus actuel de reprise apr\u00e8s sinistre.<\/p>\n

Instantan\u00e9s<\/strong><\/h2>\n

Tout d’abord, nous aurons besoin d’une le\u00e7on de vocabulaire rapide. Les sauvegardes dans ES sont appel\u00e9es instantan\u00e9s<\/em>. Les instantan\u00e9s sont stock\u00e9s dans un r\u00e9f\u00e9rentiel d’instantan\u00e9s<\/em>. Il y a plusieurs types de r\u00e9f\u00e9rentiels d’instantan\u00e9s<\/a>, dont un soutenu par AWS S3. \u00c9tant donn\u00e9 que S3 a la capacit\u00e9 de r\u00e9pliquer son contenu dans un compartiment dans une autre r\u00e9gion, c’\u00e9tait une solution parfaite pour ce probl\u00e8me particulier.<\/p>\n

AWS ES est livr\u00e9 avec un r\u00e9f\u00e9rentiel d’instantan\u00e9s automatis\u00e9 pr\u00e9-activ\u00e9 pour vous. Le r\u00e9f\u00e9rentiel est configur\u00e9 par d\u00e9faut pour prendre des instantan\u00e9s toutes les heures et vous ne pouvez rien y changer. C’\u00e9tait un probl\u00e8me pour nous parce que nous voulions un du quotidien<\/em> instantan\u00e9 envoy\u00e9 \u00e0 un r\u00e9f\u00e9rentiel soutenu par l’un de nos propres compartiments S3, qui a \u00e9t\u00e9 configur\u00e9 pour r\u00e9pliquer son contenu dans une autre r\u00e9gion.<\/p>\n\n\n\n\n
\"\"<\/td>\n<\/tr>\n
Liste des instantan\u00e9s automatis\u00e9s GET _cat\/snapshots\/cs-automated-enc?v&s=id<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

Notre seul choix \u00e9tait de cr\u00e9er et de g\u00e9rer notre propre r\u00e9f\u00e9rentiel d’instantan\u00e9s et nos instantan\u00e9s.<\/p>\n

Maintenir notre propre r\u00e9f\u00e9rentiel d’instantan\u00e9s n’\u00e9tait pas id\u00e9al et ressemblait \u00e0 beaucoup de travail inutile. Nous ne voulions pas r\u00e9inventer la roue, nous avons donc recherch\u00e9 un outil existant qui ferait le gros du travail pour nous. <\/p>\n

Gestion du cycle de vie des instantan\u00e9s (SLM)<\/strong><\/h2>\n

Le premier outil que nous avons essay\u00e9 \u00e9tait celui d’Elastic Gestion du cycle de vie des instantan\u00e9s (SLM)<\/a>une caract\u00e9ristique qui est d\u00e9crite comme\u00a0:<\/p>\n

Le moyen le plus simple de sauvegarder r\u00e9guli\u00e8rement un cluster. Une politique SLM prend automatiquement des instantan\u00e9s selon un calendrier pr\u00e9d\u00e9fini. La strat\u00e9gie peut \u00e9galement supprimer des instantan\u00e9s en fonction des r\u00e8gles de conservation que vous d\u00e9finissez.<\/em><\/p>\n

Vous pouvez m\u00eame utiliser votre propre r\u00e9f\u00e9rentiel d’instantan\u00e9s. Cependant, d\u00e8s que nous avons essay\u00e9 de le configurer dans nos domaines, cela a \u00e9chou\u00e9. Nous avons rapidement appris qu’AWS ES est une version modifi\u00e9e d’Elastic. co’s ES et que SLM n’\u00e9tait pas pris en charge dans AWS ES.<\/p>\n

Conservateur<\/strong><\/h4>\n

L’outil suivant que nous avons \u00e9tudi\u00e9 s’appelle Curateur Elasticsearch<\/a>. Il \u00e9tait open-source et maintenu par Elastic.co lui-m\u00eame. <\/p>\n

Curator est simplement un outil Python qui vous aide \u00e0 g\u00e9rer vos index et vos instantan\u00e9s. Il a m\u00eame des m\u00e9thodes d’assistance pour cr\u00e9er des r\u00e9f\u00e9rentiels d’instantan\u00e9s personnalis\u00e9s, ce qui \u00e9tait un bonus suppl\u00e9mentaire.<\/p>\n

Nous avons d\u00e9cid\u00e9 d’ex\u00e9cuter Curator en tant que fonction Lambda pilot\u00e9e par une r\u00e8gle EventBridge planifi\u00e9e, le tout int\u00e9gr\u00e9 \u00e0 AWS SAM.<\/p>\n

Voici \u00e0 quoi ressemble la solution finale :<\/p>\n

\"\"<\/div>\n

Fonction Lambda d’instantan\u00e9 ES<\/strong><\/h2>\n

Lambda utilise l’outil Curator et est responsable de la gestion des instantan\u00e9s et du r\u00e9f\u00e9rentiel. Voici un sch\u00e9ma de la logique\u00a0:<\/p>\n

\"\"<\/div>\n

Comme vous pouvez le voir ci-dessus, c’est une solution tr\u00e8s simple. Mais, pour que cela fonctionne, nous avions besoin de quelques \u00e9l\u00e9ments pour exister\u00a0:<\/p>\n