Kami menggunakan solr untuk kasus penggunaan penelusuran/umpan/saran otomatis/personalisasi e-niaga kami.

Tantangan dengan solr cluster

• Mengelola infrastruktur solr (zookeeper, JVM, analisis GC, dll.) adalah sebuah tantangan. Secara umum, kami membutuhkan pengembang khusus (SRE/SDE-3) untuk itu.
• Upgrade ke versi stabil yang lebih baru. Kurangnya dukungan komunitas untuk masalah kritis apa pun.

ELK kini hadir dengan lisensi premium elastis. Jadi kami memilih opensearch karena opensource. Ini didasarkan pada versi elasticsearch 7.10. Ini memiliki lisensi apache.

Tantangan Utama

• Kode yang ada memiliki masalah desain. Erat digabungkan dengan solr. Arsitektur layanan mikro dan beberapa ketergantungan layanan.
• Ukuran kluster besar di beberapa wilayah & peluncuran berdasarkan negara.

1. Kami menggunakan terraform untuk pembentukan klaster opensearch di semua wilayah.
2. Untuk kode kami menggunakan pola desain pabrik dan pola desain Adaptor.
3. Penyerapan data paralel di opensearch & solr.
4. Migrasi data delta opensearch & solr oleh layanan pengindeksan ulang kami.
5. Peluncuran layanan satu per satu dengan dukungan untuk opensearch & solr
6. Setelah langkah 1 sampai 5 sudah siap. Kami merencanakan peluncuran dan pemantauan berdasarkan negara di newRelic.

Hambatan utama : Itu ada di sekitar pilihan mesin AWS c5 tipe node. Kami memperbaikinya dengan pembandingan dan memilih untuk menggunakan c6g.

Hasil

Kami berhasil memigrasikan lebih dari 100 juta dokumen dari solr ke opensearch tanpa downtime. Migrasi melibatkan lebih dari 100+ node di solr dan opensearch. Kami juga berhasil menghemat sekitar 0,8 juta USD.

Referensi

1. Pola desain pabrik
2. Terraform
3. Opensearch
4. Solr
5. Pola desain adaptor