Elastic Search'te bir sorgunun arama hızı nasıl artırılır?

Question

Ana bilgisayar ElasticSearch'ten AWS'dir, 6 düğümde ve her birinde 10 parça bulunan 30 dizinde depolanan 2 TB veriye sahibim. Tüm dizinlerde basit bir arama çok çok yavaştır ve birkaç dakika sürer.

Hatayı nerede yaptım? Bu normal mi yoksa kötü ayarlarım var ya da depolamada çok fazla veri var mı?

Küme ayarlarım:

"search": {
     "max_queue_size": "1000",
     "queue_size": "1000",
     "size": "4",
     "auto_queue_frame_size": "2000",
     "target_response_time": "1s",
     "min_queue_size": "1000"
},

Düğüm ayarlarım:

"os": {
     "refresh_interval_in_millis": 1000,
     "name": "Linux",
     "pretty_name": "CentOS Linux 7 (Core)",
     "arch": "amd64",
     "version": "4.15.0-1039-aws",
     "available_processors": 32,
     "allocated_processors": 2
}

Teşekkür ederim!

Answer 1

Bu çok daha az bilgi içeren çok geniş bir soru, lütfen aşağıdakiler gibi daha fazla bilgi verebilir misiniz:

1. Sahip olduğunuz veri miktarı ve her bir parçanın boyutu.
2. Ortalama süreleri ile örnek arama sorguları.
3. veri düğümlerinin yığın boyutu ve neden allocated_processorsmevcut işlemcilerden çok daha azına (2) sahip olduğunuz (32)
4. Arama sorgunuzda kaç tane belge getirdiğiniz, yani boyut parametresi.
5. Arama aramalarının hiçbirine bağlı arama gecikmesi
6. Yavaş elasticsearch (ES) günlüklerini ara

Arama performansını iyileştirmeye yönelik 10 ipucuma başvurabilir ve ayrıca bana ipuçlarında belirtilen bazı parametrelerin değerlerini söyleyebilir, ayrıca ES'nin küme ve düğüm ayarlarında ince ayar yapmak için küme iyileştirici aracını deneyebilirsiniz .

Yorumda tartışıldığı gibi, sorunu daha verimli bir şekilde ayıklamak için lütfen opster'ın arama yavaş günlük bloguna bakın.

Answer 2

1)I have 2TB data. Every index has 50GB or more. Each has 10 shards and a replica

Bu çok. Bir parçanın hedef boyutu yaklaşık 50 Gb olmalıdır. Ayarınızla her biri 5 Gb civarındasınız. 5 parçaya veya daha azına küçültebilir ve 1 parçaya birleştirmeye zorlayabilirsiniz. Performanslar çok geliştirilmeli.

Bundan sonra, Optsters tarafından blogunda sağlanan diğer iyi tavsiyelere bakın. Bunların hepsi alakalı.