Làm cách nào để cải thiện tốc độ tìm kiếm của một truy vấn trong Tìm kiếm đàn hồi?
Máy chủ là AWS từ ElasticSearch, tôi có 2TB dữ liệu được lưu trữ trong 6 nút và trong 30 chỉ mục với 10 phân đoạn mỗi nút. Một tìm kiếm đơn giản trong tất cả các chỉ mục rất chậm và mất vài phút.
Tôi đã mắc lỗi ở đâu? Điều đó có bình thường hay tôi có cài đặt không hợp lệ hoặc có thể tôi có quá nhiều dữ liệu được lưu trữ?
Cài đặt cụm của tôi:
"search": {
"max_queue_size": "1000",
"queue_size": "1000",
"size": "4",
"auto_queue_frame_size": "2000",
"target_response_time": "1s",
"min_queue_size": "1000"
},
Cài đặt nút của tôi:
"os": {
"refresh_interval_in_millis": 1000,
"name": "Linux",
"pretty_name": "CentOS Linux 7 (Core)",
"arch": "amd64",
"version": "4.15.0-1039-aws",
"available_processors": 32,
"allocated_processors": 2
}
Cảm ơn bạn!
Trả lời
Đây là một câu hỏi rất rộng với rất ít thông tin, bạn có thể vui lòng cung cấp thêm thông tin như:
- Lượng dữ liệu bạn có và kích thước của mỗi phân đoạn.
- Các truy vấn tìm kiếm mẫu với thời gian trung bình được thực hiện.
- kích thước heap nút dữ liệu và lý do tại sao bạn có
allocated_processors
rất ít (2) so với bộ xử lý có sẵn (32) - Bạn đang tìm nạp bao nhiêu tài liệu trong truy vấn tìm kiếm, tức là kích thước tham số.
- Thời gian chờ tìm kiếm không có lệnh gọi tìm kiếm
- Tìm kiếm nhật ký chậm củaasticsearch (ES)
Bạn có thể tham khảo 10 mẹo của tôi về việc cải thiện hiệu suất tìm kiếm và cũng cho tôi biết giá trị của một số thông số được đề cập trong các mẹo, cũng có thể thử công cụ tối ưu hóa cụm để tinh chỉnh cài đặt cụm và nút của ES.
Như đã thảo luận trong phần bình luận, vui lòng tham khảo blog ghi chậm tìm kiếm của opster để gỡ lỗi vấn đề hiệu quả hơn.
1)I have 2TB data. Every index has 50GB or more. Each has 10 shards and a replica
Đó là nhiều. Kích thước mục tiêu cho một phân đoạn phải là khoảng 50Gb. Với cài đặt của bạn, bạn có nhiều hơn khoảng 5Gb Mỗi. Bạn có thể thu nhỏ còn 5 phân đoạn trở xuống và buộc hợp nhất thành 1 phân đoạn. Biểu diễn nên được cải thiện rất nhiều.
Sau đó, hãy xem những lời khuyên hữu ích khác do Optsters cung cấp trên blog của anh ấy. Chúng đều có liên quan.