Apache Presto - Cài đặt

Chương này sẽ giải thích cách cài đặt Presto trên máy tính của bạn. Hãy xem qua các yêu cầu cơ bản của Presto,

Linux hoặc Mac OS
Phiên bản Java 8

Bây giờ, chúng ta hãy tiếp tục các bước sau để cài đặt Presto trên máy của bạn.

Xác minh cài đặt Java

Hy vọng rằng bạn đã cài đặt Java phiên bản 8 trên máy tính của mình ngay bây giờ, vì vậy bạn chỉ cần xác minh nó bằng cách sử dụng lệnh sau.

$ java -version

Nếu Java được cài đặt thành công trên máy của bạn, bạn có thể thấy phiên bản Java đã cài đặt. Nếu Java chưa được cài đặt, hãy làm theo các bước tiếp theo để cài đặt Java 8 trên máy của bạn.

Tải xuống JDK. Tải xuống phiên bản mới nhất của JDK bằng cách truy cập liên kết sau.

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

Phiên bản mới nhất là JDK 8u 92 và tệp là “jdk-8u92-linux-x64.tar.gz”. Vui lòng tải xuống tệp trên máy của bạn.

Sau đó, giải nén các tệp và chuyển đến thư mục cụ thể.

Sau đó đặt các lựa chọn thay thế Java. Cuối cùng Java sẽ được cài đặt trên máy của bạn.

Cài đặt Apache Presto

Tải xuống phiên bản Presto mới nhất bằng cách truy cập liên kết sau,

https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.149/

Giờ đây, phiên bản mới nhất của “presto-server-0.149.tar.gz” sẽ được tải xuống máy của bạn.

Giải nén tệp tar

Trích xuất tar tập tin bằng lệnh sau:

$ tar  -zxf  presto-server-0.149.tar.gz 
$ cd presto-server-0.149

Thiết lập cấu hình

Tạo thư mục "dữ liệu"

Tạo một thư mục dữ liệu bên ngoài thư mục cài đặt, thư mục này sẽ được sử dụng để lưu trữ nhật ký, siêu dữ liệu, v.v., để dễ dàng bảo quản khi nâng cấp Presto. Nó được định nghĩa bằng đoạn mã sau:

$ cd  
$ mkdir data

Để xem đường dẫn nơi nó nằm, hãy sử dụng lệnh “pwd”. Vị trí này sẽ được chỉ định trong tệp node.properties tiếp theo.

Tạo thư mục "vv"

Tạo thư mục etc bên trong thư mục cài đặt Presto bằng đoạn mã sau:

$ cd presto-server-0.149 
$ mkdir etc

Thư mục này sẽ chứa các tệp cấu hình. Hãy tạo từng tệp một.

Thuộc tính nút

Tệp thuộc tính nút Presto chứa cấu hình môi trường cụ thể cho từng nút. Nó được tạo bên trong thư mục etc (etc / node.properties) bằng cách sử dụng mã sau:

$ cd etc 
$ vi node.properties  

node.environment = production 
node.id = ffffffff-ffff-ffff-ffff-ffffffffffff 
node.data-dir = /Users/../workspace/Presto

Sau khi thực hiện tất cả các thay đổi, hãy lưu tệp và thoát khỏi thiết bị đầu cuối. Đâynode.data là đường dẫn vị trí của thư mục dữ liệu đã tạo ở trên. node.id đại diện cho định danh duy nhất cho mỗi nút.

Cấu hình JVM

Tạo một tệp “jvm.config” bên trong thư mục etc (etc / jvm.config). Tệp này chứa danh sách các tùy chọn dòng lệnh được sử dụng để khởi chạy Máy ảo Java.

$ cd etc 
$ vi jvm.config  

-server 
-Xmx16G 
-XX:+UseG1GC 
-XX:G1HeapRegionSize = 32M 
-XX:+UseGCOverheadLimit 
-XX:+ExplicitGCInvokesConcurrent 
-XX:+HeapDumpOnOutOfMemoryError 
-XX:OnOutOfMemoryError = kill -9 %p

Sau khi thực hiện tất cả các thay đổi, hãy lưu tệp và thoát khỏi thiết bị đầu cuối.

Thuộc tính cấu hình

Tạo một tệp “config.properties” bên trong thư mục etc (etc / config.properties). Tệp này chứa cấu hình của máy chủ Presto. Nếu bạn đang thiết lập một máy duy nhất để thử nghiệm, máy chủ Presto chỉ có thể hoạt động như một quá trình điều phối như được xác định bằng cách sử dụng mã sau:

$ cd etc 
$ vi config.properties  

coordinator = true 
node-scheduler.include-coordinator = true 
http-server.http.port = 8080 
query.max-memory = 5GB 
query.max-memory-per-node = 1GB 
discovery-server.enabled = true 
discovery.uri = http://localhost:8080

Đây,

coordinator - nút chính.
node-scheduler.include-coordinator - Cho phép lập lịch làm việc trên bộ điều phối.
http-server.http.port - Chỉ định cổng cho máy chủ HTTP.
query.max-memory=5GB - Dung lượng bộ nhớ được phân phối tối đa.
query.max-memory-per-node=1GB - Dung lượng bộ nhớ tối đa trên mỗi nút.
discovery-server.enabled - Presto sử dụng dịch vụ Discovery để tìm tất cả các nút trong cụm.
discovery.uri - anh ấy URI cho máy chủ Khám phá.

Nếu bạn đang thiết lập máy chủ Presto nhiều máy, Presto sẽ hoạt động như cả quá trình điều phối và công nhân. Sử dụng cài đặt cấu hình này để kiểm tra máy chủ Presto trên nhiều máy.

Cấu hình cho Điều phối viên

$ cd etc 
$ vi config.properties  

coordinator = true 
node-scheduler.include-coordinator = false 
http-server.http.port = 8080 
query.max-memory = 50GB 
query.max-memory-per-node = 1GB 
discovery-server.enabled = true 
discovery.uri = http://localhost:8080

Cấu hình cho Công nhân

$ cd etc 
$ vi config.properties  

coordinator = false 
http-server.http.port = 8080 
query.max-memory = 50GB 
query.max-memory-per-node = 1GB 
discovery.uri = http://localhost:8080

Thuộc tính nhật ký

Tạo một tệp “log.properties” bên trong thư mục etc (etc / log.properties). Tệp này chứa cấp độ nhật ký tối thiểu cho cấu trúc phân cấp trình ghi nhật ký được đặt tên. Nó được định nghĩa bằng đoạn mã sau:

$ cd etc 
$ vi log.properties  
com.facebook.presto = INFO

Lưu tệp và thoát khỏi thiết bị đầu cuối. Ở đây, bốn cấp độ nhật ký được sử dụng như GỠ LỖI, THÔNG TIN, CẢNH BÁO và LỖI. Mức nhật ký mặc định là INFO.

Thuộc tính danh mục

Tạo một thư mục “danh mục” bên trong thư mục vv (etc / catalog). Điều này sẽ được sử dụng để gắn dữ liệu. Ví dụ, tạoetc/catalog/jmx.properties với các nội dung sau để gắn kết jmx connector như danh mục jmx -

$ cd etc 
$ mkdir catalog 
$ cd catalog 
$ vi jmx.properties  
connector.name = jmx

Bắt đầu Presto

Presto có thể được bắt đầu bằng lệnh sau,

$ bin/launcher start

Sau đó, bạn sẽ thấy phản hồi tương tự như thế này,

Started as 840

Chạy Presto

Để khởi chạy máy chủ Presto, hãy sử dụng lệnh sau:

$ bin/launcher run

Sau khi khởi chạy thành công máy chủ Presto, bạn có thể tìm thấy các tệp nhật ký trong thư mục “var / log”.

launcher.log - Nhật ký này được tạo bởi trình khởi chạy và được kết nối với các luồng stdout và stderr của máy chủ.
server.log - Đây là tệp nhật ký chính được Presto sử dụng.
http-request.log - Yêu cầu HTTP do máy chủ nhận được.

Như bây giờ, bạn đã cài đặt thành công cài đặt cấu hình Presto trên máy của mình. Hãy tiếp tục các bước cài đặt Presto CLI.

Cài đặt Presto CLI

Presto CLI cung cấp một trình bao tương tác dựa trên thiết bị đầu cuối để chạy các truy vấn.

Tải xuống Presto CLI bằng cách truy cập liên kết sau,

https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.149/

Bây giờ “presto-cli-0.149-thi hành.jar” sẽ được cài đặt trên máy của bạn.

Chạy CLI

Sau khi tải xuống presto-cli, hãy sao chép nó vào vị trí mà bạn muốn chạy nó. Vị trí này có thể là bất kỳ nút nào có quyền truy cập mạng vào bộ điều phối. Đầu tiên, đổi tên của tệp Jar thành Presto. Sau đó, làm cho nó thực thi vớichmod + x lệnh sử dụng mã sau:

$ mv presto-cli-0.149-executable.jar presto  
$ chmod +x presto

Bây giờ thực thi CLI bằng lệnh sau,

./presto --server localhost:8080 --catalog jmx --schema default  
Here jmx(Java Management Extension) refers to catalog and default referes to schema.

Bạn sẽ thấy phản hồi sau,