Logging là 1 phép tắc đơn giản và trẻ trung và tràn trề sức khỏe, lưu lại cục bộ mọi hoạt động vui chơi của khối hệ thống.

Bạn đang xem: Elk là gì

Nhờ gồm logging, ta có thể tra cứu vãn lại trạng thái của khối hệ thống trong quá khứ, đều code nào đã làm được chạy, từ kia tìm ra lỗi với fix dễ ợt rộng.

Tuy nhiên bài toán tập chung cùng phân tích log của khối hệ thống là sự việc khó khăn đối với mỗi công ty. Hôm nay bản thân xin giới thiệu về ELK stachồng một hiện tượng khỏe mạnh dùng làm cai quản và đối chiếu log tập phổ biến.

Mục lục

1. Technical stack là gì?

2. ELK stack.

3. Các thành phía bên trong ELK staông chồng.

4. Các trường thích hợp sử dụng ELK staông chồng.

5. Vì sao phải áp dụng ELK staông xã.

1. Technical staông xã là gì?

Technical Stachồng, còn gọi là solution staông xã, là một tập hòa hợp rất nhiều phần mềm/technology phối hợp thông thường cùng nhau, chế tạo thành một căn cơ nhằm vận dụng rất có thể chuyển động được.

Một staông xã thường thì sẽ được cấu tạo bởi những nhân tố :

Hệ điều hành. Webhệ thống. Database. Back-end Programming Language.

Mỗi thành phần trong staông chồng đảm nhận một trách nhiệm lẻ tẻ.

2. ELK staông chồng.

ELK Staông xã là tập thích hợp 3 ứng dụng đi thông thường với nhau, Ship hàng đến quá trình logging. Ba ứng dụng này thứu tự là :

Elasticsearch: Cửa hàng tài liệu nhằm lưu trữ, tìm kiếm kiếm với query log. Logstash: Tiếp nhận log từ khá nhiều mối cung cấp, kế tiếp cách xử trí log và ghi tài liệu vào Elasticsearch. Kibana: Giao diện để làm chủ, thống kê lại log. Đọc báo cáo tự Elasticsearch.

Điểm mạnh mẽ của ELK là khả năng tích lũy, hiển thị, truy vấn theo thời hạn thực. cũng có thể đáp ứng truy hỏi vấn một lượng dữ liệu cực đại.

Hình bên dưới đó là phép tắc hoạt động của ELK staông xã :

*

trước hết, log sẽ tiến hành mang lại Logstash. (Thông trải qua nhiều con phố, ví dụ như VPS gửi UDPhường request cất log cho tới URL của Logstash, hoặc Beat gọi file log cùng gửi lên Logstash).

Logstash sẽ đọc phần đông log này, thêm phần nhiều báo cáo nhỏng thời gian, IP, parse dữ liệu từ log (VPS nào, độ nghiêm trọng, câu chữ log) ra, tiếp nối ghi xuống database là Elastictìm kiếm.

khi hy vọng coi log, người tiêu dùng vào URL của Kibana. Kibana đang hiểu ban bố log trong Elastictìm kiếm, hiển thị lên giao diện cho những người dùng query và cách xử trí.

3. Các thành phần nằm trong ELK stack.

3.1. Elastictìm kiếm.

Elasticsearch là một RESTful distributed tìm kiếm engine. Hiểu nôm mãng cầu là nó cung cấp kỹ năng tìm tìm phân tán qua API. Lưu trữ dữ liệu theo mô hình NoSQL database (cơ sở tài liệu không có cấu trúc).

Elasticsearch có thể chấp nhận được bạn triển khai với phối hợp không ít loại tra cứu kiếm: gồm cấu tạo, không cấu tạo, geo, metric Theo phong cách bạn có nhu cầu.

Việc tìm kiếm kiếm vào một lượng ít dữ liệu rất thuận tiện, tuy nhiên nếu như có một tỷ mẫu tài liệu thì cụ nào? Elasticsearch chất nhận được chúng ta có ánh nhìn nhằm khai thác xu hướng cùng các mẫu vào tài liệu.

Elastictìm kiếm khôn xiết nkhô cứng, thực sự rất nkhô giòn. Quý khách hàng gồm câu trả lời tức tốc cùng với các dữ liệu biến hóa.

Xem thêm: Tìm Hiểu Về Native Code Là Gì ? Bắt Đầu Lập Trình App Với React Native

Quý Khách có thể chạy nó bên trên hàng ngàn hệ thống cùng với sản phẩm petabyte tài liệu.

Vận hành dễ dàng:

Khả năng co và giãn, Độ chuẩn bị cao. Dự đoán thù trước, tin cẩn. Đơn giản, nhìn trong suốt

Elasticsearch áp dụng chuẩn chỉnh RESTful APIs với JSON.

Nhỏng nuốm làm sao là 1 trong những RESTful distributed tìm kiếm engine

Distributed và Highly Available Search Engine:

Mỗi Index là full shard với một số thông số kỹ thuật của shard. Mỗi shard bao gồm một hoặc các replica. Xử lý gọi cùng tìm kiến trên mõi replica shard.

Multi Tenant with Multi Types:

Hỗ trợ nhiều hơn thế nữa một index. Hỗ trợ các các loại bên trên một index. Cấu hình index level (số shard, index storage).

Various set of APIs:

HTTP RESTful API. Native Java API. Tất cả API tiến hành làm việc node tự động mọi khi định tuyến đường lại.

Document oriented:

Không nên định nghĩa trước schema. Schema rất có thể được tư tưởng cho mỗi loại tùy thuộc vào quy trình indexing.

Tin cậy.

Tìm kiếm (gần) theo thời gian thực.

Xây dựng dựa trên Lucene:

Mỗi shard là 1 trong những Lucene index không thiếu tác dụng. Tất cả các ưu điểm của Lucene được khai phá trải qua cấu hình/plugin đơn giản dễ dàng.

Hoạt đụng đồng nhất.

mở cửa Source under the Apađậy License, version 2 (“ALv2”).

3.2. Logstash.

Logstash bao gồm tính năng đối chiếu cú pháp của những mẫu dữ liệu. Việc phân tích làm cho tài liệu đầu vào sinh sống một dạng khó hiểu, chưa có nhãn thành một dạng dữ liệu bao gồm cấu tạo, được gán nhãn.

Khi cấu hình Logstash luôn tất cả 3 phần: Input, Filter, Output.

Bình thường Lúc thao tác làm việc cùng với Logstash, đang phải thao tác làm việc với Filter những độc nhất vô nhị. Filter hiện giờ sử dụng Grok nhằm phân tích dữ liệu.

3.3. Kibamãng cầu.

Kibamãng cầu được trở nên tân tiến riêng cho vận dụng ELK, thực hiển chuyển đổi các tầm nã vấn của người dùng thành câu truy vấn nhưng mà Elasticsearch có thể tiến hành được. Kết trái hiển thị bằng những cách: theo những dạng biểu thiết bị.

*

4. Các trường vừa lòng áp dụng ELK stack.

Với các khối hệ thống hoặc áp dụng nhỏ dại, ta ko cần sử dụng ELK stachồng làm gì, cứ đọng sử dụng tlỗi viện ghi log đi kèm cùng với ngôn ngữ, tiếp đến ghi log ra tệp tin rồi đọc thông thường.

Tuy nhiên, cùng với rất nhiều khối hệ thống to nhiều người tiêu dùng, có khá nhiều service phân tán (microservice), có tương đối nhiều hệ thống chạy thuộc lúc… thì câu hỏi ghi log xuống file không hề hiệu quả nữa. Hiện giờ số lượng sever trên khối hệ thống là Khủng và nhiều vì vậy chúng ta quan yếu cần sử dụng cách bằng tay thủ công là remote vào cụ thể từng trang bị rồi đọc log của từng VPS được, từ bây giờ ELK staông chồng đã xử lý điều này. ELK stack sẽ ghi log tập chung vào một trong những khu vực khiến cho chúng ta cũng có thể thuận tiện cai quản log trên toàn khối hệ thống.

5. Vì sao buộc phải sử dụng ELK staông chồng.

Dễ tích hợp: Dù bạn gồm dùng Nginx xuất xắc Apabịt, sử dụng MSSQL, MongoDB hay Redis, Logstash đa số hoàn toàn có thể hiểu gọi với cách xử lý log của công ty cho nên việc tích đúng theo rất dễ dãi.

Hoàn toàn free: Chỉ buộc phải cài về, thiết đặt và cần sử dụng, không tốn một đồng làm sao cả. cửa hàng tạo nên ELK Staông chồng tìm tiền bằng các hình thức dịch vụ cloud hoặc các thành phầm premium phụ thêm.

Khả năng scale tốt: Logstash với Elasticsearch điều khiển xe trên nhiều node buộc phải hệ thống ELK rất là dễ scale. khi có thêm service, thêm người tiêu dùng, ao ước log nhiều hơn thế, bạn chỉ vấn đề thêm node mang đến Logstash cùng Elastictìm kiếm là hoàn thành.

Xem thêm: Having Said That Being Said Là Gì, That Being Said Là Gì

Search và filter bạo phổi mẽ: Elastictìm kiếm được cho phép lưu trữ lên tiếng kiểu NoSQL, hỗ trợ luôn Full-Text Search nên việc query rất dễ dãi cùng trẻ trung và tràn đầy năng lượng.