Khả năng quan sát: Truy xuất nguồn gốc cho các hệ thống phân tán

Được xuất bản lại bởi Plato

Người theo dõi: 0

Bạn đã bao giờ chờ đợi một bưu kiện đắt tiền hiển thị “shipped” nhưng bạn không biết nó ở đâu chưa? Lịch sử theo dõi đã ngừng cập nhật năm ngày trước và bạn gần như mất hết hy vọng. Nhưng đợi đã, 11 ngày sau, bạn sẽ có nó trước cửa nhà mình. Bạn ước rằng khả năng truy xuất nguồn gốc có thể tốt hơn để giúp bạn thoát khỏi mọi sự chờ đợi lo lắng. Đây là lúc “khả năng quan sát” phát huy tác dụng.

Trong bối cảnh kỹ thuật, bạn sẽ muốn tránh điều này xảy ra với phần mềm hoặc hệ thống dữ liệu của mình. Và do đó, bạn áp dụng các công cụ giám sát, thu thập nhật ký và số liệu của hệ thống và thông báo cho bạn về trạng thái bên trong của chúng. Giám sát hoạt động tốt nhất khi bạn muốn hệ thống của mình thông báo cho bạn biết lỗi là gì, xảy ra ở đâu và khi nào, nhưng nó không cho bạn biết cách giải quyết lỗi.

Hơn một thập kỷ trước, các công cụ giám sát thiếu bối cảnh và tầm nhìn xa về các vấn đề cơ bản của hệ thống và các nhóm sẽ bị hạn chế trong việc gỡ lỗi các lỗi vận hành hàng ngày. Ngày nay, chúng ta làm việc và sống trong một thế giới phân tán của các dịch vụ siêu nhỏ và đường ống dẫn dữ liệu; thậm chí sử dụng nhiều công cụ giám sát sẽ không giúp bạn trả lời các câu hỏi kinh doanh của mình như “Tại sao ứng dụng của tôi luôn chậm?” hoặc "Sự cố xảy ra ở giai đoạn nào và mức độ sâu của nó trong ngăn xếp?" hoặc “Tôi có thể cải thiện hiệu suất tổng thể của môi trường như thế nào?” Bạn cần phải chủ động đưa ra các quyết định này và có khả năng hiển thị tổng thể về hệ thống, ứng dụng và dữ liệu của mình.

T blog đăng bài của Etsy đã được xuất bản cách đây một thập kỷ và nó nêu rõ sự thật trong đoạn thứ hai:

“Chỉ số ứng dụng thường là khó nhất, nhưng quan trọng nhất, trong ba chỉ số. Chúng rất cụ thể đối với doanh nghiệp của bạn và chúng thay đổi khi ứng dụng của bạn thay đổi (và Etsy cũng thay đổi rất nhiều).”

Vì vậy, làm thế nào để chúng ta đo lường mọi thứ và bất cứ điều gì? Chúng tôi bắt đầu với khả năng quan sát.

Khả năng quan sát là gì?

Thuật ngữ “khả năng quan sát” là đặt ra bởi Rudolf Emil Kálmán vào năm 1960 trong bài báo kỹ thuật của ông để mô tả các hệ thống điều khiển toán học. Ông định nghĩa nó là thước đo mức độ tốt của các trạng thái bên trong của một hệ thống có thể được suy ra từ kiến thức về các kết quả đầu ra bên ngoài của nó. Nhưng nó không giống như giám sát? Về cơ bản, vâng, đó là giám sát.

Ngày nay, khả năng quan sát đã trở thành một chủ đề khá nóng. Theo một số khảo sát thị trường, nó là một nền tảng trị giá hàng tỷ đô la. Nhiều tổ chức đã áp dụng khái niệm này và sử dụng nó như một khuôn khổ cho khả năng hiển thị từ đầu đến cuối của các hệ thống và đường ống phân tán của họ. Tuy nhiên, khả năng quan sát bị nhầm lẫn với giám sát. Hiện tại, tôi có thể nói rằng giám sát là một tập hợp con của khả năng quan sát, trong đó khả năng quan sát là một thuật ngữ lớn.

Khả năng quan sát cho phép theo dõi phân tán thông qua thu thập và tổng hợp dấu vết, nhật ký và số liệu. Hãy xem những gì những suy luận:

Dấu vết: Khi một hệ thống nhận được một yêu cầu, dấu vết cho bạn biết yêu cầu đó chảy như thế nào, trong suốt vòng đời của nó, từ nguồn đến đích. Dấu vết được thể hiện bằng “các nhịp”. Một dấu vết là một cây các khoảng và một khoảng là một thao tác đơn lẻ trong một dấu vết. Chúng giúp bạn xác định lỗi, độ trễ hoặc tắc nghẽn trong hệ thống.
Nhật ký: Đây là những sự kiện được đánh dấu thời gian do máy tạo cho bạn biết về các hoạt động hoặc thay đổi đã xảy ra trong hệ thống. Nhật ký thường được sử dụng để truy vấn các lỗi hoặc thay đổi này trong hệ thống.
Số liệu: Chúng cung cấp thông tin chi tiết định lượng về mức sử dụng CPU, bộ nhớ, ổ đĩa và cách hệ thống hoạt động trong một khoảng thời gian.

Các thuộc tính này tăng cường khung giám sát với khả năng truy xuất nguồn gốc. Truy xuất nguồn gốc cung cấp cho bạn các thấu kính để theo dõi yêu cầu thực hiện cuộc gọi đến hệ thống của bạn, mất bao lâu để đi từ thành phần này sang thành phần khác, dịch vụ nào khác mà nó gọi ra, nó có gây ra lỗi nào không, nó tạo ra nhật ký gì, trạng thái của nó nó đang ở đâu, nó bắt đầu và kết thúc khi nào, dòng thời gian nó lưu lại trong hệ thống của bạn là gì, v.v. Khi bạn thu thập, tổng hợp và phân tích những dấu vết này, bạn có thể đưa ra các quyết định sáng suốt có giá trị như dòng thời gian của khách hàng trên một trang web thương mại điện tử , họ mất bao lâu để tìm kiếm sản phẩm, họ đã xem sản phẩm trong bao lâu, trang HTML có tải đầy đủ các chi tiết như hình ảnh hoặc video được nhúng không, hệ thống mất bao lâu để xác thực và xử lý thanh toán, v.v.

Chúng ta đạt được gì với khả năng quan sát trong môi trường phân tán?

Sự phát triển của các hệ thống phân tán bắt đầu khi các tổ chức bắt đầu chuyển từ kiến trúc nguyên khối tập trung sang kiến trúc vi dịch vụ phân tán và phi tập trung. Và đây vẫn là một công việc đang được tiến hành khi nhiều tổ chức đang nắm lấy bản chất dịch vụ vi mô của các hệ thống và ứng dụng. Và tất cả điều này có thể được quy cho dữ liệu lớn và mở rộng quy mô. Quản lý môi trường phân tán đòi hỏi phải học hỏi liên tục, bổ sung lực lượng lao động, thay đổi khung và chính sách, quản lý CNTT, v.v. Đó thực sự là một sự thay đổi lớn.

Trước đó, trong môi trường nguyên khối hạn chế, phần cứng, phần mềm, dữ liệu và cơ sở dữ liệu đều sống dưới một mái nhà duy nhất. Với sự ra đời của dữ liệu lớn vào những năm 2000, các hệ thống giám sát và mở rộng quy mô bắt đầu trở thành mối quan tâm lớn. Thông thường, các tổ chức sử dụng các công cụ giám sát khác nhau để đáp ứng nhu cầu của các ứng dụng khác nhau của họ. Kết quả là, nó nhanh chóng trở thành một chi phí hoạt động với khả năng phục hồi, khả năng hiển thị và độ tin cậy kém.

Tất cả những vấn đề này đã dẫn đến việc áp dụng khả năng quan sát. Ngày nay, tồn tại nhiều công cụ có khả năng quan sát cho các đường dẫn bảo mật, mạng, ứng dụng và dữ liệu để theo dõi phân tán trong một môi trường phức tạp. Chúng cùng tồn tại với người anh em họ của mình, các công cụ giám sát và tận dụng việc thu thập thông tin từ người anh em họ của mình và tổng hợp với thông tin bổ sung từ dữ liệu theo dõi của chính nó.

Có rất nhiều thành phần chuyển động trong tất cả các hệ thống này, mà dấu vết của chúng khi được ghi lại, có thể minh họa câu chuyện về 5 W: khi nào, ở đâu, tại sao, cái gì và như thế nào. Ví dụ: bạn truy cập trang web của DATAVERSITY lúc 1:43 chiều để đọc một số bài đăng trên blog. Khi bạn nhấn dataversity.net, yêu cầu HTTP sẽ được đăng nhập vào hệ thống. Bạn bắt đầu tìm kiếm một bài đăng trên blog và chuyển đến một bài đăng Quản trị dữ liệu, nơi bạn dành 17 phút để đọc bài đăng đó và sau đó bạn đóng tab của mình lúc 2 giờ chiều

Cũng sẽ có các cuộc gọi khác được thực hiện tới hệ thống mạng để chụp gói mạng. Các công cụ quan sát thu thập tất cả các nhịp và thống nhất chúng trong một hoặc nhiều dấu vết, cho phép bạn xem đường dẫn mà nó hình thành trong vòng đời của nó. Nếu bạn gặp sự cố như độ trễ mạng hoặc lỗi hệ thống, giờ đây việc mổ xẻ (bóc củ hành tây) và gỡ lỗi sự cố (lỗi ở lớp nào) sẽ dễ dàng hơn.

Giờ đây, trong một môi trường phân tán rộng lớn, khi các ứng dụng của bạn nhận được hàng triệu yêu cầu, dữ liệu theo dõi sẽ tăng lên với khối lượng khổng lồ. Việc thu thập và phân tích những dấu vết này rất tốn kém cho việc sử dụng bộ nhớ và truyền dữ liệu. Vì vậy, để tiết kiệm chi phí, dữ liệu theo dõi được lấy mẫu, vì trong hầu hết các trường hợp, các nhóm kỹ thuật chỉ cần một số phần để điều tra xem có gì sai hoặc mẫu lỗi là gì.

Với ví dụ nhỏ đó, chúng tôi hiểu rằng chúng tôi hiểu sâu hơn nhiều về hệ thống của mình. Vì vậy, khi xem xét quy mô hệ thống lớn hơn, các nhóm kỹ thuật có thể nắm bắt và làm việc trên dữ liệu được lấy mẫu để cải thiện cấu trúc hiện tại của hệ thống, áp dụng hoặc loại bỏ các thành phần mới, thêm một lớp bảo mật khác, loại bỏ các tắc nghẽn, v.v.

Các tổ chức có nên chọn khả năng quan sát?

Tất cả chúng ta nên hiểu rằng mục tiêu cuối cùng là trải nghiệm người dùng tốt hơn và sự hài lòng của người dùng cao hơn. Và con đường đạt được những mục tiêu này có thể trở nên dễ dàng hơn với khung quan sát tự động và chủ động. Thiết lập văn hóa cải tiến và tối ưu hóa liên tục được coi là phương pháp lãnh đạo và kinh doanh tối ưu.

Trong thời đại chuyển đổi kỹ thuật số này, khả năng quan sát đã trở thành điều bắt buộc để một doanh nghiệp thành công trong hành trình kỹ thuật số của mình. Cung cấp cho bạn các dấu vết sâu sắc, khả năng quan sát cũng giúp bạn hiểu rõ dữ liệu hơn là chỉ dựa trên dữ liệu.

Kết luận

Mặc dù chúng tôi đã sử dụng thay thế cho thuật ngữ giám sát và khả năng quan sát, nhưng chúng tôi nhận thấy rằng mặc dù việc giám sát giúp bạn có thông tin về tình trạng của hệ thống và các sự kiện xảy ra trên hệ thống, nhưng khả năng quan sát tạo điều kiện cho bạn đưa ra suy luận dựa trên bằng chứng thu thập được từ các lớp sâu hơn của kết thúc- môi trường đầu cuối.

Khả năng quan sát đang và cũng có thể được coi là một thành phần của khung Quản trị dữ liệu. Trong thế hệ này, nơi khối lượng dữ liệu ngày càng tăng nằm trên một mạng phần cứng hàng hóa, điều quan trọng là phải giữ cho kiến trúc càng đơn giản càng tốt. Và rõ ràng, việc quản lý môi trường cuối cùng trở thành một nhiệm vụ bất khả thi. Qua đó, triển khai các chính sách và quy tắc quản trị phù hợp và tự động để giữ cho mạng lưới lớn các hệ thống, đường ống dẫn và dữ liệu của bạn được giải mã sớm hơn.