Mục lục:
Định nghĩa - Chuỗi công việc có nghĩa là gì?
Xâu chuỗi công việc là một thuật ngữ trong MapReduce có nghĩa là khởi chạy một số bước trong cùng một nhiệm vụ MapReduce. Với chuỗi công việc, công việc đầu tiên gửi đầu ra cho một công việc, sẽ gửi đầu ra cho công việc tiếp theo trong chuỗi, và cứ thế cho đến khi công việc hoàn thành. Đây là một hình thức của các công việc MapReduce theo đường ống để làm cho chúng dễ quản lý hơn.
Techopedia giải thích Chuỗi công việc
Chuỗi công việc trong MapReduce đề cập đến việc chạy nhiều tác vụ trong một công việc MapReduce duy nhất.
Ví dụ: chuỗi công việc có thể bao gồm:
Map1> Giảm1> Map2> Giảm2
Ưu điểm của chuỗi công việc là nó loại bỏ sự cần thiết của dữ liệu trung gian giữa tất cả các bước trong một đường ống. Theo nghĩa đó, chuỗi công việc tương tự như chuyển hướng đầu vào / đầu ra trong hệ vỏ Unix. Đầu ra từ một liên kết trong chuỗi chảy đến đầu vào trong công việc tiếp theo trong chuỗi. MapReduce cho phép các nhà phát triển chỉ định các phụ thuộc hoặc công việc nào phải được hoàn thành trước khi nó xử lý các công việc tiếp theo trong chuỗi thông qua việc sử dụng lệnh gọi phương thức addDependingJob ().
Điều này giúp nhà phát triển dễ dàng viết chương trình MapReduce có thể xử lý lượng lớn dữ liệu.
