Hadoop chính xác là gì? một lý thuyết hoài nghi

Bất cứ điều gì có vẻ quá tốt là đúng thường là. Đó có thể là trường hợp với Apache Hadoop, dự án nguồn mở được nhiều người biết đến mà mọi người vẫn nói về nó. Vì vậy, những gì, chính xác, là điều này? Câu hỏi hay!

Chuyên gia nghi ngờ

Nhà phân tích Mark Madsen của Bản chất thứ ba đóng đinh nó vào tường một lúc trước trong một mảnh ghép trên InsideAnalysis.com: "Hadoop là gì. Hadoop không phải là gì." Là một người biết cách thiết kế các giải pháp trong thế giới thực, sau đó thực sự triển khai chúng, không nên bỏ qua lời khuyên của anh ấy.

Nhưng có một dòng chảy sâu hơn ở đây, và đã đến lúc để khai quật gốc rễ của hệ thực vật hấp dẫn này, để xem liệu chúng ta có thể có được một số quan điểm về những gì đang xảy ra ở cấp độ vĩ mô hay không. Rốt cuộc, các nhà cung cấp cứ nói đó là một vấn đề lớn và có rất nhiều người tham gia.

Sử dụng các Ủy viên! (?)

Ba công ty hiện đang sở hữu phần lớn thị trường non trẻ của Hadoop: Cloudera, Hortonworks và MapR. Trong một cuộc họp ngắn gần đây, khá gây tranh cãi thông qua Boulder BI Brain Trust (#BBBT), Jim Walker của Hortonworks đã đưa ra nhận xét tò mò này:

"Bạn không thể tiến bộ công nghệ nếu bạn không sử dụng các ủy viên!"

Lại nữa à?

Điều này nghe có vẻ không giống như Thượng nghị sĩ Palpatine có thể nói trong một bộ phim Chiến tranh giữa các vì sao?

Thượng nghị sĩ Palpatine: "Sử dụng các ủy viên!"

Minion gần đó: "Nhưng, nhưng, thưa ngài! Hãy nghĩ về những đứa trẻ!"

Đối với giáo dân ngoài kia chỉ đang cố gắng hoàn thành công việc, những người tham gia là những người dành riêng cho một dự án nguồn mở cụ thể. Quỹ Apache có các giao thức nghiêm ngặt theo đó các dự án của họ tiến lên phía trước, điều này thường là một điều tốt.

Điều đó nói rằng, bình luận của Walker bảo đảm kiểm tra. Một câu hỏi được đặt ra (có nguy cơ gây ra những ngày vui chơi) sẽ là: Đó là một lời hứa hay là một mối đe dọa? Có phải anh ấy nói rằng Hortonworks có thể lấy bóng của họ và về nhà?

Hợp tác hay cạnh tranh?

Điều thú vị nếu góc độ nghịch lý ở đây là theo báo cáo, hầu hết các thành viên trong nhóm Hadoop (khoảng 30 hoặc hơn tất cả) là từ Hortonworks và Cloudera, những người là đối thủ cạnh tranh. Đây là một trường hợp rất tò mò của cạnh tranh.

Vậy thỏa thuận là gì? Đây là một phỏng đoán có giáo dục: Hadoop phần lớn nợ danh tiếng của mình cho một kế hoạch thông minh được hình thành bởi một nhóm các nhà đầu tư mạo hiểm và kỹ sư ở Thung lũng Silicon, những người về cơ bản đang cố gắng chống lại Oracle.

Ý tưởng chung là gieo mầm thị trường bằng một nền tảng mã có thể được tăng cường và củng cố bởi một đội ngũ các nhà phát triển rag-tag, những người sẽ lý tưởng, theo thời gian, tạo ra tất cả các công cụ quản lý dữ liệu, bao gồm cả các sản phẩm cơ sở dữ liệu. Các VC có thể đầu tư và rút tiền một ngày nào đó. Nhưng có một số thách thức nghiêm trọng trong chơi.

Giống như tất cả các doanh nghiệp nguyên khối, Oracle thường thấy mình trong các trò chơi chữ thập của nhiều người chơi nhỏ hơn. Và ai sẽ không muốn chỉ là một phần doanh thu phiền não của họ? Chỉ riêng trong quý vừa qua, Oracle đã đặt trước ~ 9 tỷ đô la. Nhưng thách thức Big Red và đánh bại họ là hai thực tế rất khác nhau.

Webcast miễn phí: Hadoop là gì và nó sẽ đi đâu? Tham gia với Eric Kavanagh, Robin Bloor và Techopedia để thảo luận về cách Hadoop khác biệt rất nhiều so với Linux hoặc SOA, và tại sao tương lai của nó vẫn chưa được ghi nhận.

Vấn đề bao bì

Điều thú vị về Hadoop là, nó không phải là một giải pháp đóng gói bằng bất kỳ phương tiện nào. Thay vào đó, đó là một tập hợp các mô-đun phức tạp cho phép các lập trình viên chất lượng cao tận dụng các thuật toán xử lý song song lớn để làm những việc rất cụ thể. Nhưng không có giao diện người dùng ưa thích và hướng dẫn sử dụng rất tàn bạo.

Thêm vào đó thách thức trở ngại quan trọng này: bạn cũng cần những người kinh doanh có ít nhất một sự hiểu biết chung về những gì nó có thể làm. Những người đó phải có khả năng gợi ra những ý tưởng về cách sử dụng nó, sau đó liên lạc với các nhà phát triển, người sau đó phải sản xuất, thử nghiệm, triển khai và hỗ trợ các ứng dụng.

Phối hợp điệu nhảy này là cách Cloudera và Hortonworks kiếm được nhiều tiền. Vấn đề là, hầu hết các giải pháp được tạo ra thông qua phương pháp này là duy nhất và thường tập trung vào các hệ thống hoạt động trái ngược với các giải pháp phân tích. Dịch? Những thứ như thế không thực sự cho vay đối với các sản phẩm phần mềm đóng gói.

Lợi nhuận bao bì!

Điều này đưa chúng ta trở lại với Oracle. Larry Ellison và các chàng trai tạo ra phần mềm bán công nghệ cơ sở dữ liệu, phần cứng, dịch vụ và (chờ nó …) phần mềm đóng gói. Cloudera rõ ràng đã tìm ra điều này, do đó họ tập trung vào Impala. Nhưng làm vườn?

Mô hình của họ dường như mô phỏng gần giống với RedHat, những người đã xây dựng một doanh nghiệp tỷ đô trên hệ điều hành Linux. Không có nhà cung cấp lớn nào trong ngành công nghiệp phần mềm doanh nghiệp không viết cho Linux, hệ điều hành mà IBM đứng đầu Microsoft đã vượt qua. Nhưng Hadoop không phải là Linux, không phải là một cú sút xa.

Tiến sĩ Geoffrey Malafsky, cựu nhà công nghệ nano của Hải quân Hoa Kỳ, hiện là nhà khoa học dữ liệu của Phasic Systems và Viện PSIKORS, chắt lọc đề xuất giá trị Hadoop như thế này:

"Hadoop rất tốt cho tìm kiếm, phân tích xu hướng rất lớn cho kết quả ngẫu nhiên, và có khả năng xử lý song song thông minh rất rẻ tiền như vợ cũ của tôi đã từng làm: tính toán hàm sóng cơ học lượng tử của các phản ứng hóa học và trạng thái rắn. trên siêu máy tính và chuyển phần nào sang xử lý song song, nhưng đó là một thay đổi khó khăn của phương pháp lập trình. Sinh viên tốt nghiệp trẻ, thông minh, năng động sẽ là người thực hiện điều này. Tôi nghi ngờ các khoản tài trợ nghiên cứu bắt đầu theo hướng này cho một số tính toán mạnh mẽ các ứng dụng."

Bạn sẽ nhận thấy rằng không có âm thanh gì như kho dữ liệu, kinh doanh thông minh, tích hợp dữ liệu hoặc thậm chí dữ liệu lớn. Nghe có vẻ như siêu máy tính. Và vì một số lý do thú vị, thế giới của máy tính hiệu suất cao và trí tuệ kinh doanh không bao giờ thực sự va chạm hay kết hợp theo bất kỳ cách có ý nghĩa nào.

Con đường dài phía trước cho Hortonworks và Cloudera

Và đây là những tin tức thực sự tồi tệ cho Hortonworks và có thể là Cloudera. Các nhà cung cấp lớn như IBM và SAP và Oracle và Teradata, nói một cách nhẹ nhàng và trích dẫn Dire Straits: "Họ không ngu ngốc!" Ba năm trước, tất cả đều đưa ra các chiến lược Hadoop nghiêm túc.

Trọng tâm của các kế hoạch này là những thứ mà người dùng doanh nghiệp mong đợi: giao diện người dùng đồ họa, chức năng kéo và thả, công cụ mô hình hóa và khám phá, luồng công việc, quản trị, bảo mật; Nói tóm lại, tất cả các bit và phần làm cho phần mềm doanh nghiệp có thể sử dụng được. Và tất nhiên, các nhà cung cấp lớn này có cơ sở cài đặt lớn.

Để chắc chắn, cả Cloudera và Hortonworks đều đã đạt được kết quả kinh doanh tốt, nhưng chỉ một phần rất nhỏ trong số những người chơi chính đó nhận được mỗi năm. Làm toán về mức độ những người thách thức tính phí khách hàng của họ, so với khả năng chi phí của họ là bao nhiêu, và bức tranh không phải là màu hồng. Cấp, đó là ngang bằng với khóa học với mối quan tâm phần mềm giai đoạn đầu, nhưng vẫn …

Tương lai của Hadoop?

Vì vậy, liệu chúng ta có thể thấy làn sóng mua lại cổ điển, như chúng ta đã quay trở lại, khi IBM mua Cognos, Oracle đã mua Hyperion và SAP mua lại BusinessObjects? Có lẽ, nhưng những đứa trẻ mới trong khối này không sở hữu Hadoop; họ chỉ mượn nó Và đầy hứa hẹn như YARN và Tez, các chu kỳ phát hành dường như bị tụt lại phía sau những gì những người chơi nặng tạo ra.

Mới hôm nọ, một người trong ngành đã bình luận rằng chính trị tại Apache có thể là một nút cổ chai nghiêm trọng. Điều này không phải là quá đáng ngạc nhiên, đặc biệt là khi bạn xem xét đồng đô la liên quan đến việc có một động lực lớn để các nhà đổi mới tấn công nó trở nên giàu có. Và có ai để ý cách Chrome dường như đã vượt qua Firefox về chức năng và khả năng hoạt động gần đây không? Nguồn đóng, có ai không?

Một điều chắc chắn: trò chơi này sẽ diễn ra theo một số cách thú vị. Vâng, các động vật có vú (đọc: các nhà cung cấp nhỏ) thường có thể vượt qua khủng long; nhưng vẫn còn cá sấu và cá sấu trên toàn thế giới; và nếu bạn vấp phải một điều bất ngờ, bạn có thể khám phá xem những chiếc răng đó có thể sắc bén đến mức nào. Một vài con cá sấu cùng nhau thậm chí có thể hạ gục một hoặc hai con voi.