Như nó là, Giám đốc điều hành Cloudera Mike Olson, nền tảng phân tích Hadoop có một số hạn chế đáng kể liên quan đến tốc độ và độ phức tạp. Tuy nhiên, các nhà lãnh đạo ngành - bao gồm cả những người tại công ty riêng của mình - đang nỗ lực thay đổi điều đó, tự tin rằng công cụ nghiên cứu này sẽ phát triển theo những cách cơ bản trong những năm tới.
Tại Hội nghị Strata năm ngoái, Olson đã yêu cầu khán giả tưởng tượng, nếu nó được tạo ra ngày hôm nay, Hadoop sẽ được thiết kế khác nhau, cho thấy một số thay đổi cụ thể có thể mở ra cánh cổng mới để nghiên cứu trong các lĩnh vực như giáo dục, năng lượng và nông nghiệp. Trích dẫn nhà vũ trụ học và tác giả khoa học Carl Sagan, Olson nhấn mạnh tầm quan trọng của việc phá vỡ dữ liệu cấp cao cho một đối tượng lớn hơn.
"Tôi nghĩ rằng chúng ta đã sẵn sàng ở rìa của những khám phá lớn quan trọng đối với kinh doanh và xã hội, " Olson nói.
Một ví dụ, ông lưu ý, là khám phá khoa học được thực hiện bởi công trình của các chuyên gia khoa học tại Large Hadron Collider ở Thụy Sĩ. Theo Olson, đó là việc đánh giá hàng ngày 37 terabyte dữ liệu đã dẫn đến những tiến bộ quan trọng như phát hiện ra Higgs-Boson đầu nguồn, cho thấy các khía cạnh chính của vật chất và năng lượng. Olson nói thêm rằng Hadoop giúp hỗ trợ các dự án nghiên cứu cơ bản này bằng cách thu thập một lượng dữ liệu khổng lồ trong một kho lưu trữ, nhưng khó có thể tương tác với dữ liệu đó trong thời gian thực.
Tuyệt vời về những cách mà Hadoop và các công nghệ tương tự có thể giúp các nhà khoa học trong các lĩnh vực quan trọng, như chăm sóc sức khỏe, Olson cũng công bố dự án Impala, một công ty mà ông đã làm việc trong hai năm, với hai phần tư thử nghiệm beta phối hợp với chính khách hàng Dự án Impala, Olson, là một công nghệ "nguồn mở 100%" với giấy phép Apache hoạt động với Hadoop như một "công cụ truy vấn thời gian thực". Điều này, Olson nói, cho phép cái mà anh ta gọi là "tốc độ truy vấn suy nghĩ", nơi người dùng có thể đặt câu hỏi, nhận câu trả lời và hình thành một câu hỏi mới để sử dụng hiệu quả các cụm dữ liệu chính.
"Nó mang đến cho bạn một cách mới để lấy dữ liệu của bạn", Olson nói, nêu rõ cách thức tiến bộ này có thể phá vỡ các cơ hội bổ sung để giải quyết các vấn đề lớn ở Mỹ và nước ngoài.
