Hoàn cảnh nào dẫn đến sự gia tăng của hệ sinh thái dữ liệu lớn?

Q:

Hoàn cảnh nào dẫn đến sự gia tăng của hệ sinh thái dữ liệu lớn?

Có nhiều yếu tố góp phần vào sự xuất hiện của hệ sinh thái dữ liệu lớn ngày nay, nhưng có một sự đồng thuận chung rằng dữ liệu lớn xuất hiện do một loạt các thiết kế phần cứng và phần mềm cho phép tồn tại dữ liệu lớn.

Một định nghĩa thông thường về dữ liệu lớn như sau: Các tập dữ liệu đủ lớn và phức tạp để chúng thách thức việc quản lý lặp dễ dàng hoặc quản lý bằng tay. Các tập dữ liệu lớn thường được xác định là các tập dữ liệu không thể phù hợp với mạng cơ sở dữ liệu đơn giản, vì phân tích của chúng đòi hỏi quá nhiều công việc của các máy chủ xử lý dữ liệu.

Với ý nghĩ đó, một phần chính của những gì tạo ra dữ liệu lớn là ý tưởng mà chúng ta biết là Định luật Moore, hoặc tăng gấp đôi bóng bán dẫn trên một mạch mỗi hai năm, tạo ra các thiết bị lưu trữ phần cứng và dữ liệu nhỏ hơn (cũng như các bộ vi xử lý mạnh hơn) . Cùng với Định luật Moore và có lẽ vì nó, khả năng tính toán của các hệ thống phần mềm có thể truy cập tiếp tục tăng lên, đến mức ngay cả máy tính cá nhân cũng có thể xử lý lượng dữ liệu lớn hơn nhiều, và các hệ thống kinh doanh và tiên phong bắt đầu có thể xử lý kích thước dữ liệu không thể tưởng tượng chỉ vài năm trước. Các hệ thống cá nhân đã chuyển từ kilobyte sang megabyte, sau đó sang gigabyte, trong một quy trình minh bạch cho người tiêu dùng. Các hệ thống Vanguard đã chuyển từ gigabyte sang terabyte và petabyte, và theo các đơn đặt hàng có cường độ như zetabyte, theo cách ít minh bạch hơn đối với người dân bình thường.

Một tiến bộ khác chứa dữ liệu lớn là những thay đổi trong cách xử lý các bộ dữ liệu. Thay vì xử lý tuyến tính thông qua thiết kế cơ sở dữ liệu quan hệ thông thường, các trình xử lý bắt đầu sử dụng các công cụ như Apache Hadoop và các phần quản lý phần cứng có liên quan để loại bỏ các tắc nghẽn trong quy trình dữ liệu.

Kết quả là thế giới dữ liệu lớn mà chúng ta đang sống, nơi các bộ dữ liệu khổng lồ được lưu trữ và duy trì trong các trung tâm dữ liệu và ngày càng được truy cập bởi một loạt các công nghệ cho nhiều mục đích sử dụng. Từ thương mại đến sinh thái, từ kế hoạch công cộng đến y học, dữ liệu lớn ngày càng trở nên dễ tiếp cận hơn. Trong khi đó, các cơ quan chính phủ và các tổ chức lớn hơn khác vẫn đang đẩy ranh giới của các kích thước dữ liệu lớn và thực hiện các giải pháp tiên tiến hơn nữa.