Bởi nhân viên Techopedia, ngày 24 tháng 2 năm 2016
Takeaway: Host Rebecca Jozwiak thảo luận về phân tích phát trực tuyến với các chuyên gia hàng đầu trong ngành.
Bạn hiện chưa đăng nhập. Vui lòng đăng nhập hoặc đăng ký để xem video.
Rebecca Jozwiak: Thưa quý vị và các bạn, xin chào và chào mừng đến với Hot Technologies 2016! Tiêu đề của ngày hôm nay là Khai thác Firehose: Nhận giá trị doanh nghiệp từ phân tích phát trực tuyến. Đây là Rebecca Jozwiak. Tôi là người chỉ huy thứ hai cho máy chủ webcast bất cứ khi nào Eric Kavanagh thân yêu của chúng tôi không thể ở đây, vì vậy thật tuyệt khi thấy nhiều bạn ngoài đó hôm nay.
Tập phim này là một chút khác biệt với những người khác của chúng tôi. Chúng tôi đã nói về những gì nóng và tất nhiên năm nay là nóng. Vài năm qua đã nóng. Luôn có những thứ mới xuất hiện. Hôm nay, chúng ta đang nói về phân tích phát trực tuyến. Phân tích trực tuyến là loại mới của chính nó. Tất nhiên là phát trực tuyến, dữ liệu trung tâm, dữ liệu RFID, những dữ liệu này không nhất thiết phải mới. Nhưng trong bối cảnh kiến trúc dữ liệu, chúng tôi đã tập trung vào dữ liệu trong nhiều thập kỷ. Cơ sở dữ liệu, hệ thống tệp, kho dữ liệu - tất cả cho mục đích chủ yếu là xử lý hàng loạt. Nhưng bây giờ với sự thay đổi để tạo ra giá trị từ truyền dữ liệu, cảm xúc dữ liệu, một số người gọi đó là luồng sống, họ thực sự yêu cầu kiến trúc dựa trên luồng chứ không phải dữ liệu tại các kiến trúc còn lại mà chúng ta đã sử dụng và nó cần có khả năng xử lý nuốt nhanh, xử lý thời gian thực hoặc gần thời gian thực. Nó phải có khả năng phục vụ không chỉ cho Internet vạn vật mà cả Internet vạn vật.
Tất nhiên, lý tưởng, sẽ thật tuyệt khi có hai kiến trúc sống cạnh nhau, một tay rửa tay còn lại, có thể nói như vậy. Mặc dù dữ liệu cũ, dữ liệu hàng tuần, dữ liệu cũ vẫn có giá trị, phân tích lịch sử, phân tích xu hướng, đó là dữ liệu trực tiếp thúc đẩy trí thông minh trực tiếp ngày nay và đó là lý do tại sao phân tích phát trực tuyến trở nên rất quan trọng.
Tôi đang nói nhiều hơn về điều đó ngày hôm nay. Chúng tôi có nhà khoa học dữ liệu của chúng tôi, Dez Blanchfield, gọi từ Úc. Bây giờ là sáng sớm cho anh ấy. Chúng tôi có nhà phân tích chính của chúng tôi, Tiến sĩ Robin Bloor. Chúng tôi được tham gia bởi Anand Venugopal, người đứng đầu sản phẩm cho StreamAnalytix tại Impetus Technologies. Họ thực sự tập trung vào khía cạnh phân tích phát trực tuyến của không gian này.
Với điều đó, tôi sẽ đi trước và chuyển nó cho Dez.
Dez Blanchfield: Cảm ơn bạn. Tôi cần phải giành quyền kiểm soát màn hình ở đây và bật về phía trước.
Rebecca Jozwiak: Ở đây bạn đi.
Dez Blanchfield: Trong khi chúng tôi nắm lấy các slide, hãy để tôi chỉ đề cập đến chủ đề cốt lõi.
Tôi sẽ giữ nó ở mức khá cao và tôi sẽ giữ nó trong khoảng 10 phút. Đây là một chủ đề rất lớn. Tôi đã tham gia vào một sự kiện trong đó chúng tôi dành hai đến ba ngày để tìm hiểu chi tiết về xử lý luồng là gì và các khung hiện tại mà chúng tôi đang phát triển và việc phân tích trong các luồng có khối lượng lớn đó có nghĩa là gì.
Chúng tôi sẽ chỉ làm rõ những gì chúng tôi muốn nói bằng cách phân tích phân tích và sau đó đi sâu vào việc liệu giá trị doanh nghiệp có thể được lấy ra hay không bởi vì đó thực sự là những gì doanh nghiệp đang tìm kiếm. Họ đang mong muốn mọi người giải thích cho họ rất nhanh và ngắn gọn, tôi có thể lấy giá trị ở đâu bằng cách áp dụng một số dạng phân tích cho dữ liệu truyền phát của chúng tôi?
Phân tích phát trực tuyến là gì?
Phân tích phát trực tuyến cung cấp cho các tổ chức một cách để trích xuất giá trị từ dữ liệu khối lượng lớn và tốc độ cao mà họ đã đi qua doanh nghiệp dưới nhiều hình thức khác nhau trong chuyển động. Sự khác biệt đáng kể ở đây là chúng tôi đã có lịch sử phát triển phân tích và ống kính và chế độ xem dữ liệu mà chúng tôi đã xử lý trong nhiều thập kỷ kể từ khi máy tính lớn được phát minh. Sự thay đổi mô hình lớn mà chúng ta đã thấy trong ba đến năm năm qua ở cái mà chúng ta gọi là quy mô web của Google, đang khai thác các luồng dữ liệu đến với chúng ta trong thời gian thực hoặc gần thời gian thực, không chỉ xử lý và tìm kiếm mối tương quan sự kiện hay kích hoạt sự kiện nhưng thực hiện phân tích thực sự chi tiết, chuyên sâu về các luồng đó. Đó là một sự thay đổi đáng kể so với những gì chúng ta đã làm trước đây là thu thập dữ liệu, đưa nó vào một loại kho lưu trữ, cơ sở dữ liệu lớn truyền thống bây giờ, các khung dữ liệu lớn lớn như nền tảng Hadoop và thực hiện xử lý chế độ hàng loạt trên đó và nhận được một số loại cái nhìn sâu sắc.
Chúng tôi đã rất giỏi trong việc thực hiện điều đó rất nhanh và thử rất nhiều thứ sắt, nhưng chúng tôi vẫn thực sự thu thập dữ liệu, lưu trữ và sau đó nhìn vào nó và nhận được một số hiểu biết hoặc phân tích về nó. Sự thay đổi để thực hiện các phân tích đó khi dữ liệu đang truyền phát là một lĩnh vực tăng trưởng rất mới và thú vị cho các loại sự việc xảy ra xung quanh dữ liệu lớn. Nó đòi hỏi một cách tiếp cận hoàn toàn khác để chỉ nắm bắt, lưu trữ và xử lý và thực hiện phân tích.
Một trong những yếu tố chính thúc đẩy sự thay đổi và tập trung vào việc thực hiện phân tích trong luồng là bạn có thể đạt được giá trị kinh doanh đáng kể từ việc có được những hiểu biết nhanh hơn và dễ dàng hơn khi dữ liệu được cung cấp cho bạn, vì thông tin được cung cấp cho doanh nghiệp. Ý tưởng thực hiện xử lý cuối ngày bây giờ không còn phù hợp trong một số ngành công nghiệp nhất định. Chúng tôi muốn có thể thực hiện phân tích một cách nhanh chóng. Đến cuối ngày, chúng ta đã biết những gì đã xảy ra như nó đã xảy ra thay vì đến cuối ngày và làm một công việc hàng loạt 24 giờ và nhận được những hiểu biết đó.
Phân tích phát trực tuyến là về việc khai thác ngay vào luồng đó trong khi các luồng dữ liệu thường là nhiều luồng dữ liệu và dữ liệu rất lớn đến với chúng tôi rất nhanh và nhận được thông tin chi tiết hoặc phân tích về các luồng đó khi chúng đến với chúng tôi. để cho phép xuất hiện ở phần còn lại và thực hiện phân tích về chúng.
Như tôi đã đề cập, chúng tôi đã có hàng thập kỷ để thực hiện những gì tôi gọi là phân tích hàng loạt. Tôi đã đặt một hình ảnh thực sự mát mẻ ở đây. Đây là hình ảnh một quý ông đứng trước máy tính bị chế nhạo do RAND Corporation tạo ra cách đây cả đời và đây là những gì họ đã xem một máy tính trong nhà để trông như thế nào. Điều thú vị là ngay cả khi đó, họ đã có khái niệm về tất cả các mặt số nhỏ này và các mặt số này thể hiện thông tin từ nhà và được xử lý trong thời gian thực và cho bạn biết những gì đang xảy ra. Một ví dụ đơn giản là một tập hợp áp suất và nhiệt độ khí quyển mà chúng ta có thể thấy nơi chúng ta đang thấy những gì đang xảy ra trong thời gian thực. Nhưng tôi tưởng tượng rằng ngay cả khi đó, khi RAND Corporation kết hợp bản mô phỏng nhỏ đó, họ thực sự đã nghĩ đến việc xử lý dữ liệu và thực hiện phân tích trên đó khi nó ở định dạng luồng. Tôi không chắc tại sao họ lại đặt vô lăng vào máy tính, nhưng điều đó khá tuyệt.
Kể từ khi phát minh ra máy in, chúng tôi đã có quan điểm thu thập dữ liệu và thực hiện phân tích hàng loạt trên đó. Như tôi đã nói với sự thay đổi lớn hiện nay và chúng ta đã thấy điều này từ những người thích quy mô web mà chúng ta đều biết, tất cả họ đều là những thương hiệu gia đình như Twitter, Facebook và LinkedIn, hành vi tương tác mà chúng ta có với những người xã hội đó các nền tảng không chỉ yêu cầu chụp, lưu trữ và sau đó xử lý ở chế độ hàng loạt mà chúng còn thực sự thu thập và điều khiển phân tích một cách nhanh chóng từ các luồng dữ liệu đi qua. Khi tôi Tweet một cái gì đó, họ không chỉ cần nắm bắt và lưu trữ và làm một cái gì đó sau đó, mà họ còn cần có thể đưa nó trở lại ngay lập tức trên luồng của tôi và chia sẻ nó với những người khác theo dõi tôi. Đó là một mô hình xử lý hàng loạt.
Tại sao chúng ta sẽ đi xuống tuyến đường này? Tại sao các tổ chức sẽ đầu tư thời gian, công sức và tiền bạc vào việc xem xét thách thức của việc nỗ lực theo con đường phân tích luồng? Các tổ chức có mong muốn lớn này để đạt được hiệu suất vượt trội so với các đối thủ trong ngành mà họ đang làm và việc tăng hiệu suất có thể được thực hiện nhanh chóng thông qua các phân tích luồng đơn giản và nó có thể bắt đầu chỉ bằng cách theo dõi dữ liệu thời gian thực mà chúng ta đã quen thuộc với. Tôi có một ảnh chụp màn hình nhỏ của Google Analytics. Đây có lẽ là một trong những lần đầu tiên chúng tôi thực sự có được các phân tích cấp độ người tiêu dùng thực hành. Vì vậy, khi mọi người truy cập trang web của bạn và bạn đang nhận được số lượt truy cập đó, với một đoạn JavaScript nhỏ ở cuối trang web của bạn được nhúng trong trang web của bạn, những mã nhỏ này đã được tạo ra trong thời gian thực trở lại Google và chúng đã được tạo ra thực hiện phân tích trên các luồng dữ liệu đến từ mọi trang trên trang web của bạn, mọi đối tượng trên trang web của bạn trong thời gian thực và họ gửi lại cho bạn trong trang web nhỏ thực sự dễ thương này trong bảng điều khiển biểu đồ thời gian thực, biểu đồ nhỏ dễ thương và biểu đồ đường hiển thị cho bạn X số người truy cập trang của bạn trong lịch sử, nhưng hiện tại có bao nhiêu người.
Như bạn có thể thấy trên ảnh chụp màn hình đó, nó hiện 25 ngay bây giờ. Đó là 25 người ngay tại thời điểm chụp màn hình đó trên trang đó. Đó là cơ hội thực sự đầu tiên chúng tôi chơi trên công cụ phân tích cấp tiêu dùng. Tôi nghĩ rằng rất nhiều người thực sự hiểu nó. Họ chỉ hiểu sức mạnh của việc biết những gì đang xảy ra và làm thế nào họ có thể phản ứng với nó. Khi chúng ta nghĩ về quy mô của hệ thống điện tử hàng không, máy bay bay xung quanh, có khoảng 18.700 chuyến bay nội địa một ngày chỉ riêng ở Hoa Kỳ. Tôi đã đọc một bài báo cách đây một thời gian - đó là khoảng sáu hoặc bảy năm trước - rằng lượng dữ liệu được tạo ra bởi những chiếc máy bay đó là khoảng 200 đến 300 megabyte trong mô hình kỹ thuật cũ. Trong các thiết kế máy bay ngày nay, những chiếc máy bay này đang tạo ra khoảng 500 gigabyte dữ liệu hoặc khoảng nửa terabyte dữ liệu trên mỗi chuyến bay.
Khi bạn thực hiện phép toán rất nhanh khỏi đỉnh đầu, 18.700 chuyến bay nội địa cứ sau 24 giờ trên không phận Hoa Kỳ, nếu tất cả các máy bay hiện đại đang tạo ra khoảng một nửa terabyte, đó là 43 đến 44 petabyte dữ liệu đi qua và nó đang xảy ra trong khi các máy bay đang ở trên không trung. Điều đó xảy ra khi họ hạ cánh và họ thực hiện các bãi dữ liệu. Đó là khi họ đi vào cửa hàng và có một bãi chứa dữ liệu đầy đủ từ các đội kỹ thuật để xem xét những gì xảy ra trong vòng bi, bánh xe và bên trong động cơ. Một số dữ liệu đó phải được xử lý trong thời gian thực để họ có thể đưa ra quyết định nếu có vấn đề thực sự trong khi máy bay ở trên không hoặc trong khi nó ở trên mặt đất. Bạn không thể làm điều đó trong chế độ hàng loạt. Trong các ngành công nghiệp khác mà chúng ta thấy ngoài kia về tài chính, y tế, sản xuất và kỹ thuật, họ cũng đang xem làm thế nào họ có thể có được cái nhìn sâu sắc mới này về những gì xảy ra trong thời gian thực trái ngược với những gì được lưu trữ trong cơ sở dữ liệu trên một kỳ hạn.
Ngoài ra còn có khái niệm xử lý dữ liệu như những gì tôi gọi là hàng hóa dễ hỏng hoặc hàng hóa dễ hỏng - rằng rất nhiều dữ liệu mất giá trị theo thời gian. Điều này ngày càng xảy ra với các ứng dụng di động và các công cụ truyền thông xã hội bởi vì những gì mọi người đang nói và những gì đang là xu hướng bây giờ là những gì bạn muốn phản hồi. Khi bạn nghĩ về những phần khác trong cuộc sống của chúng ta với hậu cần và vận chuyển thực phẩm xung quanh, chúng ta hiểu khái niệm hàng hóa dễ hỏng theo nghĩa đó. Nhưng hãy nghĩ về dữ liệu đi qua tổ chức của bạn và giá trị của nó. Nếu ai đó đang làm việc với bạn ngay bây giờ và bạn có thể tương tác với họ theo thời gian thực, bạn không muốn đợi một giờ để dữ liệu có thể được ghi lại và đưa vào hệ thống như Hadoop và sau đó nhấn nút này, bạn sẽ không thể giải quyết ngay bây giờ và bạn muốn có thể làm điều đó theo yêu cầu của khách hàng ngay lập tức. Có một thuật ngữ bạn sẽ thấy hiện lên rất nhiều khi mọi người nói về việc có luồng dữ liệu thời gian thực này có thể mang lại cho bạn cá nhân hóa và giai điệu cá nhân hóa đó trong hệ thống mà bạn đang sử dụng cho trải nghiệm cá nhân của mình. Vì vậy, khi bạn nhấn một công cụ như công cụ Tìm kiếm của Google chẳng hạn, nếu tôi thực hiện một truy vấn và bạn thực hiện cùng một truy vấn, thì chúng tôi sẽ không nhận được cùng một dữ liệu. Chúng tôi nhận được về cơ bản những gì tôi đề cập đến như một kinh nghiệm người nổi tiếng. Tôi đang điều trị một lần. Tôi có phiên bản cá nhân của riêng mình về những gì xảy ra trong các hệ thống này dựa trên hồ sơ và dữ liệu mà chúng đã thu thập trên tôi và tôi có thể thực hiện phân tích theo thời gian thực trong luồng.
Ý tưởng về dữ liệu là một hàng hóa dễ hỏng là một điều có thật cho đến bây giờ và giá trị của dữ liệu bị giảm dần theo thời gian là điều mà chúng ta phải đối phó ngày nay. Nó không phải là một điều ngày hôm qua. Tôi thích hình ảnh một con gấu đang bắt một con cá hồi nhảy ra khỏi sông bởi vì nó thực sự vẽ chính xác những gì tôi thấy phân tích phát trực tuyến. Đây là dòng dữ liệu khổng lồ đến với chúng tôi, nếu bạn muốn, và con gấu đang ngồi giữa con lạch. Nó sẽ thực hiện các phân tích thời gian thực về những gì xảy ra xung quanh nó để nó thực sự có thể tạo ra khả năng bắt được con cá đó trong không khí. Nó không giống như chỉ nhúng vào dòng và lấy một cái. Thứ này đang nhảy lên không trung và nó phải ở đúng nơi, đúng lúc để bắt được con cá đó. Nếu không, anh ta không ăn sáng hoặc ăn trưa.
Một tổ chức muốn làm điều tương tự với dữ liệu của họ. Họ muốn trích xuất giá trị từ khối lượng dữ liệu khổng lồ hiện đang chuyển động. Họ muốn thực hiện phân tích trên dữ liệu đó và dữ liệu tốc độ cao để nó không chỉ là lượng dữ liệu đến với chúng tôi mà là tốc độ mà nó đến từ đây. Ví dụ, để bảo mật, tất cả các bộ định tuyến, bộ chuyển mạch, máy chủ, tường lửa và tất cả các sự kiện đến từ đó và hàng chục nghìn nếu không phải là hàng trăm ngàn thiết bị, trong một số trường hợp là dữ liệu dễ hỏng. Khi chúng ta nghĩ về nó trong Internet vạn vật và Internet công nghiệp, chúng ta sẽ nói về hàng triệu nếu cuối cùng không phải là hàng tỷ cảm biến, và khi dữ liệu đi qua đang thực hiện phân tích, chúng ta đang xem xét xử lý các sự kiện phức tạp theo thứ tự cường độ và tốc độ mà chúng ta chưa từng thấy trước đây và chúng ta phải đối phó với điều này ngày hôm nay. Chúng ta phải xây dựng các công cụ và hệ thống xung quanh đó. Đó là một thách thức thực sự đối với các tổ chức bởi vì một mặt, chúng ta đã có những thương hiệu rất lớn làm DIY, tự nướng nó, khi họ có khả năng làm điều đó và bộ kỹ năng và kỹ thuật. Nhưng đối với tổ chức trung bình, đó không phải là trường hợp. Họ không có bộ kỹ năng. Họ không có khả năng hoặc thời gian hay thậm chí là tiền để đầu tư để tìm ra nó. Tất cả họ đều hướng tới khái niệm về việc ra quyết định gần như thời gian thực.
Sử dụng các trường hợp mà tôi đã gặp, và chúng nằm trên mọi phổ rộng của mọi lĩnh vực mà bạn có thể tưởng tượng, mọi người đang ngồi dậy và chú ý và nói, làm thế nào để chúng tôi áp dụng một số phân tích cho dữ liệu truyền phát của mình? Chúng tôi nói về các dịch vụ trực tuyến quy mô web. Có các nền tảng truyền thông xã hội truyền thống và bán lẻ và bán lẻ trực tuyến - ví dụ như các ứng dụng. Tất cả họ đều cố gắng cho chúng tôi trải nghiệm người nổi tiếng thời gian thực này. Nhưng khi chúng tôi tìm hiểu thêm về các dịch vụ ngăn xếp công nghệ, dịch vụ điện thoại, thoại và video, tôi thấy mọi người đi bộ xung quanh khi thực hiện FaceTime trên điện thoại. Nó chỉ nổ tung thôi. Nó làm tôi suy nghĩ rằng mọi người giơ điện thoại ra trước mặt họ và nói chuyện với một luồng video của một người bạn chứ không phải cầm nó lên tai họ nữa. Nhưng họ biết họ có thể làm được và họ thích nghi và họ thích trải nghiệm đó. Sự phát triển của các ứng dụng này và các nền tảng đang phân phối chúng phải thực hiện phân tích thời gian thực trên lưu lượng đó và trên hồ sơ lưu lượng để chúng có thể thực hiện những việc đơn giản như định tuyến video đó một cách hoàn hảo để chất lượng giọng nói trong video mà bạn nhận được là đủ để có được trải nghiệm tốt. Bạn không thể xử lý hàng loạt loại dữ liệu đó. Nó sẽ không làm cho luồng video thời gian thực trở thành một dịch vụ chức năng.
Có một thách thức quản trị trong các giao dịch tài chính. Không có gì là đến cuối ngày và phát hiện ra bạn đã vi phạm luật di chuyển dữ liệu riêng tư khắp nơi. Ở Úc, chúng tôi có một thách thức rất thú vị khi việc di chuyển dữ liệu liên quan đến quyền riêng tư ra nước ngoài là không nên. Bạn không thể lấy PID của tôi, dữ liệu nhận dạng cá nhân riêng tư của tôi, ở nước ngoài. Có luật pháp ở Úc để ngăn chặn điều đó xảy ra. Các nhà cung cấp dịch vụ tài chính đặc biệt là các dịch vụ của chính phủ và các cơ quan, họ phải thực hiện phân tích thời gian thực trên các luồng dữ liệu và hướng dẫn của tôi để đảm bảo rằng những gì họ cung cấp cho tôi sẽ không rời khỏi bờ biển. Tất cả các công cụ phải ở lại địa phương. Họ đã phải làm điều đó theo thời gian thực. Họ không thể vi phạm pháp luật và yêu cầu sự tha thứ sau đó. Phát hiện gian lận - đó là một điều khá rõ ràng mà chúng ta nghe thấy với các giao dịch thẻ tín dụng. Nhưng vì các loại giao dịch chúng ta đang thực hiện trong các dịch vụ tài chính đang thay đổi rất nhanh chóng, có những thứ mà PayPal đang thực hiện đầu tiên trong việc phát hiện gian lận trong thời gian thực khi tiền không chuyển từ thứ này sang thứ khác nhưng nó một giao dịch tài chính giữa các hệ thống. Các nền tảng đấu thầu Ebay, phát hiện gian lận phải được thực hiện trong thời gian thực trong một văn phòng phát trực tuyến.
Hiện tại có một xu hướng chuyển sang thực hiện trích xuất và chuyển đổi hoạt động tải trong các luồng, vì vậy chúng tôi không muốn nắm bắt bất cứ điều gì đang đi vào luồng. Chúng tôi thực sự không thể làm điều đó. Mọi người đã học được rằng dữ liệu thích bị phá vỡ thực sự nhanh chóng nếu chúng ta nắm bắt mọi thứ. Bí quyết bây giờ là thực hiện phân tích trên các luồng đó và thực hiện ETL trên đó và chỉ cần nắm bắt những gì bạn cần, siêu dữ liệu tiềm năng và sau đó lái các phân tích dự đoán nơi chúng ta thực sự có thể nói những gì sẽ xảy ra xa hơn một chút về những gì chúng ta sẽ biết Chúng ta vừa thấy trong luồng dựa trên các phân tích mà chúng tôi đã thực hiện trên đó.
Các nhà cung cấp năng lượng và tiện ích đang trải qua mong muốn lớn này từ người tiêu dùng để có giá theo nhu cầu. Tôi có thể quyết định rằng tôi muốn mua năng lượng xanh vào một thời điểm cụ thể trong ngày vì tôi chỉ ở nhà một mình và tôi không sử dụng nhiều thiết bị. Nhưng nếu tôi có một bữa tiệc tối, tôi có thể muốn có tất cả các thiết bị của mình và tôi không muốn mua năng lượng rẻ và chờ đợi nó được giao nhưng sẵn sàng trả thêm chi phí để có được sức mạnh đó. Giá nhu cầu này đặc biệt là trong các tiện ích và không gian năng lượng đã xảy ra. Ví dụ, Uber là một ví dụ cổ điển về những điều bạn có thể làm mỗi ngày và tất cả đều được thúc đẩy bởi giá cả theo nhu cầu. Có một số ví dụ kinh điển về việc người dân ở Úc nhận được 10.000 đô la vì nhu cầu lớn vào đêm giao thừa. Tôi chắc chắn rằng họ đã xử lý vấn đề đó nhưng phân tích luồng được thực hiện trong thời gian thực trong khi ở trong xe cho bạn biết tôi nên trả bao nhiêu.
Internet vạn vật và các luồng cảm biến - chúng ta chỉ mới hiểu sơ qua về điều này và chúng ta thực sự đã có cuộc trò chuyện cơ bản xảy ra về vấn đề này nhưng chúng ta sẽ thấy một sự thay đổi thú vị trong cách công nghệ xử lý vấn đề đó bởi vì khi bạn không nói chuyện chỉ khoảng hàng ngàn hoặc hàng chục ngàn nhưng hàng trăm ngàn và hàng tỷ thiết bị có khả năng phát trực tuyến cho bạn, hầu như không có ngăn xếp công nghệ nào chúng ta có bây giờ được thiết kế để đối phó với điều đó.
Có một số chủ đề thực sự nóng mà chúng ta sẽ thấy xung quanh nơi này như rủi ro bảo mật và rủi ro không gian mạng. Chúng là những thách thức rất thực tế đối với chúng tôi. Có một công cụ thực sự gọn gàng tên là North trên web nơi bạn có thể ngồi và xem trong một trang web các cuộc tấn công mạng khác nhau xảy ra trong thời gian thực. Khi bạn nhìn vào nó, bạn nghĩ rằng đó là một trang web nhỏ dễ thương, rất tuyệt, nhưng sau khoảng năm phút ở đó, bạn nhận ra khối lượng dữ liệu mà hệ thống đang phân tích trên tất cả các luồng khác nhau của tất cả các thiết bị khác nhau trên thế giới đang được cho ăn vào chúng. Nó bắt đầu làm rối loạn tâm trí về cách họ thực hiện điều đó ở rìa của bản ghi đó và cung cấp cho bạn màn hình nhỏ đơn giản đó cho bạn biết những gì hoặc một cái gì khác tấn công thời gian thực và loại tấn công nào. Nhưng đó là một cách thực sự gọn gàng để có được cảm nhận tốt về những gì phân tích luồng có thể có khả năng làm cho bạn trong thời gian thực bằng cách chỉ xem trang này và hiểu được âm lượng và thách thức của việc truyền phát, xử lý truy vấn phân tích họ và đại diện cho điều đó trong thời gian thực.
Tôi nghĩ rằng cuộc trò chuyện mà tôi có trong phần còn lại của phiên sẽ giải quyết tất cả các loại điều đó với một quan điểm thú vị, theo quan điểm của tôi, và đó là thách thức của DIY, tự nướng, phù hợp với một số kỳ lân cổ điển có khả năng đủ khả năng để xây dựng những loại điều đó. Họ đã có hàng tỷ đô la để xây dựng các nhóm kỹ thuật này và xây dựng các trung tâm dữ liệu của họ. Nhưng đối với 99, 9% các tổ chức ngoài kia muốn thúc đẩy giá trị trong hoạt động kinh doanh phân tích luồng của họ, họ cần có được một dịch vụ sẵn có. Họ cần mua một sản phẩm ngay lập tức và họ thường cần một số dịch vụ tư vấn và dịch vụ chuyên nghiệp để giúp họ thực hiện và họ lấy lại giá trị đó trong doanh nghiệp và bán lại cho doanh nghiệp như một giải pháp làm việc.
Với điều đó, tôi sẽ trao lại cho bạn, Rebecca, bởi vì tôi tin rằng đó là những gì chúng tôi sắp trình bày chi tiết.
Rebecca Jozwiak: Tuyệt vời. Cảm ơn bạn rất nhiều, Dez. Đó là một bài thuyết trình tuyệt vời.
Bây giờ, tôi sẽ chuyền bóng cho Robin. Mang nó đi.
Robin Bloor: Được rồi. Bởi vì Dez đã đi sâu vào quá trình xử lý luồng, nên dường như tôi không có ý nghĩa gì để che đậy nó một lần nữa. Vì vậy, tôi sẽ có một cái nhìn hoàn toàn chiến lược. Nhìn gần như từ mức độ rất cao về những gì đang xảy ra và định vị nó bởi vì tôi nghĩ nó có thể giúp mọi người, đặc biệt là những người không bị vướng vào các luồng xử lý ở độ sâu lớn trước đó.
Xử lý luồng đã có từ lâu. Chúng tôi thường gọi nó là CEP. Có những hệ thống thời gian thực trước đó. Các hệ thống kiểm soát quy trình ban đầu thực sự đang xử lý các luồng thông tin - tất nhiên không có gì đi xa như ngày nay. Đồ họa này mà bạn nhìn thấy trên slide ở đây; nó thực sự chỉ ra rất nhiều thứ, nhưng nó chỉ ra ở trên và hơn bất cứ thứ gì khác - thực tế là có một phổ độ trễ xuất hiện với các màu khác nhau ở đây. Điều thực sự đã xảy ra kể từ khi phát minh ra máy tính hoặc máy tính thương mại xuất hiện vào khoảng năm 1960 là mọi thứ trở nên nhanh hơn và nhanh hơn. Chúng tôi đã từng có thể phụ thuộc vào cách mà điều này thực sự xuất hiện nếu bạn thích trong sóng, bởi vì đó là những gì nó trông như thế nào. Điều này thực sự phụ thuộc vào nó. Bởi vì tất cả đều được thúc đẩy bởi luật của Moore và luật của Moore sẽ cho chúng ta một hệ số tốc độ gấp khoảng mười lần trong khoảng thời gian khoảng sáu năm. Sau đó, một khi chúng tôi thực sự đến khoảng năm 2013, tất cả đã bị phá vỡ, và chúng tôi đột nhiên bắt đầu tăng tốc với tốc độ mà chúng tôi chưa bao giờ, đó là điều kỳ lạ chưa từng thấy. Chúng tôi đã nhận được một yếu tố khoảng mười về tốc độ tăng tốc và do đó giảm độ trễ khoảng sáu năm một lần. Trong sáu năm kể từ khoảng năm 2010, chúng tôi đã có bội số của ít nhất một nghìn. Ba mệnh lệnh cường độ chứ không phải một.
Đó là những gì đang diễn ra và đó là lý do tại sao ngành công nghiệp này bằng cách này hay cách khác dường như đang di chuyển với tốc độ tuyệt vời - bởi vì nó là. Chỉ cần đi qua ý nghĩa của đồ họa cụ thể này, thời gian phản hồi thực sự là theo tỷ lệ thuật toán theo trục dọc. Thời gian thực là tốc độ máy tính, nhanh hơn con người. Thời gian tương tác có màu cam. Đó là khi bạn tương tác với máy tính, nơi bạn thực sự muốn một phần mười đến khoảng một giây của độ trễ. Ở trên, có giao dịch nơi chúng ta thực sự nghĩ về những gì bạn đang làm trong máy tính nhưng nếu điều đó xảy ra trong khoảng mười lăm giây thì nó trở nên không thể chịu đựng được. Mọi người thực sự sẽ không chờ máy tính. Mọi thứ đã được thực hiện theo lô. Rất nhiều thứ đã được thực hiện theo lô hiện đang được đưa thẳng vào không gian giao dịch, ngay trong không gian tương tác hoặc thậm chí vào không gian thời gian thực. Trong khi trước đây, một lượn sóng với một lượng dữ liệu rất nhỏ chúng ta có thể thực hiện một số điều này, thì bây giờ chúng ta có thể thực hiện với một lượng rất lớn dữ liệu bằng cách sử dụng môi trường có quy mô lớn.
Về cơ bản, tất cả những điều này đang nói thực sự là thời gian giao dịch và tương tác của con người. Rất nhiều điều khủng khiếp đang được thực hiện với các luồng ngay bây giờ là thông báo cho con người về mọi thứ. Một số trong số đó đang diễn ra nhanh hơn thế và nó đang cung cấp thông tin tốt vì vậy đây là thời gian thực. Sau đó, chúng tôi lấy giấy phép để thả như hòn đá, làm cho các phân tích tức thời trở nên khả thi và tình cờ khá phải chăng. Đó không chỉ là tốc độ giảm xuống và đỉnh cũng sụp đổ. Có lẽ tác động lớn nhất trong tất cả các ứng dụng này trong số tất cả các ứng dụng khác nhau, bạn có thể thực hiện tất cả các phân tích dự đoán này. Tôi sẽ cho bạn biết lý do tại sao trong một phút.
Đây chỉ là cửa hàng phần cứng. Bạn có phần mềm song song. Chúng ta đang nói về năm 2004. Kiến trúc mở rộng quy mô, chip đa lõi, tăng bộ nhớ, CPU có thể cấu hình. SSD bây giờ đi nhanh hơn nhiều so với đĩa quay. Bạn có thể tạm biệt khá nhiều đĩa quay sóng. SSD cũng có nhiều lõi, do đó, ngày càng nhanh hơn. Sớm xuất hiện, chúng tôi đã có được memristor từ HP. Chúng tôi đã có 3D XPoint từ Intel và Micron. Lời hứa của những người đó là nó sẽ làm cho tất cả đi nhanh hơn và nhanh hơn. Khi bạn thực sự nghĩ về hai công nghệ bộ nhớ mới, cả hai công nghệ này sẽ làm cho toàn bộ phần nhỏ cơ bản, bảng mạch riêng lẻ đi nhanh hơn, chúng ta thậm chí còn chưa thấy sự kết thúc của nó.
Streams công nghệ, đó là thông điệp tiếp theo thực sự, đang ở đây. Sẽ phải có một kiến trúc mới. Tôi có nghĩa là Dez đã đề cập đến điều này trong một số điểm trong bài trình bày của mình. Trong nhiều thập kỷ, chúng tôi đã xem kiến trúc như một sự kết hợp của đống dữ liệu và ống dữ liệu. Chúng tôi có xu hướng xử lý các đống và chúng tôi có xu hướng dẫn dữ liệu giữa các đống. Bây giờ chúng ta đang di chuyển một cách cơ bản theo hướng mà chúng ta gọi là kiến trúc dữ liệu Lambda kết hợp việc xử lý các luồng dữ liệu với các đống dữ liệu. Khi bạn thực sự xử lý một luồng các sự kiện xảy ra đối với dữ liệu lịch sử dưới dạng luồng dữ liệu hoặc đống dữ liệu, đó là ý nghĩa của kiến trúc Lambda. Đây là trong giai đoạn trứng nước. Nó chỉ là một phần của bức tranh. Nếu bạn xem xét một thứ phức tạp như Internet của mọi thứ mà Dez cũng đã đề cập, bạn sẽ thực sự nhận ra rằng có tất cả các loại vấn đề về vị trí dữ liệu - quyết định về những gì bạn nên xử lý trong luồng.
Điều mà tôi thực sự nói ở đây là khi chúng tôi xử lý theo đợt, chúng tôi thực sự đang xử lý các luồng. Chúng tôi không thể làm điều đó một lần. Chúng tôi chỉ cần đợi cho đến khi có một đống lớn các công cụ và sau đó chúng tôi xử lý tất cả cùng một lúc. Chúng ta đang chuyển sang một tình huống mà chúng ta thực sự có thể xử lý công cụ trong luồng. Nếu chúng ta có thể xử lý công cụ trong luồng, thì đống dữ liệu mà chúng ta nắm giữ sẽ là dữ liệu tĩnh mà chúng ta cần tham chiếu để xử lý dữ liệu trong luồng.
Điều này đưa chúng ta đến điều đặc biệt này. Tôi đã đề cập điều này trước đây trong một số bài trình bày với sự tương tự sinh học. Cách mà tôi muốn bạn nghĩ đến là tại thời điểm chúng ta là con người. Chúng tôi có ba mạng riêng biệt để xử lý dự đoán theo thời gian thực. Chúng được gọi là somatic, tự trị và ruột. Ruột là dạ dày của bạn. Hệ thống thần kinh tự trị trông nom chiến đấu và các chuyến bay. Nó thực sự chăm sóc các phản ứng nhanh với môi trường. Các soma trông sau khi di chuyển của cơ thể. Đó là những hệ thống thời gian thực. Điều thú vị về nó - hoặc tôi nghĩ là khá thú vị - rất nhiều trong số đó mang tính dự đoán nhiều hơn bạn tưởng. Như thể bạn đang thực sự nhìn vào một màn hình cách mặt bạn khoảng 18 inch. Tất cả những gì bạn có thể nhìn thấy rõ ràng, tất cả những gì cơ thể bạn có khả năng nhìn rõ là trên thực tế về một hình chữ nhật 8 × 10. Tất cả mọi thứ bên ngoài đó thực sự bị mờ đi khi có liên quan đến cơ thể bạn nhưng tâm trí bạn thực sự đang lấp đầy những khoảng trống và làm cho nó không bị mờ. Bạn không thấy một vệt mờ nào cả. Bạn thấy nó rõ ràng. Tâm trí của bạn thực sự đang thực hiện phương pháp dự đoán của luồng dữ liệu để bạn thấy rõ ràng điều đó. Đó là một điều gây tò mò nhưng bạn thực sự có thể nhìn vào cách hệ thống thần kinh vận hành và cách chúng ta xoay sở và cư xử hợp lý - ít nhất là một số người trong chúng ta - hoàn toàn hợp lý và không va chạm vào mọi thứ mọi lúc.
Tất cả được thực hiện bởi một loạt các thang phân tích thần kinh bên trong đây. Điều gì sẽ xảy ra là các tổ chức sẽ có cùng một loại và sẽ xây dựng cùng một loại và nó sẽ là xử lý các luồng bao gồm các luồng nội bộ của tổ chức - những điều đang xảy ra bên trong Nó, những điều xảy ra bên ngoài nó, những phản ứng tức thời thực sự phải được thực hiện tất nhiên là nuôi sống con người để đưa ra quyết định, để làm cho tất cả những điều này xảy ra. Đó là nơi chúng ta sẽ đến, theo như tôi có thể thấy.
Một trong những điều là hậu quả của điều đó là mức độ của ứng dụng phát trực tuyến đang diễn ra tốt đẹp. Sẽ có rất nhiều điều tồi tệ hơn chúng ta thấy bây giờ. Ngay bây giờ, chúng tôi đang chọn trái cây treo thấp để làm những điều hiển nhiên.
Vì vậy, dù sao đó là kết luận ở đây. Phân tích phát trực tuyến đã từng là một phân khúc thích hợp nhưng nó đang trở thành xu hướng và nó sẽ sớm được áp dụng.
Với điều đó, tôi sẽ chuyển nó trở lại Rebecca.
Rebecca Jozwiak: Cảm ơn bạn rất nhiều, Robin. Trình bày tuyệt vời như bình thường.
Anand, bạn sẽ tiếp theo. Sàn là của bạn.
Anand Venugopal: Tuyệt vời. Cảm ơn bạn.
Tên tôi là Anand Venugopal và tôi là Trưởng phòng Sản phẩm cho StreamAnalytix. Đây là một sản phẩm được cung cấp bởi Impetus Technologies, ngoài Los Gatos, California.
Impetus đã thực sự có một lịch sử tuyệt vời trong việc trở thành nhà cung cấp giải pháp dữ liệu lớn cho các doanh nghiệp lớn. Vì vậy, chúng tôi thực sự đã thực hiện một số triển khai phân tích phát trực tuyến với tư cách là một công ty dịch vụ và chúng tôi đã học được rất nhiều bài học. Chúng tôi cũng đã thay đổi để trở thành một công ty sản phẩm và công ty định hướng giải pháp trong vài năm qua và phân tích dòng đang đứng đầu trong việc chuyển đổi Impetus thành một công ty chủ yếu dựa vào sản phẩm. Có một số tài sản quan trọng, rất, rất quan trọng mà Impetus đã xóa nhờ tiếp xúc với các doanh nghiệp của chúng tôi và StreamAnalytix là một trong số đó.
Chúng tôi có 20 năm kinh doanh và có sự kết hợp tuyệt vời giữa sản phẩm và dịch vụ giúp chúng tôi có lợi thế rất lớn. Và StreamAnalytix được sinh ra từ tất cả các bài học rút ra từ năm hoặc sáu lần triển khai phát trực tuyến đầu tiên của chúng tôi.
Tôi sẽ đề cập đến một vài điều, nhưng các nhà phân tích, Dez và Robin, đã thực hiện một công việc tuyệt vời trong việc bao quát không gian tổng thể vì vậy tôi sẽ bỏ qua rất nhiều nội dung chồng chéo. Có lẽ tôi sẽ đi nhanh. Chúng tôi thấy bên cạnh các trường hợp phát trực tuyến thực sự bằng cách sử dụng rất nhiều gia tốc hàng loạt, trong đó có các quy trình hàng loạt rất, rất quan trọng trong các doanh nghiệp. Như bạn có thể thấy, toàn bộ chu trình cảm nhận một sự kiện và phân tích và hành động về nó thực sự có thể mất hàng tuần trong các doanh nghiệp lớn và tất cả họ đang cố gắng thu nhỏ nó xuống còn vài phút và đôi khi là vài giây và mili giây. Vì vậy, bất cứ điều gì nhanh hơn tất cả các quy trình theo đợt này đều là ứng cử viên cho việc mua lại doanh nghiệp và điều đó rất có thể là giá trị của dữ liệu giảm đáng kể theo tuổi của nó, do đó, càng có nhiều giá trị trong phần ban đầu trong vài giây mà nó vừa xảy ra. Lý tưởng nhất, nếu bạn có thể dự đoán những gì sẽ xảy ra, đó là giá trị cao nhất. Tuy nhiên, điều đó phụ thuộc vào độ chính xác. Giá trị cao nhất tiếp theo là khi nó ở ngay khi nó xảy ra, bạn có thể phân tích và trả lời. Tất nhiên, giá trị giảm đáng kể sau đó, BI hạn chế chính mà chúng tôi đang ở.
Thật thú vị. Bạn có thể mong đợi một số câu trả lời khoa học đáng kể về lý do tại sao phân tích phát trực tuyến. Với nhiều trường hợp, những gì chúng ta đang thấy là bởi vì hiện tại nó có thể và bởi vì mọi người đều biết lô đã cũ, lô này nhàm chán và lô không mát. Có đủ giáo dục mà mọi người đã có bây giờ trên thực tế là có thể phát trực tuyến và mọi người đều có Hadoop ngay bây giờ. Bây giờ các bản phân phối Hadoop có một công nghệ phát trực tuyến được nhúng trong đó, cho dù đó là phát trực tuyến Storm hay Spark và tất nhiên là hàng đợi tin nhắn, như Kafka, v.v.
Các doanh nghiệp mà chúng tôi thấy đang nhảy vào đó và bắt đầu thử nghiệm những trường hợp này và chúng tôi đang thấy hai loại lớn. Người ta có một cái gì đó để làm với phân tích khách hàng và trải nghiệm khách hàng và trí thông minh hoạt động thứ hai. Tôi sẽ đi vào một số chi tiết về điều đó một lát sau. Toàn bộ dịch vụ khách hàng và góc độ trải nghiệm khách hàng và chúng tôi tại Impetus StreamAnalytix đã thực hiện điều này theo nhiều cách khác nhau thực sự là tất cả, thực sự nắm bắt được sự tham gia đa kênh của người tiêu dùng trong thời gian thực và mang đến cho họ những trải nghiệm rất nhạy cảm theo ngữ cảnh mà không phổ biến ngày nay. Nếu bạn đang duyệt web, trên trang web của Bank of America và bạn đang nghiên cứu một số sản phẩm và bạn chỉ cần gọi cho trung tâm cuộc gọi. Họ có nói rằng, Hey Hey Joe, tôi biết bạn đang nghiên cứu một số sản phẩm ngân hàng, bạn có muốn tôi điền vào bạn không? VÒNG Bạn không mong đợi điều đó ngày hôm nay, nhưng đó là loại kinh nghiệm thực sự có thể với phân tích phát trực tuyến. Trong nhiều trường hợp, điều này tạo ra một sự khác biệt lớn, đặc biệt nếu khách hàng bắt đầu nghiên cứu các cách để thoát khỏi hợp đồng của họ với bạn bằng cách xem các điều khoản chấm dứt sớm hoặc các điều khoản và điều kiện chấm dứt sớm trên trang web của bạn và sau đó gọi đến và bạn không thể trực tiếp đối mặt với họ về điều đó nhưng chỉ gián tiếp đưa ra lời đề nghị về một loại khuyến mãi đầu tiên bởi vì hệ thống biết rằng người này đang xem xét chấm dứt sớm và bạn đưa ra đề nghị đó vào thời điểm đó, bạn rất có thể bảo vệ khách hàng đang đuổi theo đó và bảo vệ tài sản đó .
Đó sẽ là một ví dụ, cộng với rất nhiều dịch vụ khách hàng đều là những ví dụ rất hay. Chúng tôi đang thực hiện ngày hôm nay để giảm chi phí trong trung tâm cuộc gọi cũng như cung cấp trải nghiệm khách hàng thú vị đầy kịch tính. Dez đã làm một công việc tuyệt vời trong việc tóm tắt một số trường hợp sử dụng. Bạn có thể nhìn chằm chằm vào biểu đồ này trong vài phút. Tôi đã phân loại nó theo chiều dọc, chiều ngang và các khu vực kết hợp, IoT, ứng dụng di động và trung tâm cuộc gọi. Chúng đều là chiều dọc và chiều ngang. Nó phụ thuộc vào cách bạn nhìn vào nó. Điểm mấu chốt, chúng ta thấy rất nhiều sử dụng theo chiều ngang khá phổ biến trong các ngành dọc và có các trường hợp sử dụng cụ thể theo chiều dọc bao gồm dịch vụ tài chính, y tế, viễn thông, sản xuất, v.v. Nếu bạn thực sự tự hỏi mình câu hỏi hoặc tự nói với mình đó, tôi ơi, tôi không biết trường hợp sử dụng là gì. Tôi không chắc có thực sự có bất kỳ giá trị kinh doanh nào trong phân tích phát trực tuyến cho công ty của tôi hoặc cho doanh nghiệp của chúng tôi không, hãy suy nghĩ kỹ, suy nghĩ kỹ. Nói chuyện với nhiều người hơn vì có những trường hợp sử dụng mà trong công ty của bạn có liên quan ngày hôm nay. Tôi sẽ đi vào giá trị doanh nghiệp về cách chính xác giá trị doanh nghiệp được tạo ra.
Ở dưới cùng của kim tự tháp ở đây, bạn có bảo trì dự đoán, bảo mật, bảo vệ khuấy, vv Những trường hợp sử dụng đó tạo thành bảo vệ doanh thu và tài sản. Nếu Target bảo vệ vi phạm an ninh của họ xảy ra trong nhiều giờ và nhiều tuần, CIO có thể đã cứu công việc của anh ta. Nó có thể tiết kiệm hàng chục hoặc hàng trăm triệu đô la, vv Các phân tích phát trực tuyến thời gian thực thực sự giúp ích trong việc bảo vệ các tài sản đó và bảo vệ tổn thất. Đó là giá trị kinh doanh trực tiếp gia tăng ngay tại đó.
Danh mục tiếp theo đang trở nên có lợi hơn, giảm chi phí của bạn và thu được nhiều doanh thu hơn từ hoạt động hiện tại. Đó là hiệu quả của doanh nghiệp hiện tại. Đó là tất cả các loại trường hợp sử dụng mà chúng tôi gọi là trí thông minh hoạt động trong thời gian thực, nơi bạn đang hiểu sâu hơn về cách thức hoạt động của mạng, cách hoạt động của khách hàng, cách thức hoạt động của doanh nghiệp và bạn có thể điều chỉnh tất cả điều đó trong thời gian thực bởi vì bạn nhận được phản hồi, bạn nhận được thông báo. Bạn nhận được sự lệch lạc, phương sai trong thời gian thực và bạn có thể nhanh chóng hành động và tách rời quá trình vượt ra khỏi giới hạn.
Bạn có khả năng cũng có thể tiết kiệm rất nhiều tiền trong việc nâng cấp vốn đắt tiền và những thứ mà bạn nghĩ là cần thiết có thể không cần thiết nếu bạn tối ưu hóa dịch vụ mạng. Chúng tôi đã nghe về một trường hợp mà một công ty viễn thông lớn đã trì hoãn việc nâng cấp 40 triệu đô la trong cơ sở hạ tầng mạng của họ vì họ thấy rằng họ có đủ năng lực để quản lý lưu lượng truy cập hiện tại của mình, bằng cách tối ưu hóa và thực hiện tốt hơn việc định tuyến thông minh lưu lượng truy cập của họ và những thứ tương tự. Những điều đó chỉ có thể với một số phân tích thời gian thực và cơ chế hành động hoạt động dựa trên những hiểu biết đó trong thời gian thực.
Mức giá trị gia tăng tiếp theo là bán tăng, bán chéo khi có cơ hội kiếm thêm doanh thu và lợi nhuận từ các dịch vụ hiện tại. Đây là một ví dụ kinh điển mà nhiều người trong chúng ta biết về họ đã trải nghiệm ở đâu, bạn nghĩ về cuộc sống của mình nơi bạn sẵn sàng mua một sản phẩm ngày nay không được cung cấp cho bạn. Trong nhiều, rất nhiều trường hợp, điều đó thực sự xảy ra. Bạn có những điều trong tâm trí rằng bạn muốn mua mà bạn biết bạn muốn mua, rằng bạn có một danh sách việc cần làm hoặc một cái gì đó, mà vợ bạn nói với bạn hoặc nếu bạn không có vợ nhưng bạn thực sự muốn mua và bạn đi mua sắm trên một trang web hoặc bạn đang tương tác trong một cửa hàng bán lẻ, mặt tiền cửa hàng không có bối cảnh, không có trí thông minh để tính toán những gì bạn có thể cần. Do đó, họ không nhận được doanh nghiệp của họ an toàn. Nếu phân tích phát trực tuyến có thể được triển khai để thực sự đưa ra dự đoán chính xác và thực sự có thể dựa trên bối cảnh phù hợp nhất với bối cảnh cụ thể này, thì khách hàng này tại thời điểm này, có rất nhiều bán và bán chéo và lại xuất phát từ phân tích phát trực tuyến - có thể đưa ra quyết định về xu hướng của những gì khách hàng này có khả năng mua hoặc phản hồi trong thời điểm đó của sự thật khi có cơ hội. Đó là lý do tại sao tôi thích bức ảnh mà Dez đã cho thấy với con gấu sắp ăn con cá đó. Nó khá là nhiều.
Chúng tôi cũng nghĩ rằng có một sự thay đổi lớn về sự thay đổi mạnh mẽ trong một doanh nghiệp cung cấp các sản phẩm và dịch vụ hoàn toàn mới chỉ đơn giản dựa trên quan sát hành vi của khách hàng, tất cả dựa trên quan sát hành vi của một doanh nghiệp khác. Nếu, giả sử, một công ty viễn thông hoặc công ty truyền hình cáp thực sự quan sát mô hình sử dụng của khách hàng trong phân khúc thị trường mà anh ta đang xem, chương trình nào vào thời gian nào, v.v., họ thực sự sẽ tạo ra các sản phẩm và dịch vụ gần như đang bị năn nỉ theo một cách nào đó Vì vậy, toàn bộ khái niệm về hành vi đa màn hình ngay bây giờ khi chúng ta gần như chấp nhận rằng chúng ta có thể xem nội dung truyền hình hoặc cáp trên các ứng dụng di động của mình. Một số ví dụ đến từ những sản phẩm và dịch vụ mới đang được cung cấp cho chúng tôi.
Tôi sẽ tham gia vào, Những cân nhắc về kiến trúc của phân tích phát trực tuyến là gì? Cuối cùng, đó là những gì chúng tôi đang cố gắng thực hiện. Đây là kiến trúc Lambda nơi bạn pha trộn dữ liệu lịch sử và những hiểu biết thời gian thực và nhìn thấy nó cùng một lúc. Đó là những gì Sigma cho phép. Tất cả chúng ta đều có kiến trúc hàng loạt và hình ảnh doanh nghiệp ngày hôm nay. Chúng tôi đang lượm lặt vào một loại ngăn xếp BI và sử dụng ngăn xếp và kiến trúc Lambda được thêm vào. Là lớp tốc độ hoặc nhu cầu và Lambda là tất cả về việc hợp nhất hai hiểu biết đó và thấy điều đó theo cách kết hợp, theo cách phong phú kết hợp cả hai hiểu biết.
Có một mô hình khác gọi là kiến trúc Kappa đang được đề xuất trong đó phỏng đoán là lớp tốc độ là cơ chế đầu vào duy nhất sẽ tồn tại trong dài hạn. Tất cả mọi thứ sẽ đi qua lớp tốc độ này. Thậm chí sẽ không có một cơ chế ETL ngoại tuyến. Tất cả các ETL sẽ xảy ra. Làm sạch, làm sạch dữ liệu, ETL chất lượng - tất cả những điều đó sẽ xảy ra trên dây, bởi vì hãy nhớ rằng tất cả dữ liệu được sinh ra theo thời gian thực. Tại một số điểm, đó là thời gian thực. Chúng ta đã quá quen với việc đưa nó lên các hồ, trên sông và đại dương, sau đó thực hiện nó trên phân tích tĩnh đến nỗi chúng ta quên rằng dữ liệu được sinh ra tại một thời điểm nào đó trong thời gian thực. Tất cả dữ liệu thực sự được sinh ra như một sự kiện thời gian thực xảy ra vào thời điểm đó và hầu hết dữ liệu ngày nay trên hồ vừa được đưa vào cơ sở dữ liệu để phân tích sau và chúng tôi thực sự có lợi thế trong kiến trúc Lambda và Kappa nhìn thấy nó, phân tích nó, xử lý trước và phản ứng với nó khi nó đến. Đó là những gì được kích hoạt bởi các công nghệ này. Khi bạn xem nó như một bức tranh tổng thể, nó trông giống như thế này khi có Hadoop bên trong, có MPP và kho dữ liệu mà bạn đã có.
Chúng tôi đưa ra điều này bởi vì điều quan trọng là không chỉ nói về các công nghệ mới ở một hòn đảo. Họ phải hòa nhập. Họ phải có ý nghĩa trong bối cảnh doanh nghiệp hiện tại và là nhà cung cấp giải pháp đang phục vụ doanh nghiệp, chúng tôi rất nhạy cảm với điều này. Chúng tôi giúp các doanh nghiệp loại tích hợp toàn bộ. Có các nguồn dữ liệu ở phía bên trái cung cấp cho cả lớp Hadoop và kho dữ liệu cũng như lớp thời gian thực ở trên cùng và mỗi thực thể đó là các máy tính chứng khoán như bạn có thể thấy và lớp tiêu thụ dữ liệu ở bên phải bên. Có một nỗ lực liên tục để di chuyển phần lớn tuân thủ, quản trị, bảo mật, quản lý vòng đời, v.v., mà ngày nay tất cả đã được tích lũy vào công nghệ mới này.
Một trong những điều mà phân tích luồng đang cố gắng thực hiện, nếu bạn nhìn vào phong cảnh ngày nay, có rất nhiều thứ đang diễn ra trong bối cảnh công nghệ phát trực tuyến và từ quan điểm của khách hàng doanh nghiệp, có rất nhiều điều để hiểu. Có quá nhiều thứ để theo kịp. Có các cơ chế thu thập dữ liệu ở phía bên trái - NiFi, Logstash, Flume, Sqoop. Rõ ràng, tôi đã đưa ra từ chối trách nhiệm nói rằng nó không đầy đủ. Tham gia vào hàng đợi tin nhắn và sau đó đến các công cụ phát trực tuyến nguồn mở - Storm, Spark Streaming, Samza, Flink, Apex, Heron. Heron có lẽ chưa phải là nguồn mở. Tôi không chắc chắn nếu nó là, từ Twitter. Các công cụ phát trực tuyến đó sau đó dẫn vào hoặc hỗ trợ một thành phần ứng dụng phân tích thiết lập như xử lý sự kiện phức tạp, học máy, phân tích dự đoán, mô-đun cảnh báo, phát trực tuyến ETL, bộ lọc hoạt động thống kê làm giàu. Đó là tất cả những gì chúng ta gọi bây giờ là các nhà khai thác. Tập hợp các toán tử đó khi được xâu chuỗi lại với nhau cũng có khả năng một số tùy chỉnh phần lớn được kết luận nếu cần thiết trở thành một ứng dụng phát trực tuyến chạy trên một công cụ phát trực tuyến.
Là một phần của chuỗi các thành phần đó, bạn cũng cần lưu trữ và lập chỉ mục dữ liệu vào cơ sở dữ liệu yêu thích, chỉ mục yêu thích của bạn. Bạn cũng có thể phải phân phối bộ đệm và một lần nữa dẫn vào lớp trực quan hóa dữ liệu ở phía bên phải ở phần trên cùng cho các sản phẩm thương mại hoặc sản phẩm nguồn mở, nhưng cuối cùng bạn cần một loại sản phẩm để trực quan hóa dữ liệu đó theo thời gian thực. Ngoài ra, đôi khi bạn cần phải tìm ra các ứng dụng khác. Tất cả chúng ta đều thấy rằng các giá trị chỉ xuất phát từ hành động mà bạn thực hiện thông tin chi tiết, hành động đó sẽ là một kích hoạt từ ngăn xếp phân tích sang ngăn xếp ứng dụng khác có thể thay đổi đó là thứ gì đó ở phía IVR hoặc kích hoạt trung tâm cuộc gọi cuộc gọi đi hoặc một cái gì đó như thế. Chúng tôi cần tích hợp các hệ thống đó và một số cơ chế cho cụm phát trực tuyến của bạn để kích hoạt các ứng dụng gửi dữ liệu khác.
Đó là chồng tổng thể từ đi từ trái sang phải. Sau đó, bạn có các lớp dịch vụ, giám sát trung gian, lớp dịch vụ bảo mật chung, v.v. Đến với những sản phẩm ngoài không gian doanh nghiệp mà khách hàng đang thấy như các bản phân phối Hadoop mà tất cả đều phát trực tuyến như tôi đã nói và có thương mại hoặc đơn lẻ giải pháp -vendor rõ ràng là trong các đối thủ cạnh tranh của chúng tôi. Có nhiều hơn nữa trong cảnh quan mà chúng ta có thể không đề cập ở đây.
Những gì bạn đang thấy ở đó rộng rãi là người dùng doanh nghiệp đang nhìn thấy. Một cảnh quan công nghệ phức tạp và phát triển nhanh chóng để xử lý luồng, như bạn có thể thấy. Chúng tôi phải đơn giản hóa sự lựa chọn và trải nghiệm người dùng của họ. Những gì chúng tôi nghĩ rằng các doanh nghiệp thực sự cần là sự trừu tượng hóa chức năng của tất cả các giao diện một cửa, dễ sử dụng, kết hợp tất cả các công nghệ đó làm cho nó thực sự đơn giản để sử dụng và không làm lộ tất cả các bộ phận chuyển động và các vấn đề xuống cấp và các vấn đề hiệu suất và các vấn đề bảo trì vòng đời cho doanh nghiệp.
Sự trừu tượng hóa chức năng là một. Phần thứ hai là sự trừu tượng của công cụ truyền phát. Các công cụ phát trực tuyến và các miền nguồn mở sẽ xuất hiện cứ sau ba, bốn hoặc sáu tháng một lần. Đó là Storm trong một thời gian dài. Samza đã xuất hiện và bây giờ là Spark Streaming. Flink đang ngẩng đầu, bắt đầu được chú ý. Ngay cả lộ trình Spark Streaming, họ đang tạo ra khả năng sử dụng một công cụ khác để xử lý sự kiện thuần túy vì họ cũng nhận ra rằng Spark được thiết kế theo lô và họ đang tạo ra một tầm nhìn kiến trúc và lộ trình của họ để có khả năng có sự khác biệt công cụ xử lý luồng ngoài mẫu microbatch hiện tại trong Spark Streaming.
Đó là một thực tế mà bạn phải tranh luận rằng sẽ có rất nhiều sự tiến hóa. Bạn thực sự cần phải bảo vệ bản thân khỏi dòng công nghệ đó. Bởi vì theo mặc định, bạn sẽ phải chọn một và sau đó sống với nó, điều này không tối ưu. Nếu bạn đang nhìn nó theo một cách khác, bạn đang chiến đấu giữa, thì không sao, tôi đã mua một nền tảng độc quyền nơi không có khóa, không có đòn bẩy của nguồn mở, có thể rất tốn kém và hạn chế tính linh hoạt so với tất cả các ngăn xếp nguồn mở này, nơi bạn phải tự làm điều đó. Một lần nữa, như tôi đã nói, đó là rất nhiều chi phí và sự chậm trễ trong việc tiếp cận thị trường. Điều chúng tôi đang nói là StreamAnalytix là một ví dụ về một nền tảng tuyệt vời kết hợp lớp doanh nghiệp, nhà cung cấp duy nhất, dịch vụ chuyên nghiệp được hỗ trợ - tất cả những gì bạn thực sự cần là một doanh nghiệp và sức mạnh linh hoạt của hệ sinh thái nguồn mở nơi một nền tảng duy nhất mang chúng lại với nhau - Ingest, CEP, phân tích, trực quan hóa và tất cả những thứ đó.
Nó cũng làm một điều rất, rất độc đáo, tập hợp nhiều công cụ công nghệ khác nhau bên dưới một trải nghiệm người dùng. Chúng tôi thực sự nghĩ rằng tương lai là về việc có thể sử dụng nhiều công cụ phát trực tuyến vì các trường hợp sử dụng khác nhau thực sự đòi hỏi các kiến trúc phát trực tuyến khác nhau. Giống như Robin đã nói, có cả một độ trễ. Nếu bạn thực sự đang nói về mức độ trễ của mili giây, hàng chục hoặc thậm chí hàng trăm mili giây, bạn thực sự cần Storm vào thời điểm này cho đến khi có một sản phẩm trưởng thành tương tự khác với thời gian ít khoan dung hơn hoặc thời gian chậm trễ và có thể trong vài giây, ba, bốn, năm giây, phạm vi đó, sau đó bạn có thể sử dụng Spark Streaming. Có khả năng, có những động cơ khác có thể làm cả hai. Điểm mấu chốt, trong một doanh nghiệp lớn, sẽ có các trường hợp sử dụng các loại. Bạn thực sự muốn quyền truy cập và tính tổng quát có nhiều công cụ với một trải nghiệm người dùng và đó là những gì chúng tôi đang cố gắng xây dựng trong StreamAnalytix.
Chỉ cần một cái nhìn nhanh về kiến trúc. Chúng tôi sẽ làm lại điều này một chút, nhưng về cơ bản, có nhiều nguồn dữ liệu ở bên trái - Kafka, RabbitMQ, Kinesis, ActiveMQ, tất cả các nguồn dữ liệu và hàng đợi tin nhắn này đến nền tảng xử lý luồng bạn có thể lắp ráp một ứng dụng, nơi bạn có thể kéo và thả từ các nhà khai thác như ETL, tất cả những thứ mà chúng ta đã nói về. Bên dưới, có nhiều động cơ. Ngay bây giờ, chúng tôi có Storm và Spark Streaming là nền tảng phát trực tuyến cấp doanh nghiệp duy nhất và đầu tiên của ngành có hỗ trợ nhiều công cụ. Đó là một tính linh hoạt, rất độc đáo mà chúng tôi cung cấp bên cạnh tất cả sự linh hoạt khác của việc có bảng điều khiển thời gian thực. Động cơ CET nhúng. Chúng tôi có sự tích hợp liền mạch với các chỉ mục Hadoop và NoQuery, chỉ mục Solr và Apache. Bạn có thể đến cơ sở dữ liệu yêu thích của mình bất kể đó là gì và xây dựng các ứng dụng thực sự nhanh chóng và tiếp cận thị trường thực sự nhanh chóng và là bằng chứng trong tương lai. Đó là toàn bộ câu thần chú của chúng tôi trong StreamAnalytix.
Với điều đó, tôi nghĩ rằng tôi sẽ kết luận nhận xét của mình. Hãy đến với chúng tôi để có thêm câu hỏi. Tôi muốn giữ cho sàn mở cho hỏi đáp và thảo luận.
Rebecca, qua cho bạn.
Rebecca Jozwiak: Tuyệt, được thôi. Cảm ơn bạn rất nhiều. Dez và Robin, bạn có một số câu hỏi trước khi chúng tôi chuyển nó cho Q & A khán giả không?
Robin Bloor: Tôi có một câu hỏi. Tôi sẽ đặt tai nghe lại để bạn có thể nghe thấy tôi. Một trong những điều thú vị, nếu bạn có thể vui lòng cho tôi biết điều này, rất nhiều điều tôi đã thấy trong không gian nguồn mở trông giống như những gì tôi sẽ nói với tôi. Theo một nghĩa nào đó, có bạn có thể làm nhiều việc khác nhau. Nhưng có vẻ như chúng ta đang xem phần mềm trong lần phát hành đầu tiên hoặc thứ hai trong thực tế và tôi chỉ tự hỏi với kinh nghiệm của bạn với tư cách là một tổ chức, bạn thấy sự non nớt của môi trường Hadoop là có vấn đề hay đó là điều gì đó không xảy ra ' T tạo quá nhiều vấn đề?
Anand Venugopal: Đó là một thực tế, Robin. Bạn hoàn toàn đúng. Sự non nớt không nhất thiết là trong lĩnh vực chỉ ổn định chức năng và mọi thứ, nhưng có thể một số trường hợp cũng vậy. Nhưng sự non nớt là sẵn sàng hơn trong việc sử dụng. Các sản phẩm nguồn mở khi chúng được phát hành và ngay cả khi chúng được phân phối bởi Hadoop, chúng đều là rất nhiều sản phẩm có khả năng khác nhau, các thành phần chỉ được đập vào nhau. Chúng không hoạt động cùng nhau và không được thiết kế cho trải nghiệm người dùng liền mạch mượt mà mà chúng tôi sẽ nhận được như Bank of America hoặc Verizon hoặc AT & T, để triển khai một ứng dụng phân tích phát trực tuyến trong vài tuần. Họ không được thiết kế cho điều đó chắc chắn. Đó là lý do tại sao chúng tôi đến. Chúng tôi mang nó lại với nhau và làm cho nó thực sự dễ hiểu, để triển khai, v.v.
Sự trưởng thành về chức năng của nó, tôi nghĩ ở một mức độ lớn, là có. Nhiều doanh nghiệp lớn sử dụng ví dụ như Storm ngày nay. Nhiều doanh nghiệp lớn đang chơi với Spark Streaming ngày hôm nay. Mỗi động cơ này đều có những hạn chế trong những gì chúng có thể làm, đó là lý do tại sao điều quan trọng là phải biết những gì bạn có thể và những gì bạn không thể làm với mỗi động cơ và không có lý do gì để đập đầu vào tường và nói, Nhìn Nhìn Tôi đã chọn Spark Streaming và nó không hoạt động với tôi trong ngành công nghiệp đặc biệt này. Nó sẽ không hoạt động. Sẽ có những trường hợp sử dụng trong đó Spark Streaming sẽ là lựa chọn tốt nhất và sẽ có những trường hợp sử dụng trong đó Spark Streaming có thể không hoạt động cho bạn. Đó là lý do tại sao bạn thực sự cần nhiều lựa chọn.
Robin Bloor: Vâng, bạn cần phải có các nhóm chuyên gia trên tàu cho hầu hết điều này. Ý tôi là tôi thậm chí không biết bắt đầu từ đâu. Một hợp tác hợp lý của các cá nhân lành nghề. Tôi quan tâm đến việc bạn tham gia như thế nào và nó diễn ra như thế nào. Có phải bởi vì một công ty cụ thể là sau một ứng dụng cụ thể hoặc bạn đang thấy loại mà tôi sẽ gọi là áp dụng chiến lược, nơi họ muốn cả một nền tảng để làm nhiều việc.
Anand Venugopal: Chúng ta đang thấy những ví dụ của cả hai, Robin. Một số trong mười thương hiệu hàng đầu mà mọi người đều biết đang đi về nó theo một cách rất chiến lược. Họ biết rằng họ sẽ có nhiều trường hợp sử dụng khác nhau nên họ đang đánh giá các nền tảng phù hợp với nhu cầu đó, đó là một loạt các trường hợp sử dụng khác nhau theo cách thức nhiều bên thuê để triển khai trong một doanh nghiệp. Có những câu chuyện tình huống sử dụng duy nhất đang bắt đầu là tốt. Có một trường hợp sử dụng loại giám sát hoạt động kinh doanh cụ thể trong một công ty thế chấp mà chúng tôi đang làm việc mà bạn không thể tưởng tượng như trường hợp sử dụng đầu tiên nhưng đó là giải pháp kinh doanh hoặc trường hợp sử dụng mà họ đưa ra và sau đó chúng tôi kết nối các dấu chấm để phát trực tuyến . Chúng tôi đã nói, bạn biết gì không? Đây là một trường hợp tuyệt vời để phân tích phát trực tuyến và đây là cách chúng tôi có thể triển khai nó. Đây là cách nó bắt đầu. Sau đó, trong quá trình đó, họ được giáo dục và nói rằng, Oh Oh wow, nếu chúng ta có thể làm điều này và nếu đây là một nền tảng chung, thì chúng ta có thể tách ứng dụng, xếp chúng thành nền tảng và xây dựng nhiều ứng dụng khác nhau trên đó nền tảng."
Robin Bloor: Dez, bạn có câu hỏi nào không?
Anand Venugopal: Dez có lẽ đang bị câm.
Dez Blanchfield: Xin lỗi, câm. Tôi vừa có một cuộc trò chuyện tốt. Chỉ cần theo dõi quan sát ban đầu của Robin, bạn hoàn toàn chính xác. Tôi nghĩ rằng thách thức bây giờ là các doanh nghiệp có một hệ sinh thái và môi trường văn hóa và hành vi, trong đó phần mềm miễn phí và nguồn mở là thứ mà họ biết và họ có thể sử dụng các công cụ như Firefox như một trình duyệt và nó đã có một phong nha trọn đời cho đến khi nó trở nên ổn định và an toàn. Nhưng một số nền tảng rất lớn mà họ sử dụng là nền tảng độc quyền cấp doanh nghiệp. Vì vậy, việc áp dụng những gì tôi coi là nền tảng nguồn mở không phải lúc nào cũng dễ dàng để họ có thể vượt qua về mặt văn hóa hoặc cảm xúc. Tôi đã thấy điều này qua việc áp dụng các chương trình nhỏ là các dự án địa phương để chơi với dữ liệu lớn và phân tích như là một khái niệm cơ bản. Tôi nghĩ rằng một trong những thách thức chính, tôi chắc chắn rằng bạn đã thấy chúng bây giờ trên khắp các tổ chức, là mong muốn của họ để đạt được kết quả nhưng đồng thời có một chân của họ bị mắc kẹt trong cái cũ mà họ có thể mua cái này từ Phần mềm chèn một thương hiệu lớn, Oracle, IBM và Microsoft. Những thương hiệu mới và được biết đến này sẽ xuất hiện với các nền tảng Hadoop và thậm chí nhiều hơn nữa. Nhiều thương hiệu thú vị hơn đang đi qua có công nghệ hàng đầu như stream.
Các loại cuộc hội thoại mà bạn đã có loại đó có được hoặc cắt qua đó là gì? Tôi biết rằng chúng tôi có một lượng lớn người tham dự sáng nay và một điều mà tôi chắc chắn là trong tâm trí của mọi người là. Làm thế nào để tôi vượt qua toàn bộ lớp thử thách đó từ cấp độ xuống cấp quản lý, ồ nó quá mở và quá khó chịu? "Làm thế nào để các cuộc trò chuyện bạn có với khách hàng diễn ra và làm thế nào để bạn vượt qua điểm mà bạn loại bỏ những nỗi sợ hãi đó để xem xét chấp nhận những điều tương tự như StreamAnalytix?
Anand Venugopal: Chúng tôi thực sự thấy khá dễ dàng để bán đề xuất giá trị của chúng tôi bởi vì khách hàng đang tự nhiên chuyển sang nguồn mở như một lựa chọn ưa thích. Họ không dễ dàng từ bỏ và nói rằng, Được rồi, giờ tôi sẽ chuyển sang nguồn mở. Họ thực sự trải qua một đánh giá rất cam kết về một sản phẩm chính, giả sử đó là một sản phẩm điển hình của IBM, bởi vì họ có những mối quan hệ nhà cung cấp. Họ sẽ không đối xử với chúng tôi hoặc công cụ nguồn mở đối với sản phẩm đó. Họ sẽ trải qua sáu đến tám đến mười hai tuần đánh giá. Họ sẽ thuyết phục bản thân rằng có một mức độ hiệu suất và sự ổn định ở đây mà tôi muốn và sau đó họ quyết định nói rằng, Wow Wow, bạn biết không, tôi thực sự có thể làm điều này.
Ví dụ, ngày nay, chúng ta có một công ty viễn thông cấp một có phân tích luồng đang được sản xuất trên đỉnh của rất nhiều ngăn xếp và họ đang đánh giá rằng đối với một nhà cung cấp nổi tiếng rất lớn khác và họ chỉ bị thuyết phục sau khi chúng tôi chứng minh tất cả hiệu suất, sự ổn định và tất cả những điều đó. Họ không coi đó là điều hiển nhiên. Họ phát hiện ra nguồn mở có thẩm quyền thông qua các đánh giá của họ và họ nhận ra rằng, trường hợp xấu nhất, Có lẽ có hai trường hợp sử dụng mà tôi không thể làm được nhưng hầu hết các trường hợp sử dụng tăng tốc kinh doanh của tôi ngày nay đều có thể xảy ra với nguồn mở ngăn xếp. Và chúng tôi cho phép sử dụng nó. Vì vậy, đó là điểm ngọt ngào lớn ngay tại đó. Họ muốn nguồn mở. Họ đang thực sự tìm cách thoát khỏi tình trạng khóa nhà cung cấp mà họ đã quen trong nhiều năm. Sau đó, chúng tôi đến đây và nói, Bạn biết gì không, chúng tôi sẽ tạo nguồn mở nhiều, dễ sử dụng và thân thiện hơn cho bạn.
Dez Blanchfield: Tôi nghĩ rằng thách thức khác mà các doanh nghiệp tìm thấy là khi họ mang theo đương nhiệm truyền thống, họ thường là một thế hệ đằng sau một số vấn đề thú vị mà chúng ta đang nói ở đây và tôi không có ý đó là tiêu cực nhẹ. Thực tế là họ đã có một thế hệ và hành trình trải qua để phát hành những gì họ cho là nền tảng ổn định phải trải qua, phát triển trường học cũ và các chu trình và kiểm tra và tài liệu tích hợp UATN, và tiếp thị và bán hàng. Trong khi bạn đang làm kiểu này, tôi nghĩ điều tôi quan tâm là nghĩ đến việc xem một số bản phát hành mới nhất của bạn đêm qua để thực hiện một số công việc nghiên cứu, bạn đã có sự pha trộn này ngay bây giờ khi bạn có năng lực từ quan điểm tư vấn trực tiếp và thực hiện nhưng bạn cũng có một chồng mà bạn có thể tham gia. Tôi nghĩ đây là nơi mà những người đương nhiệm sẽ phải vật lộn một thời gian. Chúng tôi đã thấy nhiều người trong số họ giống như tôi đã làm trên thị trường. Chúng thường nằm trong cái mà tôi gọi là các nút bắt kịp trong khi từ những gì bạn đang nói với chúng tôi khi bạn ra ngoài thực hiện những cuộc trò chuyện đó và bạn đang thực hiện.
Bạn có thể cho chúng tôi một vài ví dụ về một số ngành dọc mà bạn đã thấy việc áp dụng không? Ví dụ, có môi trường thực sự giống như khoa học tên lửa và đưa vệ tinh lên vũ trụ và thu thập dữ liệu từ Sao Hỏa. Chỉ có một số ít người làm điều đó trên hành tinh. Nhưng có những ngành lớn như sức khỏe chẳng hạn, trong ngành hàng không, trong vận tải và hậu cần, trong sản xuất và kỹ thuật, một vài ví dụ về các ngành công nghiệp lớn hơn và rộng hơn mà bạn từng thấy là rất tốt nhận con nuôi trong?
Anand Venugopal: Telco là một ví dụ lớn.
Tôi sẽ nhanh chóng sửa chữa các slide của mình ở đây. Bạn có thể xem slide ở đây, nghiên cứu trường hợp 4?
Đây là một trường hợp của một telco lớn nhập dữ liệu hộp set-top và làm nhiều việc với nó. Họ đang nhìn vào những gì khách hàng đang thực sự làm trong thời gian thực. Họ đang xem xét nơi xảy ra lỗi trong thời gian thực trong các hộp giải mã. Họ đang cố gắng thông báo cho trung tâm cuộc gọi, nếu khách hàng này gọi ngay bây giờ, thông tin liên kết mã từ hộp set-top của khách hàng này, thông tin vé bảo trì nhanh chóng tương quan xem hộp set-top của khách hàng cụ thể này có vấn đề hay không ngay cả trước đó khách hàng nói một lời. Mỗi công ty cáp, mỗi công ty viễn thông lớn đang cố gắng làm điều này. Họ nhập dữ liệu hộp set-top, phân tích thời gian thực, phân tích chiến dịch để họ có thể đặt quảng cáo của mình. Có một trường hợp sử dụng rất lớn.
Như tôi đã nói, có công ty thế chấp này một lần nữa là một mô hình chung nơi các hệ thống lớn tham gia vào việc xử lý dữ liệu từ đó. Dữ liệu chảy qua hệ thống A đến hệ thống B đến hệ thống C và đây là những doanh nghiệp được quy định rằng mọi thứ cần phải nhất quán. Thông thường, các hệ thống không đồng bộ với nhau, một hệ thống đang nói rằng, tôi đang xử lý một trăm khoản vay với tổng giá trị là 10 triệu đô la. Hệ thống đang nói rằng, Không, tôi đang xử lý 110 khoản vay của một số người khác số lượng khác nhau. Họ phải giải quyết vấn đề đó thực sự nhanh chóng vì trên thực tế họ đang xử lý cùng một dữ liệu và thực hiện các cách hiểu khác nhau.
Cho dù đó là thẻ tín dụng, xử lý khoản vay, quy trình kinh doanh hay cho dù đó là quy trình kinh doanh thế chấp hay thứ gì khác, chúng tôi sẽ giúp họ thực hiện tương quan và đối chiếu trong thời gian thực để đảm bảo các quy trình kinh doanh đó được đồng bộ. Đó là một trường hợp sử dụng thú vị khác. Có một nhà thầu chính của chính phủ Hoa Kỳ đang xem xét lưu lượng DNS để phát hiện sự bất thường. Có một mô hình đào tạo ngoại tuyến mà họ đã xây dựng và họ đang thực hiện tính điểm dựa trên mô hình đó trên lưu lượng truy cập thời gian thực. Một số trường hợp sử dụng thú vị. Có một hãng hàng không lớn đang xem xét hàng đợi an ninh và họ đang cố gắng cung cấp cho bạn thông tin đó, đó là Hey Hey, đó là cánh cổng cho máy bay của bạn cho chuyến bay của bạn. Hàng đợi TSA hôm nay là khoảng 45 phút so với hai giờ so với thứ khác. Bạn nhận được bản cập nhật đó. Họ vẫn đang làm việc trên nó. Trường hợp sử dụng IoT thú vị nhưng trường hợp tuyệt vời của phân tích phát trực tuyến hướng đến trải nghiệm của khách hàng.
Rebecca Jozwiak: Đây là Rebecca. Trong khi bạn đang ở trong chủ đề của các trường hợp sử dụng, có một câu hỏi lớn từ một khán giả đang thắc mắc, đó là những nghiên cứu trường hợp này, những sáng kiến này được điều khiển từ phía phân tích hệ thống thông tin của ngôi nhà hay chúng được điều khiển nhiều hơn từ doanh nghiệp nào có câu hỏi hay nhu cầu cụ thể trong đầu?
Anand Venugopal: Tôi nghĩ rằng chúng ta thấy khoảng 60 phần trăm hoặc hơn, 50 phần trăm đến 55 phần trăm, phần lớn là những sáng kiến công nghệ nhiệt tình, chủ động, những người tình cờ biết, những người tình cờ khá hiểu biết và hiểu một số yêu cầu kinh doanh nhất định và họ có thể có một nhà tài trợ rằng họ xác định nhưng đây là các nhóm công nghệ đã sẵn sàng cho sự tấn công của các trường hợp sử dụng kinh doanh và sau đó khi họ xây dựng khả năng, họ biết rằng họ có thể làm điều này và sau đó họ đi kinh doanh và tích cực bán nó. Trong 30 phần trăm đến 40 phần trăm các trường hợp, chúng tôi thấy doanh nghiệp đã có một trường hợp sử dụng cụ thể đang cầu xin khả năng phân tích phát trực tuyến.
Rebecca Jozwiak: Điều đó có ý nghĩa. Tôi đã có một câu hỏi kỹ thuật hơn một chút từ một thành viên khán giả. Ông đang tự hỏi liệu các hệ thống này có hỗ trợ cả luồng dữ liệu có cấu trúc và không cấu trúc, như trầm tích của luồng Twitter hoặc bài đăng trên Facebook trong thời gian thực hay không cần phải lọc ban đầu?
Anand Venugopal: Các sản phẩm và công nghệ mà chúng ta đang nói đến rất hỗ trợ cả dữ liệu có cấu trúc và không cấu trúc. Chúng có thể được cấu hình. Tất cả dữ liệu có một số loại cấu trúc cho dù đó là văn bản hay XML hay bất cứ thứ gì. Có một số cấu trúc về mặt có một nguồn cấp dữ liệu tem thời gian. Có thể có một blob khác cần được phân tích cú pháp để bạn có thể đưa các phân tích cú pháp vào luồng để phân tích cấu trúc dữ liệu. Nếu nó có cấu trúc, thì chúng ta chỉ cần nói với hệ thống, Được rồi, nếu có một giá trị được phân tách bằng dấu phẩy và đầu tiên là một chuỗi, thứ hai là một ngày. Vì vậy, chúng ta có thể đưa phân tích thông minh đó vào các lớp trên màn hình và xử lý dễ dàng cả dữ liệu có cấu trúc và không cấu trúc.
Rebecca Jozwiak: Tôi đã có một câu hỏi khác từ khán giả. Tôi biết chúng ta đã chạy một chút qua đầu giờ. Người tham dự này muốn biết, có vẻ như các ứng dụng phát trực tuyến thời gian thực có thể đang phát triển cả nhu cầu và cơ hội tích hợp trở lại hệ thống giao dịch, hệ thống phòng chống gian lận mà họ đưa ra chẳng hạn. Trong trường hợp đó, các hệ thống giao dịch có cần phải được điều chỉnh để phù hợp với điều đó không?
Anand Venugopal: Đó là một sự hợp nhất, phải không? Đó là sự hợp nhất của các hệ thống giao dịch. Đôi khi chúng trở thành nguồn dữ liệu trong đó chúng tôi phân tích các giao dịch trong thời gian thực và trong nhiều trường hợp giả sử có một luồng ứng dụng và ở đây tôi đang cố gắng hiển thị một trang web tra cứu dữ liệu tĩnh và sau đó trong trường hợp của chúng tôi có một luồng phát trực tuyến trong và bạn đang tìm kiếm một cơ sở dữ liệu tĩnh như HBase hoặc RDBMS để làm phong phú dữ liệu truyền phát và dữ liệu tĩnh cùng nhau để đưa ra quyết định hoặc hiểu biết phân tích.
Có một xu hướng công nghiệp lớn khác mà chúng ta cũng đang thấy - sự hội tụ của OLAP và OLTP - và đó là lý do tại sao bạn có cơ sở dữ liệu như Kudu và cơ sở dữ liệu trong bộ nhớ hỗ trợ cả giao dịch và xử lý phân tích cùng một lúc. Lớp xử lý luồng sẽ hoàn toàn nằm trong bộ nhớ và chúng ta sẽ xem xét hoặc can thiệp vào một số cơ sở dữ liệu giao dịch này.
Rebecca Jozwiak: Khối lượng công việc hỗn hợp là một trong những rào cản cuối cùng để nhảy, tôi nghĩ vậy. Dez, Robin, hai người có câu hỏi nào nữa không?
Dez Blanchfield: Tôi sẽ nhảy vào một câu hỏi cuối cùng và kết thúc câu hỏi đó nếu bạn không phiền. Thử thách đầu tiên mà các tổ chức mà tôi đã giải quyết trong thập kỷ qua hoặc dẫn đến thử thách phân tích luồng thú vị này, điều đầu tiên họ có xu hướng đặt lại trên bàn khi chúng tôi bắt đầu cuộc trò chuyện xung quanh toàn bộ thử thách này là ở đâu chúng ta có được bộ kỹ năng? Làm thế nào để chúng tôi đào tạo lại bộ kỹ năng và làm thế nào để chúng tôi có được khả năng đó trong nội bộ? Có Impetus đến và nắm tay chúng tôi trong suốt cuộc hành trình và sau đó thực hiện như một bước đầu tiên tuyệt vời và nó rất có ý nghĩa khi làm điều đó.
Nhưng đối với tổ chức vừa và lớn, hiện tại bạn đang chuẩn bị những điều gì để chuẩn bị cho việc này, để xây dựng khả năng đó trong nội bộ, để có được bất cứ điều gì từ chỉ một từ vựng cơ bản xung quanh nó và họ có thể làm gì với thông điệp nào tổ chức xung quanh quá trình chuyển đổi sang loại khung này và trang bị lại đội ngũ kỹ thuật hiện có của họ từ CNTT từ CEO để họ có thể tự chạy nó sau khi bạn xây dựng và triển khai nó? Rất ngắn gọn, loại thách thức nào và cách họ giải quyết chúng, khách hàng bạn đang đối phó, loại thách thức họ tìm thấy và cách họ giải quyết việc đào tạo lại và lấy lại kinh nghiệm và kiến thức để sẵn sàng cho việc này và sẵn sàng có thể đi xung quanh hoạt động?
Anand Venice nhà cung cấp phân phối, họ hoặc là quen thuộc. Tất cả mọi thứ đang nhận được Kafka, ví dụ. Họ đang làm một cái gì đó với nó và Storm hoặc Spark streaming nằm trong miền nguồn mở của họ. Chắc chắn, mọi người quen thuộc với nó hoặc xây dựng các kỹ năng xung quanh nó. Nhưng nó bắt đầu với một nhóm nhỏ những người đủ kỹ năng và đủ thông minh. Họ đang tham dự hội nghị. Họ đang học và họ đặt câu hỏi thông minh cho các nhà cung cấp và trong một số trường hợp họ học với các nhà cung cấp. Khi các nhà cung cấp đang đến và trình bày tại cuộc họp đầu tiên, họ có thể không biết gì nhưng họ cùng đọc lên và sau đó họ bắt đầu chơi với nó.
Nhóm người nhỏ đó là hạt nhân và sau đó nó bắt đầu phát triển và giờ đây mọi người nhận ra rằng trường hợp sử dụng kinh doanh đầu tiên được vận hành. Bắt đầu một làn sóng và chúng ta đã thấy trong hội nghị thượng đỉnh Spark tuần trước, nơi một doanh nghiệp lớn như Capital One đã ở ngoài đó và hoạt động mạnh mẽ. Họ đã chọn Spark. Họ đã nói về nó. Họ đang giáo dục rất nhiều người của họ ở Spark vì họ cũng đang đóng góp cho nó trong nhiều trường hợp với tư cách là người dùng. Chúng tôi thấy điều tương tự với nhiều, nhiều doanh nghiệp lớn. Nó bắt đầu với một vài nhóm nhỏ những người rất thông minh và sau đó nó bắt đầu một làn sóng giáo dục tổng thể và mọi người biết rằng một khi một phó chủ tịch cao cấp hoặc một khi một giám đốc cấp cao phù hợp và họ muốn đặt cược vào điều này và từ đó xuất hiện và tất cả họ bắt đầu chọn những kỹ năng này.
Dez Blanchfield: Tôi chắc rằng bạn cũng có một thời gian tuyệt vời để xây dựng những nhà vô địch đó.
Anand Venugopal: Vâng. Chúng tôi làm rất nhiều việc giáo dục khi chúng tôi làm việc với các nhà vô địch ban đầu và chúng tôi tổ chức các khóa đào tạo và nhiều, rất nhiều cho các khách hàng lớn của chúng tôi, chúng tôi đã quay lại và có sóng và đào tạo để đưa nhiều người dùng vào giai đoạn sử dụng chính trong trang web MapReduce của Hadoop. Chúng tôi thấy rằng trong một công ty thẻ tín dụng lớn là khách hàng của chúng tôi, chúng tôi đã cung cấp ít nhất năm đến tám chương trình đào tạo khác nhau. Chúng tôi cũng có phiên bản cộng đồng miễn phí cho tất cả các sản phẩm này, bao gồm cả chúng tôi, hộp cát mà mọi người có thể tải xuống, làm quen và giáo dục theo cách đó.
Dez Blanchfield: Đó là tất cả những gì tôi có sáng nay cho bạn. Cảm ơn rât nhiều. Tôi thấy vô cùng thú vị khi xem các loại mô hình và trường hợp sử dụng mà bạn có cho chúng tôi ngày hôm nay. Cảm ơn bạn.
Anand Venugopal: Tuyệt vời. Cảm ơn mọi người rất nhiều.
Rebecca Jozwiak: Cảm ơn tất cả mọi người đã tham gia cùng chúng tôi trong các webcast công nghệ nóng này. Thật thú vị khi nghe từ Dez Blanchfield, Tiến sĩ Robin Bloor và từ Impetus Technologies, Anand Venugopal. Cảm ơn các bạn thuyết trình. Cảm ơn bạn diễn giả và cảm ơn khán giả. Chúng tôi có một công nghệ nóng khác vào tháng tới, vì vậy hãy tìm kiếm điều đó. Bạn luôn có thể tìm thấy nội dung của chúng tôi được lưu trữ tại Insideanalysis.com. Chúng tôi cũng đưa nhiều nội dung lên SlideShare và một số bit thú vị trên YouTube.
Đó là tất cả mọi người. Cảm ơn một lần nữa và có một ngày tốt lành. Tạm biệt.
