Rynek big data rośnie i musi się zbliżyć — jeszcze nie teraz

Spark kontra MapReduce

Mówiąc o technologii big data, Morris i Batra zauważyli, że użytkownicy MapReduce zaczynają „migrować” do Apache Spark, platforma obliczeniowa klastrów typu open source do analiz w pamięci.

Mój kolega, Jack Vaughan, pisał o Spark w marcu i wyjaśnił, że podobnie jak oryginalny silnik przetwarzania MapReduce, technologia znajduje się na szczycie Rozproszony system plików Hadoop i inne źródła danych Hadoop. Ale w przeciwieństwie do MapReduce, Spark przetwarza dane szybciej i „obsługuje bardziej uogólnione metody obliczeniowe”.

Spark został opracowany w AMPLab at UC Berkeley. Wyszedł z trybu ukrycia w czerwcu 2013 roku i stał się projektem najwyższego poziomu Apache w lutym tego roku.

Nowa „wyszukiwarka” Google

Przeskok Google z wyszukiwarki internetowej do auto bez kierowcy nie jest tak duży, jak się wydaje. Zamiast kodu komputerowego Google po prostu indeksuje inny teren. „Myślę o tym jako o fizycznych wyszukiwarkach — przeszukiwaniu świata fizycznego” — powiedział John Leonard, profesor inżynierii mechanicznej i oceanicznej, at Laboratorium Informatyki i Sztucznej Inteligencji MITna sympozjum.

W ten sposób powstają precyzyjne mapy, które mogą pomóc autonomicznym samochodom przygotować się na oczekiwane. Jednak większym wyzwaniem jest reagowanie na nieoczekiwane. „Zdolność do zrozumienia, co dzieje się w świecie fizycznym i przewidzenia, co może się wydarzyć dalej, powiedzmy na ruchliwym skrzyżowaniu, jest naprawdę wyzwaniem dla maszyn” – powiedział.

Czy Google będzie firmą, która to rozwiąże? Leonard się o to martwi. „Mam dwie wizje przyszłości: jedna jest taka, że ​​wygra Google” – powiedział. „A druga jest taka, że ​​jeszcze tam nie dotarliśmy”.

Cyfrowa dynamika

Dni konkurowania w ramach jednej branży już minęły i możesz podziękować za to digitalizacji. Przykład? Petera Weilla, starszy pracownik naukowy i przewodniczący Centrum Badań Systemów Informatycznych MIT, wskazał na australijską sieć supermarketów, aby zilustrować, w jaki sposób firma wykorzystuje technologię, aby wywrócić inną branżę. “Coles sprzedał więcej ubezpieczeń – lub przynajmniej równą sumę ubezpieczenia – niż którakolwiek z wiodących firm ubezpieczeniowych po raz pierwszy” w tym roku, powiedział.

Podczas gdy cyfryzacja spłaszcza krajobraz konkurencji, jest również inspiracją dla „ciekawego rozwoju nowych produktów” – powiedział. Po prostu spójrz na Pomarańczowe pieniądze by France Telecom. W Afryce, gdzie ponad 50% mieszkańców posiada telefon komórkowy, ale mniej niż 10% posiada konto bankowe, Orange Money umożliwia klientom „otworzenie konta, przelanie środków, otrzymanie wynagrodzenia, opłacenie rachunków”, zgodnie ze stroną internetową firmy. .

Powiedz co?!?

„Świat staje się programowalny. To nie tylko produkty cyfrowe; to wszystko produkty.”
- Narindera Singha, prezydent CloudSpeake i TopCoder; współzałożyciel i dyrektor ds. strategii w Appirio

„Musisz chcieć się mylić. Nigdy, przenigdy nie powinieneś chwytać się swoich własnych idei, które mają charakter religijny, że nigdy nie pozwolisz im odejść”. — Marka Holsta-Knudsenaprezes ThomasNet

„Moja pierwsza praca polega na wyeliminowaniu ludzi takich jak ja”. — Puneet Batra, analityk danych, założyciel LevelTrigger

„Problem polega na tym, że prawo jest zawsze napisane z pomyłkami i ludzkim osądem. I ten ludzki osąd zanika, gdy wszystko staje się przedmiotem danych”. — Alex „Sandy” Pentlandprofesorze, MIT Media Lab

„Technologia rozwija się szybko, a ludzie nie zmieniają się tak szybko, to całkiem jasne. Okazuje się, że grupa, która jest najbardziej elastyczna, to zazwyczaj osoby w wieku od 30 do 40 lat, ponieważ pod wieloma względami robią to po raz drugi”. — Piotr Burris, wiceprezes i dyrektor ds. badań, Firma Forrester Research Inc.

Witamy w The Data Mill, tygodniowej kolumnie poświęconej wszystkim, co dotyczy danych. Słyszałeś coś nowego (lub plotkarskiego)? Napisz do mnie lub znajdź mnie na Twitterze pod adresem @Tt_Nicole.