Pasar data besar meningkat dan harus menyatu — hanya saja belum

Spark vs.MapReduce

Berbicara tentang teknologi big data, Morris dan Batra sama-sama mengamati bahwa pengguna MapReduce mulai “bermigrasi” ke Apache Spark, kerangka kerja komputasi cluster dalam memori sumber terbuka untuk analitik.

Rekan saya, Jack Vaughan, menulis tentang Spark pada bulan Maret dan menjelaskan bahwa, seperti mesin pemroses MapReduce asli, teknologi berada di atas Sistem File Terdistribusi Hadoop dan sumber data Hadoop lainnya. Namun tidak seperti MapReduce, Spark memproses data lebih cepat dan “mendukung metode komputasi yang lebih umum.”

Spark dikembangkan di Lab AMPL at UC Berkeley. Itu keluar dari mode siluman pada Juni 2013 dan menjadi proyek tingkat atas Apache pada Februari tahun ini.

'pencarian' baru Google

Lompatan Google dari pencarian Internet ke mobil tanpa pengemudi tidak sebesar kedengarannya. Alih-alih kode komputer, Google hanya merayapi medan yang berbeda. “Saya menganggapnya sebagai mesin pencari fisik — pencarian dunia fisik,” kata John Leonard, profesor teknik mesin dan kelautan, di Laboratorium Ilmu Komputer dan Kecerdasan Buatan MIT, pada simposium.

Melakukannya menciptakan peta yang tepat yang dapat membantu mobil tanpa pengemudi mempersiapkan yang diharapkan. Tetapi tantangan yang lebih besar terletak pada reaksi terhadap hal-hal yang tidak terduga. “Kemampuan untuk memahami apa yang terjadi di dunia fisik dan untuk memprediksi apa yang mungkin terjadi selanjutnya, katakanlah di persimpangan yang sibuk, sangat menantang bagi mesin,” katanya.

Akankah Google menjadi perusahaan yang mencari tahu? Leonard di pagar tentang itu. “Saya memiliki dua visi masa depan: Salah satunya adalah bahwa Google akan menang,” katanya. "Dan yang lainnya adalah kita belum sampai di sana."

Dinamika digital

Hari-hari bersaing dalam satu vertikal telah berakhir dan Anda dapat berterima kasih kepada digitalisasi untuk itu. Sebuah contoh? Peter Weill, peneliti senior dan ketua Pusat MIT untuk Penelitian Sistem Informasi, menunjuk ke jaringan supermarket Australia untuk menggambarkan bagaimana sebuah perusahaan menggunakan teknologi untuk menjungkirbalikkan industri lain. “Coles menjual lebih banyak asuransi — atau setidaknya jumlah asuransi yang sama — daripada perusahaan asuransi terkemuka mana pun untuk pertama kalinya” tahun ini, katanya.

Sementara digitalisasi meratakan lanskap persaingan, ini juga menginspirasi “pengembangan produk baru yang menarik,” katanya. Lihat saja Uang Oranye by France Telecom. Di Afrika, di mana lebih dari 50% penduduk memiliki ponsel tetapi kurang dari 10% memiliki rekening bank, Orange Money memungkinkan pelanggan "membuka rekening, mentransfer dana, menerima gaji, membayar tagihan," menurut situs web perusahaan .

Katakan apa?!?

“Dunia menjadi dapat diprogram. Ini bukan hanya produk digital; itu semua produk.”
- Narinder Singh, Presiden CloudSpeakes dan TopCoder; co-founder dan chief strategy officer di Appirio

“Kamu harus rela salah. Anda seharusnya tidak pernah memegang ide-ide Anda sendiri sebagai sesuatu yang bersifat religius sehingga Anda tidak akan pernah melepaskannya.” — Mark Holst-Knudsen, Presiden, ThomasNet

“Pekerjaan pertama saya adalah membuat orang-orang seperti saya gulung tikar.” — Puneet Batra, ilmuwan data, pendiri LevelTrigger

“Masalahnya hukum selalu ditulis dengan slop di sana dan penilaian manusia di sana. Dan penilaian manusia itu menghilang ketika semuanya menjadi datafied.” — Alex "Sandy" Pentland, profesor, MIT Media Lab

“Teknologi bergerak cepat dan orang tidak berubah secepat itu, itu cukup jelas. Ternyata kelompok yang paling fleksibel cenderung berusia 30 hingga 40 tahun karena, dalam banyak hal, mereka melakukan ini untuk kedua kalinya.” — Peter Burris, wakil presiden dan direktur penelitian, Forester Research Inc.

Selamat datang di The Data Mill, kolom mingguan yang didedikasikan untuk semua hal tentang data. Mendengar sesuatu yang baru (atau gosip)? Email aku atau temukan saya di Twitter di @TT_Nicole.