Ринок великих даних зростає і має об’єднатися, але поки що ні

Spark проти MapReduce

Говорячи про технологію великих даних, Морріс і Батра зауважили, що користувачі MapReduce починають «мігрувати» на Apache Spark, кластерна обчислювальна структура з відкритим кодом у пам’яті для аналітики.

Мій колега, Джек Воган, написав про Spark у березні та пояснив, що, як і оригінальний механізм обробки MapReduce, ця технологія стоїть на вершині Розподілена файлова система Hadoop та інші джерела даних Hadoop. Але на відміну від MapReduce, Spark швидше обробляє дані та «підтримує більш узагальнені методи обчислення».

Spark був розроблений на AMPLab at UC Berkeley. Він вийшов із стелс-режиму в червні 2013 року та став проектом верхнього рівня Apache у лютому цього року.

Новий "пошук" Google

Перехід Google від пошуку в Інтернеті до машина без водія не такий великий, як здається. Замість комп’ютерного коду Google просто сканує іншу місцевість. «Я думаю про це як про фізичні пошукові системи — пошук фізичного світу», — сказав Джон Леонард, професор механіки та океанічної інженерії, ст Лабораторія інформатики та штучного інтелекту Массачусетського технологічного інституту, на симпозіумі.

Таким чином створюються точні карти, які можуть допомогти безпілотним автомобілям підготуватися до очікуваного. Але більший виклик полягає в тому, щоб відреагувати на несподіване. «Здатність зрозуміти, що відбувається у фізичному світі, і передбачити, що може статися далі, скажімо, на жвавому перехресті, є справді складною для машин», — сказав він.

Чи Google буде тією компанією, яка це зрозуміє? Леонард не впевнений у цьому. «У мене є два бачення майбутнього: одне — Google переможе», — сказав він. «А інший полягає в тому, що ми ще не зовсім там».

Цифрова динаміка

Дні конкуренції в рамках однієї вертикалі минули, і ви можете дякувати за це цифровізації. Приклад? Пітер Вейл, старший науковий співробітник та голова ради Центр дослідження інформаційних систем MIT, вказав на австралійську мережу супермаркетів, щоб проілюструвати, як компанія використовує технологію, щоб перевернути іншу галузь. «Колі вперше цього року продала більше страхування — або принаймні рівну суму страхування — ніж будь-яка з провідних страхових компаній», — сказав він.

Хоча оцифрування згладжує конкурентний ландшафт, воно також надихає на «цікаву розробку нових продуктів», — сказав він. Просто подивіться Помаранчева гроші by France Telecom. В Африці, де понад 50% жителів мають мобільний телефон, але менше 10% мають банківський рахунок, Orange Money дозволяє клієнтам «відкривати рахунок, переказувати кошти, отримувати зарплату, оплачувати рахунки», згідно з веб-сайтом компанії. .

Скажи що?!?

«Світ стає програмованим. Це не лише цифрові продукти; це все продукти».
- Наріндер Сінгх, Президент CloudSpokes та TopCoder; співзасновник і директор зі стратегії Аппіріо

«Ви повинні бути готові помилятися. Ви ніколи, ніколи не повинні сприймати будь-яку свою власну ідею як релігійну за своєю природою, щоб ви ніколи не відмовилися від неї». — Марк Холст-Кнудсен, президент, Томаснет

«Моя перша робота — вивести з бізнесу таких, як я». — Пуніт Батра, дослідник даних, засновник LevelTrigger

«Проблема в тому, що закон завжди написаний з помиями та людським судженням. І це людське судження зникає, оскільки все стає даними». — Алекс «Сенді» Пентленд, професор, Медіалабораторія MIT

«Технології швидко розвиваються, і люди змінюються не так швидко, це досить ясно. Виявилося, що найбільш гнучкою групою є люди від 30 до 40 років, оскільки багато в чому вони роблять це вдруге». — Пітер Берріс, віце-президент і керівник досліджень, Forrester Research Inc.

Ласкаво просимо до The Data Mill, щотижневої колонки, присвяченої всьому, що стосується даних. Почули щось новинне (або плітки)? Напиши мені електронного листа або знайдіть мене в Twitter за адресою @TT_Nicole.