Тенденції роботи в аналітиці даних: Частина 2

Перевидано Платоном

читають: 0

Андреа Де Мауро та Махантеш Паттадкал

Коли ми продовжуємо з того місця, де зупинилися в першій частині серії блогів "Тенденції роботи в аналітиці даних“, наша подорож крізь світ тенденцій роботи в аналітиці даних і ролі обробки природної мови (NLP) продовжується.

У частині 1 ми представили "Тенденції роботи в аналітиці даних», який призначений для збору даних і застосування НЛП для їх аналізу Аналітична платформа KNIME. Ми обговорили фазу веб-збирання, яка використовується для збору реальних даних про ринок праці аналітики даних, а потім процес очищення даних за допомогою методів НЛП. Потім ми представили тематичну модель, яка виявила сім однорідних наборів навичок у оголошеннях про роботу. Такі набори навичок представляють компетенції та види діяльності, які роботодавці в різних галузях шукають у професіоналів з аналізу даних.

У другій частині серії блогів ми опишемо визначені набори навичок і зробимо деякі обґрунтовані даними міркування щодо розвитку професійної кар’єри в Data Science.

Щоб позначити набори навичок, ми використовуємо найпоширеніші терміни та ваги, визначені за допомогою алгоритму LDA, який раніше застосовувався до оголошень про роботу. Ми далі аналізуємо посадові інструкції в кожній темі, щоб виділити ключові види діяльності, основні навички та галузі, де вони найчастіше зустрічаються. Розуміння цих тем може допомогти шукачам роботи узгодити свої навички з вимогами ринку та збільшити їхні шанси отримати відповідну посаду в галузі аналізу даних. У наступних параграфах ви знайдете короткий опис кожного набору навичок.

Тема 0: Дослідження та аналіз даних

У наведеній нижче таблиці наведено п’ять найпопулярніших термінів та їх ваги для теми 0. Ваги відносяться до значення терміна у визначенні цієї конкретної теми. Беручи до уваги ці терміни та документи, позначені як тема 0, ми тлумачимо цей набір навичок як «Дослідження та аналіз даних».

Термін	вага
Дослідження	4510
становище	4195
Інформація	4112
здоров'я	3404
Університет	2118

Таблиця 0: Терміни-ваги для теми 0

Цей набір навичок охоплює такі види діяльності, як проведення досліджень, аналіз даних і надання інформації, яка спонукає до прийняття рішень у різних секторах. Будучи наріжним каменем аналітики даних, цей набір навичок полегшує отримання цінної інформації з даних, визначення тенденцій і прийняття обґрунтованих рішень.
З того, що ми зібрали в корпусі вакансій, фундаментальні вимоги до компетентності, пов’язані з цим набором навичок, такі:

Сильні аналітичні здібності та здібності до вирішення проблем
Експертиза в статистичному програмному забезпеченні (R, Python)
Досвід роботи з інструментами візуалізації даних
Навички ефективного спілкування та документування
Підготовка у відповідній галузі (математика, статистика або наука про дані)

Тема 1: Адміністрування та підтримка клієнтів

Переглянувши терміни та ваги з Таблиці 1 і документи, пов’язані з Темою 1, ми вирішили позначити її як «Адміністрування та підтримка клієнтів». Цей набір навичок передбачає керування взаємодією з клієнтами, надання адміністративної підтримки та координацію процесів логістики чи закупівель.

Термін	вага
Підтримайте	2321
управління	2307
Інформація	2134
становище	2126
Клієнт	1909

Таблиця 1: Терміни-ваги для теми 1

На нашу думку, основними компетенціями, необхідними для досягнення успіху на роботах, які потребують цього набору навичок, є:

Сильні організаторські здібності та здібності до управління часом
Увага до деталей
Володіння офісним програмним забезпеченням та засобами спілкування
Відмінні навички міжособистісного спілкування та вирішення проблем

Тема 2: Маркетинг і управління продуктами

Виходячи з термінів, наведених у таблиці 2, ми тлумачимо це як « Маркетинг і управління продуктами " сукупність навичок.

Термін	вага
Business	8487
професіонали	8021
Product	6825
Клієнт	3923
Маркетинг	3740

Таблиця 2: Терміни-ваги для теми 2

Цей набір навичок спрямований на розробку маркетингових стратегій, управління життєвими циклами продукту та стимулювання зростання ринку. Це життєво важливо для робіт, орієнтованих на аналітику даних, оскільки дозволяє професіоналам використовувати отримані дані для прийняття обґрунтованих рішень щодо ринкових тенденцій, уподобань клієнтів і ефективності продукту.

Основні компетенції, необхідні в рамках набору навичок маркетингу та управління продуктами:

Сильні аналітичні та стратегічні здібності
Досвід у дослідженні ринку та конкурентній розвідці
Досвід роботи з маркетинговими інструментами та платформами
Відмінні комунікативні та лідерські навички
Досвід роботи в бізнесі, маркетингу чи суміжній галузі

Тема 3: Управління бізнесом, управління даними та відповідність

На підставі термінів, наведених у таблиці 2, ми дійшли висновку, що це стосується «Управління бізнесом, управління даними та відповідність " сукупність навичок.

Цей набір навичок включає нагляд за бізнес-операціями, забезпечення якості та безпеки даних, а також управління ризиками та нормативними вимогами. У роботах, пов’язаних із інтенсивним аналізом даних, цей набір навичок дає змогу підтримувати цілісність даних, відстежувати відповідність вимогам, ідентифікувати ризики та оптимізувати бізнес-процеси за допомогою розуміння, керованого даними.

Термін	вага
Business	14046
управління	10531
професіонали	5835
аналіз	5672
Проекти	4309

Таблиця 3: Терміни-ваги для теми 3

Згідно з нашими висновками, необхідні компетенції в рамках цього набору навичок:

Сильні організаторські та лідерські здібності
Експертиза в управлінні даними, керуванні даними та оцінці ризиків
Досвід роботи з нормативною базою та галузевими стандартами
Навички ефективного спілкування та вирішення проблем
Досвід у бізнесі, фінансах або в суміжній сфері

Тема 4: Бізнес-аналітика та візуалізація даних

Переглядаючи терміни, які ми знайшли в темі 4, ми називаємо це «Бізнес-аналітика та візуалізація даних" сукупність навичок.

Цей набір навичок передбачає розробку постійних рішень BI, таких як інформаційні панелі та звіти, створення глибоких візуалізацій і аналіз даних для прийняття обґрунтованих рішень. Він має важливе значення в роботах, які використовують аналітику даних, перетворюючи необроблені дані в практичну інформацію, яка керує стратегічними рішеннями.

Термін	вага
Business	19372
аналіз	7687
Сила бі	7359
інтелект	7040
Sql	5836

Таблиця 4: Терміни-ваги для теми 4

На нашу думку, основними вимогами до компетенції в BI та візуалізації даних є:

Сильні аналітичні здібності та здібності до вирішення проблем
Експертиза в інструментах BI (наприклад, Power BI, Tableau, SQL)
Досвід роботи з технікою візуалізації даних
Навички ефективного спілкування та оповідання

Тема 5: Сховище даних та хмарна інфраструктура

Виходячи з термінів, наведених у таблиці 5, ми тлумачимо це як «Сховище даних і хмарна інфраструктура " сукупність навичок.

Вакансії, які вимагають навичок роботи з хмарою та великими даними, зазвичай пов’язані з такими видами діяльності, як проектування та впровадження хмарних рішень, керування великомасштабною обробкою даних і розробка програмних додатків. Це життєво важливо в роботах, орієнтованих на аналіз даних, що забезпечує ефективну обробку та аналіз великих обсягів даних для отримання цінної інформації.

Термін	вага
розробка	4525
хмара	3998
Машинобудування	3692
Софтвер	3510
дизайн	3494

Таблиця 5: Терміни-ваги для теми 5

На нашу думку, фундаментальні вимоги до компетентності, пов’язані з набором навичок, є

Сильні здібності до програмування та вирішення проблем
Досвід у хмарних платформах (наприклад, AWS, Azure та Google Cloud)
Досвід роботи з технологіями великих даних (такими як бази даних Hadoop, Spark і NoSQL)
Знання політики інформаційної безпеки та відповідних процесів

Тема 6: Машинне навчання

Виходячи з термінів, наведених у таблиці 6, ми тлумачимо це як «машинне навчання ” набір навичок, який обертається навколо розробки моделей ШІ, дослідження передових методів машинного навчання та розробки інтелектуальних програмних рішень. У роботах, пов’язаних із інтенсивним аналізом даних, це є основою для навчання моделі AI та оптимізації продуктивності.

Термін	вага
машина	9782
наука	8861
Дослідження	4686
комп'ютер	4209
Python	4053

Таблиця 6: Терміни-ваги для теми 6

Згідно з нашими висновками, основні компетенції, необхідні сьогодні для машинного навчання

Сильні здібності до програмування та математики
Досвід у фреймворках машинного навчання (наприклад, TensorFlow, PyTorch)
Досвід роботи з передовими методами ШІ (наприклад, глибоке навчання та обробка природної мови)
Навички ефективного спілкування та співпраці

У цій частині ми зосередимося на складному аналізі асоціацій набору навичок, які виявляються за допомогою тематичного моделювання в трьох різних професійних профілях: Data Engineer, Data Analyst і Data Scientist. Щоб узгодити ці професійні профілі з оголошеннями про роботу, ми використали класифікатор на основі правил. Цей класифікатор зміг визначити позначення профілю в списку вакансій на основі ключових слів, знайдених у назві вакансії. Наприклад, вакансію під назвою «Архітектор даних» буде віднесено до категорії «Інженер даних», а посаду під назвою «Інженер з машинного навчання» буде віднесено до категорії «Науковий спеціаліст».

Використання моделювання тем за прихованим розподілом Діріхле (LDA) дає нам ваги тем для кожної вакансії, що охоплює сім різних наборів навичок. Розраховуючи середню вагу кожного набору навичок для всіх професійних профілів, ми отримуємо середню вагу набору навичок для кожної ролі. Примітно, що ці ваги потім нормалізуються та представлені у відсотках.

Як показано на малюнку 1, ми представляємо глибоку візуалізацію взаємодії між професійними назвами та відповідними наборами навичок. Це візуальне зображення містить колективне очікування роботодавців щодо основних навичок, важливих для інженерів даних, аналітиків даних і спеціалістів із обробки даних.

Як і передбачалося, роль інженера даних вимагає володіння набором навичок «Сховище даних і хмарна інфраструктура». Крім того, необхідним є додаткове розуміння візуалізації та машинного навчання. Такий наголос на різноманітності навичок можна пояснити очікуванням того, що інженери даних будуть невід’ємною частиною підтримки як аналітиків даних, так і спеціалістів із обробки даних.

І навпаки, першочерговий досвід, запланований для Data Scientists, полягає в «машинному навчанні», за яким слідує майстерність у «дослідницьких» методологіях. Примітно, що гібридний набір навичок, що охоплює «Управління бізнесом» і «Управління продуктами», також має високу значимість. Це охоплює складний набір компетенцій, які потрібні на ринку праці для початківців науковців з даних.

Якщо звернути увагу на сферу Data Analyst, то постає головна вимога до знання «BI та візуалізації». Враховуючи їх роль у створенні бізнес-звітів, керуванні інформаційними панелями та моніторингу життєздатності бізнесу, це не дивно. Паралельний попит на «Управління бізнесом» як другорядну ключову навичку відображає стратегічну кмітливість, яку очікують від цієї ролі. Крім того, подібно до ролі спеціаліста з даних, існує паралельна вимога до навичок «керування продуктами» та «досліджень» у спектрі аналітика даних.

Підводячи підсумок, це дослідження підкреслює різноманіття передумов набору навичок для різних ролей аналізу даних. Він описує багатогранні очікування роботодавців щодо кандидатів, які прагнуть досягти успіху в якості інженерів даних, аналітиків даних і спеціалістів із обробки даних.

Малюнок 1: Радіолокаційна діаграма відображає зв’язок між професійними профілями, нанесеними на графік із наборами навичок, показаними у вимірах (клацніть, щоб збільшити).

Наш аналіз оголошень про вакансії в галузі аналітики даних, що розширюється, спрямований на класифікацію вакансій на основі різних навичок і з’ясування різноманітних здібностей, необхідних для кожної категорії. З експоненціальним зростанням у цій галузі та критичним характером рішень, які приймаються на основі даних, процес збору, зберігання та аналізу даних досяг неабияких успіхів, що призвело до ненаситного попиту на професіоналів, які кваліфіковані в аналітиці даних.

Завдяки класифікації оголошень про роботу за сімома основними темами набору навичок ми проливаємо світло на необхідність як спеціальних, так і багатогранних навичок у цій галузі, що швидко змінюється. Теми варіювалися від аналізу даних і бізнес-аналітики до машинного навчання та штучного інтелекту, підкреслюючи зростаючий попит на людей, які вміють використовувати дані, технології та багатофункціональну командну роботу.

Незважаючи на це, це дослідження має кілька обмежень. Динамічний характер ринку праці та поява нових технологій і методологій вимагають постійного оновлення нашого аналізу на відміну від статичного «миттєвого знімка», як ми зробили тут. Крім того, наш підхід міг не врахувати всі нюанси різноманітних робочих ролей і навичок на арені аналізу даних, враховуючи залежність від доступних оголошень про вакансії під час дослідження.

Усі наші роботи знаходяться у вільному доступі за адресою Громадський простір KNIME Community Hub – «Заявка на роботу». Ви можете завантажити та грати з робочими процесами, щоб спробувати та відкрити для себе, розширити чи покращити.

Забігаючи наперед, ми бачимо потенціал для значного розширення цього дослідження. Сюди входить розробка компонентів KNIME для реалізації методу «Видалення припинених фраз», описаного в Частині 1, і інтерактивної системи візуалізації «людина в циклі» в KNIME. Така структура спростить процес людського судження під час вибору найбільш узгодженої тематичної моделі для даного корпусу, покращуючи масштабування нашої роботи. Ми також передбачаємо застосування механізмів LLM для підтримки та спрощення етапу моделювання теми: цей сценарій, безумовно, залишає простір для подальших експериментів і досліджень.

Професіонали в галузі аналізу даних повинні залишатися поінформованими та адаптуватися до нових технологій. Це гарантує, що їхні навички залишаться актуальними та цінними в умовах прийняття рішень на основі даних, що постійно змінюється. Визнаючи та розвиваючи навички, пов’язані з визначеними темами, шукачі роботи можуть отримати конкурентну перевагу на цьому жвавому ринку. Щоб захистити свою релевантність у цій галузі, спеціалісти з аналізу даних повинні залишатися цікавими протягом усієї своєї кар’єри та продовжувати постійно навчатися.

Махантеш Паттадкал має понад 6 років досвіду консультування проектів і продуктів з науки про дані. Завдяки ступеню магістра в галузі даних, його досвід сяє в області глибокого навчання, обробки природної мови та пояснюваного машинного навчання. Крім того, він активно співпрацює зі спільнотою KNIME для співпраці над проектами, заснованими на наукових даних.

Андреа Де Мауро має понад 15 років досвіду створення команд бізнес-аналітики та обробки даних у міжнародних компаніях, таких як P&G і Vodafone. Окрім своєї корпоративної ролі, йому подобається викладати маркетингову аналітику та прикладне машинне навчання в кількох університетах Італії та Швейцарії. Завдяки своїм дослідженням і написанню він досліджував вплив даних і ШІ на бізнес і суспільство, переконаний, що ширша аналітична грамотність зробить світ кращим. Його остання книга — «Аналіз даних — легко», опублікована Packt. Він з’явився в глобальному списку журналу CDO за 2022 рік «Сорок до 40».