By Dhilip Subramanyan, Veri Bilimcisi ve Yapay Zeka Meraklısı

Python, makine öğreniminin ayrılmaz bir parçasıdır ve kütüphaneler hayatımızı kolaylaştırır. Son zamanlarda makine öğrenimi projelerim üzerinde çalışırken 6 harika kitaplıkla karşılaştım. Çok zaman kazanmama yardımcı oldular ve bu blogda onlar hakkında tartışacağım.

1. temiz metin

 
 
Gerçekten inanılmaz bir kitaplık, temiz metin, kazıma veya sosyal medya verileriyle uğraşmanız gerektiğinde gitmeniz gereken yer olmalıdır. Bununla ilgili en havalı şey, verilerimizi temizlemek için uzun süslü kodlar veya normal ifadeler gerektirmemesidir. Hadi bazı örneklere bakalım:

Montaj

!pip install cleantext

Örnek E-posta

#Importing the clean text library
from cleantext import clean# Sample texttext = """ Zürich, largest city of Switzerland and capital of the canton of 633Zürich. Located in an Alu017eupine. (https://google.com). Currency is not ₹"""# Cleaning the "text" with clean textclean(text, fix_unicode=True, to_ascii=True, lower=True, no_urls=True, no_numbers=True, no_digits=True, no_currency_symbols=True, no_punct=True, replace_with_punct=" ", replace_with_url="", replace_with_number="", replace_with_digit=" ", replace_with_currency_symbol="Rupees")

Çıktı

Yukarıdan, Zurich kelimesinde Unicode ('u' harfi kodlanmıştır), ASCII karakterleri (Alu017eupine'de), rupide para birimi sembolü, HTML bağlantısı, noktalama işaretlerine sahip olduğunu görebiliriz.

Temizleme işlevinde gerekli ASCII, Unicode, URL'ler, sayılar, para birimi ve noktalama işaretlerini belirtmeniz yeterlidir. Veya yukarıdaki fonksiyonda değiştirilen parametrelerle değiştirilebilirler. Örneğin, Rupi sembolünü Rupi olarak değiştirdim.

Normal ifadeler veya uzun kodlar kullanmaya kesinlikle gerek yoktur. Özellikle metinleri kazıma veya sosyal medya verilerinden temizlemek istiyorsanız çok kullanışlı bir kütüphane. Gereksiniminize bağlı olarak, argümanları hepsini birleştirmek yerine tek tek iletebilirsiniz.

Daha fazla ayrıntı için lütfen bunu kontrol edin GitHub deposu.

2. çizim verileri

 
 
Drawdata, benim bir başka harika python kütüphanesi bulgum. Makine öğrenimi kavramlarını ekibe açıklamanız gereken bir durumla kaç kez karşılaştınız? Sık sık olması gerekir çünkü veri bilimi tamamen ekip çalışmasıyla ilgilidir. Bu kitaplık, Jupyter not defterinde bir veri kümesi çizmenize yardımcı olur.
Şahsen, ML kavramlarını ekibime anlattığımda bu kütüphaneyi kullanmaktan gerçekten keyif aldım. Bu kütüphaneyi yaratan geliştiricilere Kudos!

Drawdata sadece dört sınıflı sınıflandırma problemi içindir.

Montaj

!pip install drawdata

Örnek E-posta

# Importing the drawdata from drawdata import draw_scatterdraw_scatter()

Çıktı

Yazar tarafından görüntü

Draw_Scatter() yürütüldükten sonra yukarıdaki çizim pencereleri açılacaktır. Açıkçası A, B, C ve D olmak üzere dört sınıf var. Herhangi bir sınıfa tıklayıp istediğiniz noktaları çizebilirsiniz. Her sınıf çizimdeki farklı renkleri temsil eder. Ayrıca verileri csv veya json dosyası olarak indirme seçeneğiniz de vardır. Ayrıca, veriler panonuza kopyalanabilir ve aşağıdaki koddan okunabilir.

#Reading the clipboardimport pandas as pd df = pd.read_clipboard(sep=",")
df

Bu kütüphanenin sınırlamalarından biri, dört sınıfla sadece iki veri noktası vermesidir. Ama aksi takdirde, kesinlikle buna değer. Daha fazla ayrıntı için lütfen bunu kontrol edin GitHub bağlantısı.

3. Otoviz

 
 
Matplotlib kullanarak keşifsel veri analizi yapmak için harcadığım zamanı asla unutmayacağım. Birçok basit görselleştirme kütüphanesi vardır. Ancak, son zamanlarda herhangi bir veri kümesini tek bir kod satırı ile otomatik olarak görselleştiren Autoviz'i öğrendim.

Montaj

!pip install autoviz

Örnek E-posta

Bu örnek için IRIS veri setini kullandım.

# Importing Autoviz class from the autoviz library
from autoviz.AutoViz_Class import AutoViz_Class#Initialize the Autoviz class in a object called df
df = AutoViz_Class()# Using Iris Dataset and passing to the default parametersfilename = "Iris.csv"
sep = ","graph = df.AutoViz( filename, sep=",", depVar="", dfte=None, header=0, verbose=0, lowess=False, chart_format="svg", max_rows_analyzed=150000, max_cols_analyzed=30,
)

Yukarıdaki parametreler varsayılandır. Daha fazla bilgi için lütfen kontrol edin okuyun.

Çıktı

Yazar tarafından görüntü

Tüm görselleri görebilir ve tek satır kod ile EDA'mızı tamamlayabiliriz. Birçok otomatik görselleştirme kütüphanesi var ama özellikle buna aşina olmaktan gerçekten keyif aldım.

4.Mito

 
 
Herkes Excel'i sever, değil mi? İlk durumda bir veri kümesini keşfetmenin en kolay yollarından biridir. Mito ile birkaç ay önce tanıştım ama daha yeni denedim ve kesinlikle çok sevdim!

Elektronik tablo işlevselliği ekleyen GUI destekli bir Jupyter-lab uzantısı python kitaplığıdır. CSV verilerinizi yükleyebilir ve veri kümesini bir elektronik tablo olarak düzenleyebilirsiniz ve bu otomatik olarak Pandas kodunu oluşturur. Çok havalı.

Mito gerçekten bir blog gönderisinin tamamını hak ediyor. Ancak bugün fazla ayrıntıya girmeyeceğim. İşte sizin için basit bir görev gösterimi. Daha fazla ayrıntı için lütfen kontrol edin okuyun.

Montaj

#First install mitoinstaller in the command prompt
pip install mitoinstaller# Then, run the installer in the command prompt
python -m mitoinstaller install# Then, launch Jupyter lab or jupyter notebook from the command prompt
python -m jupyter lab

Kurulum hakkında daha fazla bilgi için lütfen kontrol edin okuyun.

# Importing mitosheet and ruuning this in Jupyter labimport mitosheet
mitosheet.sheet()

Yukarıdaki kodu çalıştırdıktan sonra, jupyter laboratuvarında mitosheet açılacaktır. IRIS veri setini kullanıyorum. İlk olarak, iki yeni sütun oluşturdum. Biri ortalama Sepal uzunluğu, diğeri ise toplam Sepal genişliğidir. İkinci olarak, ortalama Sepal uzunluğu için sütun adını değiştirdim. Son olarak, ortalama Sepal uzunluk sütunu için bir histogram oluşturdum.

Yukarıda belirtilen adımlar izlendikten sonra kod otomatik olarak oluşturulur.

Çıktı

Yazar tarafından görüntü

Yukarıdaki adımlar için aşağıdaki kod oluşturuldu:

from mitosheet import * # Import necessary functions from Mito
register_analysis('UUID-119387c0-fc9b-4b04-9053-802c0d428285') # Let Mito know which analysis is being run# Imported C:UsersDhilipDownloadsarchive (29)Iris.csv
import pandas as pd
Iris_csv = pd.read_csv('C:UsersDhilipDownloadsarchive (29)Iris.csv')# Added column G to Iris_csv
Iris_csv.insert(6, 'G', 0)# Set G in Iris_csv to =AVG(SepalLengthCm)
Iris_csv['G'] = AVG(Iris_csv['SepalLengthCm'])# Renamed G to Avg_Sepal in Iris_csv
Iris_csv.rename(columns={"G": "Avg_Sepal"}, inplace=True)

5. Gramer

 
 
Yine etkileyici bir kütüphane olan Gramformer, cümlelerdeki dilbilgisini düzeltmemize yardımcı olan üretken modeller üzerine kuruludur. Bu kütüphanenin üç modeli vardır. dedektör, vurgulayıcı ve düzeltici. Dedektör, metnin yanlış dilbilgisine sahip olup olmadığını belirler. Vurgulayıcı, konuşmanın hatalı kısımlarını işaretler ve düzeltici hataları düzeltir. Gramformer tamamen açık bir kaynaktır ve ilk aşamalarındadır. Ancak sadece cümle düzeyinde çalıştığından ve 64 uzun cümle için eğitildiğinden uzun paragraflar için uygun değildir.

Şu anda düzeltici ve vurgulayıcı modeli çalışıyor. Hadi bazı örneklere bakalım.

Montaj

!pip3 install -U git+https://github.com/PrithivirajDamodaran/Gramformer.git

Anlık Gramformer

gf = Gramformer(models = 1, use_gpu = False) # 1=corrector, 2=detector (presently model 1 is working, 2 has not implemented)

Örnek E-posta

#Giving sample text for correction under gf.correctgf.correct(""" New Zealand is island countrys in southwestern Paciific Ocaen. Country population was 5 million """)

Çıktı

Yazar tarafından görüntü

Yukarıdaki çıktıdan, dilbilgisini ve hatta yazım hatalarını düzelttiğini görebiliriz. Gerçekten harika bir kütüphane ve çok iyi çalışıyor. Vurgulayıcıyı burada denemedim, daha fazlası için bu GitHub belgelerini deneyebilir ve kontrol edebilirsiniz. ayrıntılar.

6. Stil oluşturucu

 
 
Gramformer ile olan olumlu deneyimim beni daha benzersiz kütüphaneler aramaya teşvik etti. Oldukça çekici bir Python kütüphanesi olan Styleformer'ı bu şekilde buldum. Hem Gramformer hem de Styleformer, Prithiviraj Damodaran tarafından oluşturulmuştur ve her ikisi de üretken modellere dayanmaktadır. Açık kaynak sağladığı için yaratıcıya teşekkür ederiz.

Styleformer, sıradan cümleleri resmi cümlelere, resmi cümleleri gündelik cümlelere, aktiften pasife ve pasiften aktif cümlelere dönüştürmeye yardımcı olur.

Hadi bazı örneklere bakalım

Montaj

!pip install git+https://github.com/PrithivirajDamodaran/Styleformer.git

Styleformer'ı Örneklendir

sf = Styleformer(style = 0)# style = [0=Casual to Formal, 1=Formal to Casual, 2=Active to Passive, 3=Passive to Active etc..]

Örnekler

# Converting casual to formal sf.transfer("I gotta go")

# Formal to casual sf = Styleformer(style = 1) # 1 -> Formal to casual# Converting formal to casual
sf.transfer("Please leave this place")

# Active to Passive sf = Styleformer(style = 2) # 2-> Active to Passive# Converting active to passive
sf.transfer("We are going to watch a movie tonight.")

# passive to active
sf = Styleformer(style = 2) # 2-> Active to Passive# Converting passive to active
sf.transfer("Tenants are protected by leases")

Yukarıdaki çıktıya bakın, doğru bir şekilde dönüştürür. Bu kütüphaneyi, analizlerimden birinde özellikle sosyal medya gönderileri için gündelikten resmiye dönüştürmek için kullandım. Daha fazla ayrıntı için lütfen kontrol edin GitHub.

Daha önce bahsedilen kütüphanelerden bazılarına aşina olabilirsiniz ancak Gramformer ve Styleformer gibi kütüphaneler yeni oyunculardır. Son derece küçümsendiler ve kesinlikle tanınmayı hak ettiler çünkü çok zamanımı kurtardılar ve onları NLP projelerim için yoğun bir şekilde kullandım.

Okuduğunuz için teşekkürler. Eklemek istediğiniz bir şey varsa, lütfen yorum bırakmaktan çekinmeyin!

Bir önceki yazımı da beğenebilirsin Veri Bilimi için Beş Harika Python Kütüphanesi

 
Bio: Dhilip Subramanyan Makine Mühendisidir ve Yüksek Lisansını Analitik alanında tamamlamıştır. BT, pazarlama, bankacılık, güç ve üretim dahil olmak üzere verilerle ilgili çeşitli alanlarda uzmanlık konusunda 9 yıllık deneyime sahiptir. NLP ve makine öğrenimi konusunda tutkulu. Katkıda bulunuyor SAS topluluğu ve Orta platformda veri biliminin çeşitli yönleri hakkında teknik makaleler yazmayı sever.

orijinal. İzinle yeniden yayınlandı.

İlgili:

• Veri Bilimi için Beş Harika Python Kütüphanesi
• Python ile Kolay Metin Okuma
• Veri Bilimi ve Makine Öğrenimi Öğrenme: İlk Adımlar