Kapsamlı Bir Zaman Serisi Analizi Kılavuzu

• Bir Zaman Serisi, bir dizi zamana dayalı siparişleri temsil eder. Yıllar, Aylar, Haftalar, Günler, Horus, Dakikalar ve Saniyeler olurdu
• Zaman serisi, ardışık aralıkların ayrık zaman dizisinden elde edilen bir gözlemdir.
• Zaman serisi, çalışan bir grafiktir.
• Zaman değişkeni/özellik bağımsız değişkendir ve hedef değişkenin sonuçları tahmin etmesini destekler.
• Zaman Serisi Analizi (TSA), Hava Tahmini, Finansal, Sinyal işleme, Mühendislik alanı - Kontrol Sistemleri, İletişim Sistemleri gibi zamana dayalı tahminler için farklı alanlarda kullanılır.
• TSA, bilgi setinin belirli bir sırayla üretilmesini içerdiğinden, mekansal ve diğer analizlerden farklılık göstermektedir.
• AR, MA, ARMA ve ARIMA modellerini kullanarak geleceği tahmin edebiliyoruz.

Zaman Serisi Analizine Giriş

Zaman Serisi Analizi, yanıt değişkeninin özelliklerini bağımsız değişken olarak zamana göre incelemenin yoludur. Tahmin etme veya öngörme adına hedef değişkeni tahmin etmek için zaman değişkenini referans noktası olarak kullanın. Bu yazıda TSA Hedeflerini, Varsayımlarını, Bileşenlerini (durağan ve durağan olmayan) ayrıntılı olarak tartışacağız. TSA algoritması ve Python'daki özel kullanım örnekleriyle birlikte.

1. Zaman Serisi Analizi (TSA) nedir ve varsayımı

2. Nasıl analiz edilir)?
3. Zaman Serisi Analizinin Önemi ve türleri.
4. Zaman Serisinin Bileşenleri
5. Zaman serilerinin sınırlamaları nelerdir?
6. Zaman Serisi Veri türlerinin Detaylı Çalışması.
7. Durağan ve Durağan Olmayan Bileşenler Üzerine Tartışma
8. Durağan olmayanın durağan hale dönüştürülmesi
9. Veri Bilimi ve Makine Öğreniminde Zaman Serisi Analizi neden kullanılır?
10. Veri Bilimi ve Makine Öğreniminde Zaman Serisi Analizi
11. Otomatik Regresyon modelinin uygulanması
12. Hareketli Ortalamanın Uygulanması (AĞIRLIKLAR – BASİT HAREKETLİ ORTALAMA)
13. ARMA ve ARIMA'yı Anlamak
14. ARIMA için uygulama adımları
15. Zaman Serisi Analizi – Süreç akışı (Yeniden boşluk)

Zaman Serisi Analizi Nedir?

Tanım: Bakarsanız TSA'nın daha pek çok tanımı var. Ama bunu basitleştir.

Zaman serisi, belirli bir süre boyunca ardışık bir sırada meydana gelen çeşitli veri noktalarının dizisinden başka bir şey değildir.

Amaç:

• Zaman serilerinin nasıl çalıştığını anlamak için, belirli değişkenleri farklı zaman noktalarında hangi faktörlerin etkilediği.
• Zaman serisi analizi, belirli bir veri kümesinin zaman içinde değişen özelliklerinin sonuçlarını ve içgörülerini sağlayacaktır.
• Zaman serisi değişkeninin gelecekteki değerlerini tahmin etmenin desteklenmesi.
• Varsayımlar: Zamanın kökeninin, istatistiksel faktör altında sürecin özelliklerini etkilemediği anlamına gelen “durağan” olan tek bir varsayım vardır.

Zaman Serisi nasıl analiz edilir?

Yine de referansınız için hızlı adımlar burada. Bunu daha sonra bu makalede ayrıntılı olarak göreceğiz.

• Verilerin toplanması ve temizlenmesi
• Zamana ve temel özelliğe göre Görselleştirmenin Hazırlanması
• Serinin durağanlığını gözlemlemek
• Doğasını anlamak için grafikler geliştirmek.
• Model oluşturma – AR, MA, ARMA ve ARIMA
• Tahminlerden içgörü çıkarma

Zaman Serilerinin Önemi ve Türleri

TSA, zamana dayalı problem ifadelerine özgü tahmin ve tahmin analizinin omurgasıdır.

• Geçmiş veri kümesini ve kalıplarını analiz etme
• Mevcut durumu anlamak ve önceki aşamadan elde edilen kalıplarla eşleştirmek.
• Belirli değişkenleri farklı dönemlerde etkileyen faktör veya faktörlerin anlaşılması.

“Zaman Serisi” yardımıyla çok sayıda zamana dayalı analiz ve sonuç hazırlayabiliyoruz.

• Öngörü
• Bölünme
• Sınıflandırma
• Tanımlayıcı analiz
• Müdahale analizi

Zaman Serisi Analizinin Bileşenleri

• eğilim
• Mevsimsellik
• Döngüsel
• düzensizlik

• eğilim: Sabit bir aralığın olmadığı ve verilen veri seti içerisinde herhangi bir farklılığın olduğu sürekli bir zaman çizelgesidir. Trend Negatif veya Pozitif veya Boş Trend olabilir
• Mevsimsellik: Sürekli bir zaman çizelgesinde veri kümesi içinde düzenli veya sabit aralıklı geçişlerin olduğu. Çan eğrisi veya testere dişi olurdu
• Döngüsel: Sabit bir aralığın olmadığı, hareket ve şeklinin belirsiz olduğu
• düzensizlik: Kısa sürede beklenmedik durumlar/olaylar/senaryolar ve ani artışlar.

Zaman Serisi Analizinin sınırlamaları nelerdir?

Zaman serilerinin aşağıda belirtilen sınırlamaları vardır, analizimiz sırasında bunlara dikkat etmemiz gerekir,

Zaman Serisinin Veri Türleri

Zaman serisinin veri türlerini ve etkilerini tartışalım. TS veri türlerini tartışırken iki ana tür vardır.

6.1 Sabit: Bir veri kümesi, zaman serisinin Trend, Mevsimsellik, Döngüsel ve Düzensizlik bileşenlerine sahip olmadan aşağıdaki temel kurallara uymalıdır.

6.2 Durağan Olmayany: Bu Durağan'ın tam tersidir.

Durağanlığı kontrol etme yöntemleri 

TSA model hazırlama iş akışı sırasında verilen veri setinin Durağan olup olmadığına erişmemiz gerekiyor. Kullanma İstatistik ve Grafikler testi.

7.1 İstatistiksel Test: Veri setinin Durağan olup olmadığını test etmek için iki test mevcuttur.

7.1.1 Artırılmış Dickey-Fuller (ADF) Test veya Birim Kök Testi: ADF testi en popüler istatistiksel testtir ve aşağıdaki varsayımlara sahiptir.

7.1.2 Kwiatkowski–Phillips–Schmidt–Shin (KPSS): bu testler, zaman serisini birim kök alternatifine karşı deterministik bir eğilim etrafında durağan olarak algılayacak bir NULL Hipotezini (HO) test etmek için kullanılır. TSA daha ileri analizler için Durağan Verileri aradığından, veri setinin durağan olduğundan emin olmalıyız.

Durağan olmayanı durağan hale dönüştürme

Etkili zaman serisi modellemesi için durağan olmayanı durağan hale nasıl dönüştürebileceğimizi hızlı bir şekilde tartışalım. Bu dönüşüm için iki ana yöntem mevcuttur.

8.2 Farklılaştırma: Bu, serinin zamana bağımlılığını ortadan kaldırmak ve zaman serisinin ortalamasını stabilize etmek için kullandığımız serinin yeni bir zaman serisine basit bir dönüşümüdür, böylece bu dönüşüm sırasında trend ve mevsimsellik azalır.

Yt= Yt – Yt-1

Yt=Zamanla birlikte değer

8.3 Dönüşüm: Bu, Güç Dönüşümü, Karekök ve Log Aktarımı olmak üzere üç farklı yöntemi içerir. En yaygın kullanılanı Log Aktarımıdır.

Hareketli Ortalama Metodolojisi

Yaygın olarak kullanılan zaman serisi yöntemi Hareketli Ortalama'dır. Bu yöntem rastgele kısa vadeli varyasyonlarla kaygandır. Zaman serisinin bileşenleriyle göreceli olarak ilişkilidir.

Hareketli Ortalama (MA) (Or) Dönen Ortalama: MA'nın k dönem içerisinde zaman serisinin ortalama verilerini alarak hesaplama yaptığı.

Hareketli ortalama türlerini görelim:

• Basit Hareketli Ortalama (SMA),
• Kümülatif Hareketli Ortalama (CMA)
• Üstel Hareketli Ortalama (EMA)

9.1 Basit Hareketli Ortalama (SMA)

SMA, önceki M veya N noktalarının ağırlıklandırılmamış ortalamasıdır. Düzgünleştirme miktarına bağlı olarak kayan pencere veri noktalarının seçimi tercih edilir çünkü M veya N değerinin arttırılması, doğruluk pahasına düzgünleştirmeyi geliştirir.

Daha iyi anlamak için Hava Sıcaklığını kullanacağız.

pandaları pd olarak içe aktar
matplotlib'den pyplot'u plt olarak içe aktarın
statsmodels.graphics.tsaplots'tanplot_acf'yi içe aktarın
df_temperature = pd.read_csv('temperature_TSA.csv', kodlama='utf-8')
df_temperature.head()

df_temperature.info()

# yıl sütunu için dizini ayarla
df_temperature.set_index('Herhangi biri', inplace=Doğru)
df_temperature.index.name = 'yıl'
# Yıllık ortalama hava sıcaklığı - hesaplama
df_temperature['average_temperature'] = df_temperature.mean(axis=1)
# istenmeyen sütunları bırakın ve veri alanını sıfırlayın
df_temperature = df_temperature[['ortalama_temperature']]
df_temperature.head()

# 10 ve 20 yıllık bir süre boyunca SMA
df_temperature['SMA_10'] = df_temperature.average_temperature.rolling(10, min_periods=1).mean()
df_temperature['SMA_20'] = df_temperature.average_temperature.rolling(20, min_periods=1).mean()

# Grean = Ort. Hava Sıcaklığı, KIRMIZI = 10 yıl, çizgi grafiği için TURUNCU renkler
renkler = ['yeşil', 'kırmızı', 'turuncu']
# Çizgi grafiği df_temperature.plot(renk=renkler, çizgi genişliği=3, figsize=(12,6))
plt.xticks(fontsize=14)
plt.yticks(fontsize=14)
plt.legend(labels =['Ortalama hava sıcaklığı', '10 yıllık SMA', '20 yıllık SMA'], fontsize=14)
plt.title('Şehrin yıllık ortalama hava sıcaklığı', fontsize=20)
plt.xlabel('Yıl', fontsize=16)
plt.ylabel('Sıcaklık [°C]', fontsize=16)

9.2 Kümülatif Hareketli Ortalama (CMA)

CMA, şimdiki zamana kadar geçmiş değerlerin ağırlıklandırılmamış ortalamasıdır.

# CMA Hava sıcaklığı
df_temperature['CMA'] = df_temperature.average_temperature.expanding().mean()

# yeşil -Ort. Hava Sıcaklığı ve Turuncu -CMA
renkler = ['yeşil', 'turuncu']
# çizgi grafiği
df_temperature[['average_temperature', 'CMA']].plot(renk=renkler, çizgi genişliği=3, incirboyutu=(12,6))
plt.xticks(fontsize=14)
plt.yticks(fontsize=14)
plt.legend(labels =['Ortalama Hava Sıcaklığı', 'CMA'], fontsize=14)
plt.title('Şehrin yıllık ortalama hava sıcaklığı', fontsize=20)
plt.xlabel('Yıl', fontsize=16)
plt.ylabel('Sıcaklık [°C]', fontsize=16)

9.3 Üstel Hareketli Ortalama (EMA)

EMA esas olarak eğilimleri belirlemek ve gürültüyü filtrelemek için kullanılır. Elementlerin ağırlığı zamanla kademeli olarak azalır. Bu, geçmiş veri noktalarına değil güncel veri noktalarına ağırlık verdiği anlamına gelir. SMA ile karşılaştırıldığında EMA daha hızlı değişir ve daha hassastır.

α –>Düzleştirme Faktörü.

• 0,1 arasında bir değere sahiptir.
• Çok yakın döneme uygulanan ağırlıklandırmayı temsil eder.

Verilen veri setinde 0.1 ve 0.3 yumuşatma faktörü ile üstel hareketli ortalamaları uygulayalım.

# EMA Hava Sıcaklığı
# Haydi yumuşatma faktörü - 0.1
df_temperature['EMA_0.1'] = df_temperature.average_temperature.ewm(alpha=0.1, ayar=False).mean()
# Haydi yumuşatma faktörü - 0.3
df_temperature['EMA_0.3'] = df_temperature.average_temperature.ewm(alpha=0.3, ayar=False).mean()

# yeşil - Ort. Hava Sıcaklığı, kırmızı- yumuşatma faktörü - 0.1, sarı - yumuşatma faktörü - 0.3
renkler = ['yeşil', 'kırmızı', 'sarı']
df_temperature[['average_temperature', 'EMA_0.1', 'EMA_0.3']].plot(renk=renkler, çizgi genişliği=3, figsize=(12,6), alpha=0.8)
plt.xticks(fontsize=14)
plt.yticks(fontsize=14)
plt.legend(labels=['Ortalama hava sıcaklığı', 'EMA - alpha=0.1', 'EMA - alpha=0.3'], fontsize=14)
plt.title('Şehrin yıllık ortalama hava sıcaklığı', fontsize=20)
plt.xlabel('Yıl', fontsize=16)
plt.ylabel('Sıcaklık [°C]', fontsize=16)

Veri Bilimi ve Makine Öğreniminde Zaman Serisi Analizi

Veri Bilimi ve Makine Öğreniminde TSA ile uğraşırken birden fazla model seçeneği mevcuttur. [p, d ve q] ile Otoregresif-Hareketli Ortalama (ARMA) modelleri.

• P==> otoregresif gecikmeler
• q== hareketli ortalama gecikmeleri
• d==> sıra farkı

Arima'yı tanımadan önce öncelikle aşağıdaki terimleri daha iyi anlamalısınız.

10.1 Otomatik Korelasyon İşlevi (ACF): ACF, bir değerin belirli bir zaman serisi içerisinde önceki değere ne kadar benzer olduğunu belirtmek için kullanılır. (VEYA) Belirli bir zaman serisi ile o zaman serisinin farklı aralıklarda gözlemlediğimiz gecikmeli versiyonu arasındaki benzerlik derecesini ölçer.

Python Statsmodels kütüphanesi otokorelasyonu hesaplar. Bu, verilen veri kümesindeki bir dizi eğilimi ve daha önce gözlemlenen değerlerin şu anda gözlemlenen değerler üzerindeki etkisini tanımlamak için kullanılır.

10.2 Kısmi Otomatik Korelasyon (PACF): PACF, Otomatik Korelasyon İşlevine benzer ve anlaşılması biraz zordur. Her zaman, yalnızca doğrudan etkinin gösterildiği ve diğer tüm ara etkilerin verilen zaman serisinden çıkarıldığı, dizi sırası başına belirli sayıda zaman birimi ile dizinin kendisiyle korelasyonunu gösterir.

Otomatik Korelasyon ve Kısmi Otomatik Korelasyon

arsa_acf(df_temperature)
plt.show()

arsa_acf(df_temperature, gecikmeler=30)
plt.show()

Gözlem: Önceki sıcaklık mevcut sıcaklığı etkiler, ancak bu etkinin önemi, düzenli zaman aralıklarıyla sıcaklıkla birlikte yukarıdaki görselleştirmeye göre azalır ve biraz artar.

10.3 Otomatik Korelasyon Türleri

10.4 ACF ve PACF grafiklerini yorumlama

Hem ACF hem de PACF'nin analiz için durağan zaman serileri gerektirdiğini unutmayın.

Şimdi şunu öğreniyoruz Otomatik Gerileyen model

Bu, geçmiş performansa dayalı olarak gelecekteki performansı tahmin eden basit bir modeldir. esas olarak, belirli bir zaman serisindeki değerler ile önceki ve başarılı olan değerler (ileri ve geri) arasında bir korelasyon olduğunda tahmin yapmak için kullanılır.

AR modeli, gecikmeli değişkenleri girdi olarak kullanan bir Doğrusal Regresyon modelidir. Doğrusal Regresyon modeli, kullanılacak girdiyi belirterek scikit-learn kütüphanesi kullanılarak kolayca oluşturulabilir. Statsmodels kütüphanesi, uygun bir gecikme değeri belirtmeniz ve modeli eğitmeniz gereken otoregresyon modeline özgü işlevler sağlamak için kullanılır. Basit adımları kullanarak sonuçların alınması AutoTeg sınıfında sağlanır.

AR modelinin denklemi (Y=mX+c'yi karşılaştıralım)

Y_t =C+b₁ Y_t-1+ B₂ Y_t-2+……+ b_p Y_tp+ Eee_t

Anahtar Parametreler

• p=geçmiş değerler
• Y_t=Farklı geçmiş değerlerin fonksiyonu
• Er_t=zamandaki hatalar
• C=kesme noktası

Verilen veri kümesinin veya zaman serisinin rastgele olup olmadığını kontrol edelim

matplotlib'den pyplot'u içe aktar
pandas.plotting'den lag_plot'u içe aktar
lag_plot(df_temperature)
pyplot.show()

Gözlem: Evet, rastgele ve dağınık görünüyor.

Otomatik Regresyon modelinin uygulanması

#ithalat kitaplıkları
matplotlib'den pyplot'u içe aktar
statsmodels.tsa.ar_model'den Otomatik Kayıt'ı içe aktar
sklearn.metrics'ten import_squared_error'ı içe aktarın
matematik içe aktarma sqrt'den
# csv'yi veri kümesi olarak yükle
#series = read_csv('daily-min-temperatures.csv', başlık=0, index_col=0, parse_dates=Doğru, sıkıştırma=Doğru)
# test ve eğitim için bölünmüş veri seti
X = df_temperature.values
tren, test = X[1:len(X)-7], X[len(X)-7:]
# tren otoregresyonu
model = Otomatik Kayıt(tren, gecikmeler=20)
model_fit = model.fit()
print('Katsayılar: %s' % model_fit.params)
# Tahminler
tahminler = model_fit.predict(başlangıç=uzunluk(tren), bitiş=uzunluk(tren)+uzunluk(test)-1, dinamik=Yanlış)
for i in range(len(predictions)): print('predicted=%f, beklenen=%f' % (predictions[i], test[i]))
rmse = sqrt(mean_squared_error(test, tahminler))
print('RMSE Testi: %.3f' % rmse)
# grafik sonuçları
pyplot.plot(test)
pyplot.plot(tahminler, renk='kırmızı')
pyplot.show()

ÇIKTI

tahmin edilen=15.893972, beklenen=16.275000
tahmin edilen=15.917959, beklenen=16.600000
tahmin edilen=15.812741, beklenen=16.475000
tahmin edilen=15.787555, beklenen=16.375000
tahmin edilen=16.023780, beklenen=16.283333
tahmin edilen=15.940271, beklenen=16.525000
tahmin edilen=15.831538, beklenen=16.758333
RMSE testi: 0.617

Gözlem: Beklenen (mavi) ve Tahmin Edilene (kırmızı) karşı. Tahmin 4. günde iyi görünüyor ve 6. günde sapma var.

Hareketli Ortalamanın Uygulanması (AĞIRLIKLAR – BASİT HAREKETLİ ORTALAMA)

numpy'yi np olarak içe aktar
alfa= 0.3
n = 10
w_sma = np.repeat(1/n, n)
renkler = ['yeşil', 'sarı']
# ağırlıklar - üstel hareketli ortalama alfa=0.3 ayarlama=Yanlış
w_ema = [(1-ALPHA)**i if i==N-1 else alpha*(1-alpha)**i for i in range(n)]
pd.DataFrame({'w_sma': w_sma, 'w_ema': w_ema}).plot(color=renkler, tür='bar', figsize=(8,5))
plt.xticks([])
plt.yticks(fontsize=10)
plt.legend(labels=['Basit hareketli ortalama', 'Üstel hareketli ortalama (α=0.3)'], fontsize=10)
# başlık ve etiketler
plt.title('Hareketli Ortalama Ağırlıklar', fontsize=10)
plt.ylabel('Ağırlıklar', fontsize=10)

ARMA ve ARIMA'yı Anlamak 

ARMA Bu, tahmin için Otomatik Regresyon ve Hareketli Ortalama modelinin bir birleşimidir. Bu model, biri Oto-Regresif ve ikincisi Hareketli Ortalama için olmak üzere iki polinom açısından zayıf durağan bir stokastik süreç sağlar.

ARMA durağan serileri tahmin etmek için en iyisidir. Böylece ARIMA, hem durağan hem de durağan olmayanları desteklediği için devreye girdi.

AR+I+MA= ARIMA

ARIMA'nın İmzasını Anlayın

1. Adım: Bir zaman serisi formatı çizin

Adım 2: Trendi kaldırarak ortalamayı durağan hale getirme farkı

Adım 3: Log dönüşümü uygulayarak durağan hale getirin.

Adım 4: Hem istatistiksel ortalama hem de varyans üzerinde durağan hale getirilecek fark log dönüşümü

Adım 5: ACF ve PACF grafiğini çizin ve potansiyel AR ve MA modelini belirleyin

Adım 6: En uygun ARIMA modelinin keşfi

Adım 7: En uygun ARIMA modelini kullanarak değeri tahmin edin/tahmin edin

Adım 8: ARIMA modelinin artıkları için ACF ve PACF grafiğini çizin ve daha fazla bilgi kalmadığından emin olun.

ARIMA'nın Uygulanması

Zaten 1-5 arasındaki adımları tartıştık, burada geri kalanına odaklanalım.

statsmodels.tsa.arima_model'den ARIMA'yı içe aktar
model = ARIMA(df_temperature, order=(0, 1, 1)) results_ARIMA = model.fit()

results_ARIMA.summary()

results_ARIMA.forecast(3)[0]

Çıktı

dizi([16.47648941, 16.48621826, 16.49594711])

results_ARIMA.plot_predict(başlangıç=200)
plt.show()

(Yeniden boşluk)

 

Tekrarlayan Sinir Ağları En geleneksel ve kabul edilen mimari, Zaman Serisi tahminine dayalı problemlere uygundur.

Her katman eşit ağırlığa sahiptir ve her nöronun sabit zaman adımlarına atanması gerekir. Ve bunların her birinin aynı zaman adımlarıyla bir gizli katmana (Giriş ve Çıkış) tamamen bağlı olduğunu ve gizli katmanların iletildiğini ve yön olarak zamana bağlı olduğunu unutmayın.

RNN'nin Bileşenleri

• Girdi: x(t)​'nin fonksiyon vektörü t zaman adımındaki girdidir.

• Gizli:

  • h(t)​ fonksiyon vektörü t zamanındaki gizli durumdur,
  • Bu, kurulan ağın bir nevi hafızasıdır;
  • Bu, mevcut giriş x(t) ve önceki zaman adımının gizli durumu h(t-1) temel alınarak hesaplanmıştır:
• Çıkış: Fonksiyon vektörü y(t) ​t zaman adımındaki çıkıştır.
• Ağırlıklar : Ağırlıklar: RNN'lerde, t zamanında gizli katman nöronlarına bağlanan giriş vektörü ağırlık matrisi ile U (Lütfen yukarıdaki resme bakın), 

Kaynak: https://www.analyticsvidhya.com/blog/2021/10/a-comprehensive-guide-to-time-series-analiz/