Pythonでの大きなファイルの並列処理

＃並列計算
import マルチプロセッシング as mp
から ジョブライブラリ import 並列、遅延
から tqdm.ノートブック import tqdm ＃データの取り込み 
import パンダ as pd ＃テキスト処理 
import re から nltk.コーパス import ストップワード
import 文字列

n_workers = 2 * mp.cpu_count() print(f"{n_workers} 個のワーカーが利用可能です") >>> 8人の労働者が利用可能です

%%time file_name="../input/us-accidents/US_Accidents_Dec21_updated.csv" df = pd.read_csv(file_name) print(f"Shape:{df.shape}nnColumn Names:n{df.columns}n")

形状:(2845342, 47) 列名: Index(['ID', 'Severity', 'Start_Time', 'End_Time', 'Start_Lat', 'Start_Lng', 'End_Lat', 'End_Lng', 'Distance(mi) ', '説明', '番号', '通り', '側', '市', '郡', '都道府県', '郵便番号', '国', 'タイムゾーン', 'Airport_Code', 'Weather_Timestamp', 'Temperature(F)', 'Wind_Chill(F)', 'Humidity(%)', 'Pressure(in)', 'Visibility(mi)', 'Wind_Direction', 'Wind_Speed(mph)', 'Precipitation(in) )', 'Weather_Condition', 'Amenity', 'Bump', 'Crossing', 'Give_Way', 'Junction', 'No_Exit', 'Railway', 'Roundabout', 'Station', 'Stop', 'Traffic_Calming' , 'Traffic_Signal', 'Turning_Loop', 'Sunrise_Sunset', 'Civil_Twilight', 'Nautical_Twilight', 'Astronomical_Twilight'], dtype='object') CPU 時間: ユーザー 33.9 秒、システム: 3.93 秒、合計: 37.9 秒：46.9秒

def クリーンテキスト（文章）： ＃ストップワードを削除する stops = stopwords.words("english") text = " ".join([単語 for 単語 in text.split（） if 単語   in 停止]） ＃特殊文字を削除する text = text.translate（str.maketrans（''、''、string.punctuation）） ＃余分なスペースを削除する text = re.sub（'+'、''、text） return 클라우드 기반 AI/ML및 고성능 컴퓨팅을 통한 디지털 트윈의 기초 – Edward Hsu, Rescale CPO
많은 엔지니어링 중심 기업에게 클라우드는 R&D디지털 전환의 첫 단계일 뿐입니다. 클라우드 자원을 활용해 엔지니어링 팀의 제약을 해결하는 단계를 넘어, 시뮬레이션 운영을 통합하고 최적화하며, 궁극적으로는 모델 기반의 협업과 의사 결정을 지원하여 신제품을 결정할 때 데이터 기반 엔지니어링을 적용하고자 합니다. Rescale은 이러한 혁신을 돕기 위해 컴퓨팅 추천 엔진, 통합 데이터 패브릭, 메타데이터 관리 등을 개발하고 있습니다. 이번 자리를 빌려 비즈니스 경쟁력 제고를 위한 디지털 트윈 및 디지털 스레드 전략 개발 방법에 대한 인사이트를 나누고자 합니다.

%%time tqdm.pandas() df['説明'] = df['説明'].progress_apply(clean_text)

100% 2845342/2845342 [09:05<00:00、5724.25it/s] CPU 時間: ユーザー 8 分 14 秒、sys: 53.6 秒、合計: 9 分 7 秒 経過時間: 9 分 5 秒

%%time p = mp.Pool(n_workers) df['説明'] = p.map(clean_text,tqdm(df['説明']))

100% 2845342/2845342 [02:58<00:00, 135646.12it/s] CPU 時間: ユーザー 5.68 秒、システム: 1.56 秒、合計: 7.23 秒 経過時間: 3 分 51 秒

def text_Parallel_clean(配列): 結果 = Parallel(n_jobs=n_workers,backend="multiprocessing")( 遅延 (clean_text) (テキスト) for 클라우드 기반 AI/ML및 고성능 컴퓨팅을 통한 디지털 트윈의 기초 – Edward Hsu, Rescale CPO
많은 엔지니어링 중심 기업에게 클라우드는 R&D디지털 전환의 첫 단계일 뿐입니다. 클라우드 자원을 활용해 엔지니어링 팀의 제약을 해결하는 단계를 넘어, 시뮬레이션 운영을 통합하고 최적화하며, 궁극적으로는 모델 기반의 협업과 의사 결정을 지원하여 신제품을 결정할 때 데이터 기반 엔지니어링을 적용하고자 합니다. Rescale은 이러한 혁신을 돕기 위해 컴퓨팅 추천 엔진, 통합 데이터 패브릭, 메타데이터 관리 등을 개발하고 있습니다. 이번 자리를 빌려 비즈니스 경쟁력 제고를 위한 디지털 트윈 및 디지털 스레드 전략 개발 방법에 대한 인사이트를 나누고자 합니다.
 in tqdm(配列) ) return 結果

%%time df['説明'] = text_parallel_clean(df['説明'])

100% 2845342/2845342 [04:03<00:00, 10514.98it/s] CPU 時間: ユーザー 44.2 秒、システム: 2.92 秒、合計: 47.1 秒 経過時間: 4 分 4 秒

def proc_バッチ（バッチ）： return [ clean_text(テキスト) for 클라우드 기반 AI/ML및 고성능 컴퓨팅을 통한 디지털 트윈의 기초 – Edward Hsu, Rescale CPO
많은 엔지니어링 중심 기업에게 클라우드는 R&D디지털 전환의 첫 단계일 뿐입니다. 클라우드 자원을 활용해 엔지니어링 팀의 제약을 해결하는 단계를 넘어, 시뮬레이션 운영을 통합하고 최적화하며, 궁극적으로는 모델 기반의 협업과 의사 결정을 지원하여 신제품을 결정할 때 데이터 기반 엔지니어링을 적용하고자 합니다. Rescale은 이러한 혁신을 돕기 위해 컴퓨팅 추천 엔진, 통합 데이터 패브릭, 메타데이터 관리 등을 개발하고 있습니다. 이번 자리를 빌려 비즈니스 경쟁력 제고를 위한 디지털 트윈 및 디지털 스레드 전략 개발 방법에 대한 인사이트를 나누고자 합니다.
 in バッチ ]

def バッチファイル(配列,n_workers): file_len = len(array) バッチサイズ =round(file_len / n_workers) バッチ = [ array[ix:ix+batch_size] for ix in tqdm(範囲(0, ファイル長, バッチサイズ)) ] return batches batches = batch_file(df['Description'],n_workers) >>> 100% 8/8 [00:00<00:00, 280.01it/s]

%%time batch_output = Parallel(n_jobs=n_workers,backend="multiprocessing")( 遅延(proc_batch) (バッチ) for バッチ in tqdm(バッチ) ) df['説明'] = [j for i in バッチ出力 for j in i]

100% 8/8 [00:00<00:00, 2.19it/s] CPU 時間: ユーザー 3.39 秒、システム: 1.42 秒、合計: 4.81 秒 経過時間: 3 分 56 秒

％％時間
から tqdm.contrib.concurrent import process_map batch = round(len(df)/n_workers) df["Description"] = process_map( clean_text, df["Description"], max_workers=n_workers, chunksize=batch )

100% 2845342/2845342 [03:48<00:00, 1426320.93it/s] CPU 時間: ユーザー 7.32 秒、システム: 1.97 秒、合計: 9.29 秒 経過時間: 3 分 51 秒