Heute früher die MLPerf Die Organisation veröffentlichte ihre neuesten Ergebnisse der Inferenz-Benchmark-Ergebnisse für maschinelles Lernen (ML). MLPerf wurde 2018 ins Leben gerufen und besteht aus einer Open-Source-Community von über 23 einreichenden Organisationen mit dem Ziel, eine Reihe standardisierter ML-Benchmarks zu definieren. Die ML-Inferenz-Benchmarks der Gruppe bieten einen gemeinsamen und vereinbarten Prozess zur Messung, wie schnell und effizient verschiedene Arten von Beschleunigern und Systemen trainierte neuronale Netze ausführen können.
Dies war das erste Mal, dass Xilinx direkt an MLPerf teilnahm. Obwohl es ein gewisses Maß an Befriedigung ist, nur im Spiel zu sein, freuen wir uns, ein Führungsergebnis in einer Bildklassifizierungskategorie erzielt zu haben. Wir haben mit zusammengearbeitet Mipsologie für unsere Einreichungen in der strengeren „geschlossenen“ Abteilung, in der Anbieter vorab trainierte Netzwerke und vorab trainierte Gewichte für echte „Äpfel-zu-Äpfel“ -Tests erhalten.
Das Testsystem verwendete unsere AlveoU250 Beschleunigerkarte basierend auf einer von Mipsology optimierten domänenspezifischen Architektur (DSA). Der Benchmark misst, wie effizient unser Alveo-basierter benutzerdefinierter DSA Bildklassifizierungsaufgaben basierend auf dem ResNet-50-Benchmark mit 5,011 Bildern / Sekunde im Offline-Modus ausführen kann. ResNet-50 misst die Bildklassifizierungsleistung in Bildern / Sekunden.
Wir haben die höchste Leistung / Spitzen-TOP / s (Billionen Operationen pro Sekunde) erreicht. Dies ist ein Maß für die Leistungseffizienz. Dies bedeutet im Wesentlichen, dass wir bei einer maximalen Rechenleistung in der Hardware die höchste Durchsatzleistung erzielt haben.
Die MLPerf-Ergebnisse zeigten auch, dass wir 100% der verfügbaren TOP / s im Vergleich zu unserer veröffentlichten Datenblattleistung erreicht haben. Dieses beeindruckende Ergebnis zeigt, dass rohe Spitzen-TOP / s auf Papier nicht immer der beste Indikator für die tatsächliche Leistung sind. Unsere Gerätearchitekturen bieten höhere Effizienz (effektive TOP / s im Vergleich zu Peak TOP / s) für AI-Anwendungen. Die meisten Anbieter auf dem Markt sind nur in der Lage, einen Bruchteil ihrer Spitzen-TOPS zu liefern, wobei die maximale Effizienz häufig bei 40% liegt. Noch wichtiger ist, dass ML-Anwendungen mehr als nur AI-Verarbeitung sind. Sie erfordern normalerweise Verarbeitungsfunktionen vor und nach der ML, die um die Systembandbreite konkurrieren und einen Engpass auf Systemebene verursachen. Die Leistungsfähigkeit unserer anpassungsfähigen Plattformen besteht darin, dass sie eine Beschleunigung der gesamten Anwendung ermöglichen, indem sie auch diese kritischen Nicht-KI-Funktionen beschleunigen und Streaming-Pipelines auf Anwendungsebene erstellen, um Systemengpässe zu vermeiden. Unser Führungsergebnis wurde auch erzielt, während die Programmierbarkeit des TensorFlow- und Pytorch-Frameworks beibehalten wurde, ohne dass die Benutzer über Hardware-Know-how verfügen müssen.
MLPerf wird schnell zum De-facto-Standard der Branche für die Messung der ML-Leistung. Dies war die 2. Version des MLPerf-Inferenz-Benchmarks (v0.7) und zog über 1200 von Experten überprüfte Ergebnisse an. ML Inference ist ein schnell wachsender Markt für Anwendungen wie autonomes Fahren und AI-basierte Videoüberwachung, die Computer-Vision-Aufgaben wie Bildklassifizierung und Objekterkennung erfordern. Diese komplexen Rechen-Workloads erfordern unterschiedliche Durchsatz-, Latenz- und Leistungsstufen, um effizient zu arbeiten. Hier leuchten Xilinx und unsere adaptiven Computerprodukte.
Die MLPerf-Benchmark-Ergebnisse unterstreichen den hocheffizienten Durchsatz und die geringe Latenzleistung, die unsere adaptiven Computergeräte für KI-Anwendungen bieten. Wir freuen uns über diese ersten MLPerf-Ergebnisse und freuen uns auf die Teilnahme an der nächsten Version.
Weitere Informationen zu den Ergebnissen der MLPerf Inference-Benchmark-Suite und der Version v0.7 finden Sie unter: https://mlperf.org/press#mlperf-inference-v0.7-results.
