Wie kann ich bei MSE veröffentlichte Benchmark-Ergebnisse erfassen und analysieren?
Wie kann ich Mathematica / WL-Benchmark-Ergebnisse erfassen, die bei Mathematica Stack Exchange (MSE) veröffentlicht wurden, wie die hier veröffentlichten ?
Annahmen:
Es gibt mehrere Antworten mit veröffentlichten Benchmarks
Die Benchmark-Ergebnisse haben eine bestimmte klare "Liste der Regeln" -Form
Sehen:
Needs["Benchmarking`"]
Benchmark[]
(* {"MachineName" -> "macbook-pro", "System" -> "Mac OS X x86 (64-bit)", "BenchmarkName" -> "WolframMark", "FullVersionNumber" -> "12.1.1", "Date" -> "November 26, 2020",
"BenchmarkResult" -> 3.028, "TotalTime" -> 4.571, "Results" -> {{"Data Fitting", 0.291}, {"Digits of Pi", 0.249}, {"Discrete Fourier Transform", 0.363}, {"Eigenvalues of a Matrix", 0.297},
{"Elementary Functions", 0.375}, {"Gamma Function", 0.356}, {"Large Integer Multiplication", 0.323}, {"Matrix Arithmetic", 0.227}, {"Matrix Multiplication", 0.218}, {"Matrix Transpose", 0.404},
{"Numerical Integration", 0.463}, {"Polynomial Expansion", 0.068}, {"Random Number Sort", 0.449}, {"Singular Value Decomposition", 0.221}, {"Solving a Linear System", 0.267}}} *)
Antworten
Verschlucken
Erhalten Sie alle Antworten aus der MSE-Diskussion in einem XML-Objekt:
xmlObject =
Import["https://mathematica.stackexchange.com/questions/234881/benchmarking-with-mathematica-v-12-for-up-to-date-comparision-of-mathematica-acr/235384#235384", "XMLObject"];
Holen Sie sich Code-XML-Elemente:
lsRes1 = Cases[xmlObject, XMLElement["code", {}, code_] :> code, \[Infinity]];
(Beachten Sie, dass an dieser Stelle Code-Zeichenfolgen erhalten werden.)
Entfernen Sie BenchmarkBerechnungsbefehle und konvertieren Sie die Codezeichenfolgen in WL-Code:
lsRes2 = Map[
ToExpression@
StringReplace[#, {"BenchmarkReport[]" -> "", "Benchmark[]" -> ""}] &, lsRes1];
Length[lsRes2]
(*16*)
Wählen Sie Code (Blöcke) aus, die Listen von Regeln sind:
lsRes3 = Select[Flatten /@ lsRes2, MatchQ[#, {_Rule ..}] && Length[#] > 1 &];
Length[lsRes3]
(*10*)
Reduzieren Sie für jeden Codeblock die Metadaten und Benchmark-Ergebnisse in Assoziationen:
lsRes4 = Map[Association@ Cases[Flatten[# /. HoldPattern["Results" -> r_] :> (Rule @@@ r)], _Rule] &, lsRes3];
Length[lsRes4]
(*10*)
Stellen Sie sicher, dass alle Zuordnungen dieselben Schlüssel haben:
lsRes5 =
Block[{lsAllKeys = Union[Flatten[Keys /@ lsRes4]]},
Map[Join[AssociationThread[lsAllKeys, "NA"], #] &, lsRes4]
];
Length[lsRes5]
(*10*)
(Andernfalls ist der erhaltene Datensatz bei einigen Berechnungen möglicherweise schwer zu verwenden.)
Erstellen Sie einen Vergleichsdatensatz:
dsBenchmarks = Dataset[lsRes5];
dsBenchmarks = dsBenchmarks[SortBy[#BenchmarkResult &]]
Grundlegende Analyse
Fassen Sie den Datensatz zusammen:
ResourceFunction["RecordsSummary"][dsBenchmarks]
(Balken-) Plotergebnisse:
Multicolumn@
KeyValueMap[
If[VectorQ[#2, NumericQ],
BarChart[#2, PlotLabel -> #1, PlotTheme -> "Detailed"],
Nothing
] &,
Normal@Transpose@dsBenchmarks
]
Aufschlüsselungsstatistik
Partitionsbenchmarkergebnisse pro System (oder andere Kriterien):
aRes = GroupBy[Normal@dsBenchmarks, #System &, Dataset];
aRes = Map[#[All, Select[#, NumericQ] &] &, aRes];
Trennen Sie die Gesamtergebnisse der Benchmark von den Ergebnissen der Benchmark-Komponente:
aRes2 = Map[#[All, KeyTake[#, {"BenchmarkResult", "TotalTime"}] &] &, aRes];
aRes3 = Map[#[All, KeyDrop[#, {"BenchmarkResult", "TotalTime"}] &] &, aRes];
Zeigen Sie die Benchmark-Gesamtergebnisse an:
aRes2
Verteilungsstatistische Diagramme pro System anzeigen:
aResPlots3 =
BoxWhiskerChart[Transpose[Normal[#[Values]]],
PlotLabel -> Row[{"Number of benchmarks:", Spacer[2], Length[#]}],
ChartStyle -> 56, ImageSize -> Medium, PlotTheme -> "Detailed",
ChartLegends -> Keys[Normal@#[[1]]]] & /@ aRes3;
Grid[List @@@ Normal[aResPlots3], Dividers -> All, FrameStyle -> GrayLevel[0.7]]
(Beachten Sie, dass wir die Anzahl der verfügbaren Benchmarks pro System im Auge behalten müssen. Diese Zahlen sind hier zu klein ...)