Durchlaufen und reduzieren Sie das JSON-Objekt in DataWeave rekursiv

Nov 19 2020

Ich möchte eine große JSON-Datei mit der folgenden Struktur durchlaufen und reduzieren, die eine Produkthierarchie zeigt (stellen Sie sich dies als Navigation in einem Online-Shop vor):

productGroups: [
    {
        "key": "child 1"
        ...
        "childrenProductGroups": [
            {
                "key": "child 1.1",
                ...,
                "childrenProductGroups": []
            },
            {
                "key": "child 1.2"
                ...
                "childrenProductGroups": [
                    {
                        "key": "child 1.2.1",
                        ...,
                        "childrenProductGroups": [
                            {
                                "key": "child 1.2.1.1",
                                ...,
                                childrenProductGroups": [
                                    ...
                                ]
                            }
                        ]
                    },
                    {
                        "key": "child 1.2.2",
                        ...,
                        "childrenProductGroups": []
                    }
                ]
                
            },
            {
                "key": "child 1.3",
                ...,
                "childrenProductGroups": [
                    ...
                ]
            }
        ]
    }, 
    {
        "key": "child 2",
        ...,
        "childrenProductGroups": [
            ...
        ]
    },
    {
        "key": "child 3",
        ...,
        "childrenProductGroups": [
            ...
        ]
    }
]

Und ich möchte sie in einem Format wie diesem reduzieren:

{
    "hierarchieSet": [
        {
            "Nodeid": "00000001", # Number in this json
            "Nodename": "child 1",
            "Tlevel": "01", # First child of product group
            "Parentid": "00000000", # Parent is null
            "Childid": "00000002", # Child node number
            "Nextid": "00000008" # Node number on the same level (child 2)
        }, 
        {
            "Nodeid": "00000002",
            "Nodename": "child 1.1",
            "Tlevel": "02",
            "Parentid": "00000001",
            "Childid": "00000003",
            "Nextid": "00000003"
        }, 
        {
            "Nodeid": "00000003",
            "Nodename": "child 1.2",
            "Tlevel": "02",
            "Parentid": "00000002",
            "Childid": "00000005",
            "Nextid": "00000007"
        }, 
        {
            "Nodeid": "00000004",
            "Nodename": "child 1.2.1",
            "Tlevel": "03",
            "Parentid": "00000003",
            "Childid": "0000005",
            "Nextid": "00000006"
        }
        , 
        {
            "Nodeid": "00000005",
            "Nodename": "child 1.2.1.1",
            "Tlevel": "04",
            "Parentid": "00000004",
            "Childid": "0000000", #No more children
            "Nextid": "00000000"
        }, 
        {
            "Nodeid": "00000006",
            "Nodename": "child 1.2.2",
            "Tlevel": "03",
            "Parentid": "00000003",
            "Childid": "0000000",
            "Nextid": "00000000"
        }, 
        {
            "Nodeid": "00000007",
            "Nodename": "child 1.3",
            "Tlevel": "02",
            "Parentid": "00000001",
            "Childid": "0000000",
            "Nextid": "00000000"
        }, 
        {
            "Nodeid": "00000008",
            "Nodename": "child 2",
            "Tlevel": "01",
            "Parentid": "00000000",
            "Childid": "0000009", # 00000009 not shown
            "Nextid": "00000014" # 
        }, 
        ...
        {
            "Nodeid": "000000014",
            "Nodename": "child 3",
            "Tlevel": "01",
            "Parentid": "00000000",
            "Childid": "00000015",
            "Nextid": "00000000" # 00000010 does not exist
        }
    ]
}

Daher habe ich einige Hauptprobleme identifiziert:

Rekursion der Baumstruktur
Die Elemente transformieren
Struktur abflachen
Eltern, Geschwister und Kinder im Auge behalten
Verfolgung der Rekursionsstufe
Zahlen formatieren

Ich habe versucht, dieses Problem mit zwei verschiedenen Ansätzen zu lösen:

Verwenden Sie DataWeave, um alle Elemente zu transformieren
Verwenden Sie Java, um die Struktur zu durchlaufen

Da ich ziemlich neu in der funktionalen Programmierung bin, habe ich mich mehr auf die Java-Implementierung konzentriert, bin aber auf eine Reihe von Problemen gestoßen.

Java Ansatz

lesen json> Init Baum var und weisen Sie die Java - Instanz> für jedes Element in der obersten Ebene Array invoke traverse(data, level)in Tree.java.
Tree.java:

import org.json.JSONObject;

public class Tree {
    private int id = 0;
    private List<Node> nodes = new ArrayList<Node>();
    
    public Tree() {
        nodes.add(new Node("01", "00000001", "HOME", "01", "00000000", "00000002", "00000000"));
    }
    
    public void traverse(String data, int level) {
        System.out.println(data);
        // TODO parse json
    }
    
    private void visit(JSONObject parent, JSONObject node, int level) {
        id++;
        nodes.add(new Node("01", String.valueOf(id), node.getString("key"), String.valueOf(level), "", "", ""));
    }
    
    public List<Node> getNodes() {
        return nodes;
    }

    private static class Node {
        private String zshop, nodename, parentid, childid, nextid, nodeid, tlevel;
        
        public Node(String zshop, String nodeid, String nodename, String tlevel, String parentid, String childid, String nextid) {
            this.zshop = zshop;
            this.nodeid = nodeid;
            this.nodename = nodename;
            this.tlevel = tlevel;
            this.parentid = parentid;
            this.childid = childid;
            this.nextid = nextid;
        }
    }
}

Beim Aufrufen der Aufrufaktion verwende ich folgende Nutzdaten:

%dw 2.0
output application/java
---
{
    data: vars.rootMessage.payload as String,
    level: 1
}

Dies führt jedoch zu folgendem Fehler:

"Objekt {Codierung: UTF-8, Medientyp: Text / JSON; Zeichensatz = UTF-8, MIME-Typ: Text / JSON, RAW: org.mule.weave.v2.el.SeekableCursorStream@50ecee52} (org.mule kann nicht erzwungen werden. weave.v2.el.MuleTypedValue@511ba9cc) zu String

5 | Daten: vars.rootMessage.payload als String, ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ Trace: at main (Zeile : 5, Spalte: 7) "Auswertungsausdruck:"% dw 2.0-Ausgabeanwendung / Java --- {Daten: vars.rootMessage.payload als String, Ebene: 1} ".

Ich habe eine Reihe von Dingen ausprobiert:

Wirf es auf ein ProductGroupObjekt, das ich in Java geschrieben habe
Versuchen Sie, das abgerufene Objekt zu übertragen org.json.JSONObject
Versuchen Sie zu puffern und zu lesen vars.rootMessage.payload (Binary)

Aber ich konnte es mit keinem dieser Probleme lösen.

DataWeave-Ansatz Mein .dw-Skript

%dw 2.0
fun append
(item: Object, acc: Object = {
}) = acc ++ item

fun mapper(item: Object) = 
{
    Zshop: "01",
    Nodeid: "00000000",
    Nodename: item.key as Number as String {format: ""},
    Tlevel: "02",
    Parentid: "00000000",
    Childid: "00000000",
    Nextid: "00000000"
}
    
fun traverse(a: Array, level: Number) = 
    a map $ flatMap(value, index) -> value
    
output application/json
---
{
    test: payload.productGroups reduce (item, acc) -> append(mapper(item), acc)
}

Wo ich versucht habe, einige der Probleme zu lösen. mapper(item)sollte json-Objekte erstellen, mit denen ich die endgültige Ausgabe anhängen kann appender(item, acc). Die Rekursion wurde skizziert, ist aber noch nicht mein Hauptanliegen.

Durchlaufen und reduzieren Sie das JSON-Objekt in DataWeave rekursiv

Antworten