Rekurencyjne przechodzenie i spłaszczanie obiektu JSON w DataWeave

Nov 19 2020

Chcę przejść i spłaszczyć duży plik JSON, który ma następującą strukturę przedstawiającą hierarchię produktów (pomyśl o tym jako o nawigacji w sklepie internetowym):

productGroups: [
    {
        "key": "child 1"
        ...
        "childrenProductGroups": [
            {
                "key": "child 1.1",
                ...,
                "childrenProductGroups": []
            },
            {
                "key": "child 1.2"
                ...
                "childrenProductGroups": [
                    {
                        "key": "child 1.2.1",
                        ...,
                        "childrenProductGroups": [
                            {
                                "key": "child 1.2.1.1",
                                ...,
                                childrenProductGroups": [
                                    ...
                                ]
                            }
                        ]
                    },
                    {
                        "key": "child 1.2.2",
                        ...,
                        "childrenProductGroups": []
                    }
                ]
                
            },
            {
                "key": "child 1.3",
                ...,
                "childrenProductGroups": [
                    ...
                ]
            }
        ]
    }, 
    {
        "key": "child 2",
        ...,
        "childrenProductGroups": [
            ...
        ]
    },
    {
        "key": "child 3",
        ...,
        "childrenProductGroups": [
            ...
        ]
    }
]

Chcę je spłaszczyć w takim formacie:

{
    "hierarchieSet": [
        {
            "Nodeid": "00000001", # Number in this json
            "Nodename": "child 1",
            "Tlevel": "01", # First child of product group
            "Parentid": "00000000", # Parent is null
            "Childid": "00000002", # Child node number
            "Nextid": "00000008" # Node number on the same level (child 2)
        }, 
        {
            "Nodeid": "00000002",
            "Nodename": "child 1.1",
            "Tlevel": "02",
            "Parentid": "00000001",
            "Childid": "00000003",
            "Nextid": "00000003"
        }, 
        {
            "Nodeid": "00000003",
            "Nodename": "child 1.2",
            "Tlevel": "02",
            "Parentid": "00000002",
            "Childid": "00000005",
            "Nextid": "00000007"
        }, 
        {
            "Nodeid": "00000004",
            "Nodename": "child 1.2.1",
            "Tlevel": "03",
            "Parentid": "00000003",
            "Childid": "0000005",
            "Nextid": "00000006"
        }
        , 
        {
            "Nodeid": "00000005",
            "Nodename": "child 1.2.1.1",
            "Tlevel": "04",
            "Parentid": "00000004",
            "Childid": "0000000", #No more children
            "Nextid": "00000000"
        }, 
        {
            "Nodeid": "00000006",
            "Nodename": "child 1.2.2",
            "Tlevel": "03",
            "Parentid": "00000003",
            "Childid": "0000000",
            "Nextid": "00000000"
        }, 
        {
            "Nodeid": "00000007",
            "Nodename": "child 1.3",
            "Tlevel": "02",
            "Parentid": "00000001",
            "Childid": "0000000",
            "Nextid": "00000000"
        }, 
        {
            "Nodeid": "00000008",
            "Nodename": "child 2",
            "Tlevel": "01",
            "Parentid": "00000000",
            "Childid": "0000009", # 00000009 not shown
            "Nextid": "00000014" # 
        }, 
        ...
        {
            "Nodeid": "000000014",
            "Nodename": "child 3",
            "Tlevel": "01",
            "Parentid": "00000000",
            "Childid": "00000015",
            "Nextid": "00000000" # 00000010 does not exist
        }
    ]
}

W ten sposób zidentyfikowałem kilka głównych problemów:

Rekurencja struktury drzewa
Przekształcanie elementów
Spłaszczenie konstrukcji
Śledzenie rodziców, rodzeństwa i dzieci
Śledzenie poziomu rekurencji
Formatowanie liczb

Próbowałem rozwiązać ten problem dwoma różnymi podejściami:

Użyj DataWeave, aby przekształcić wszystkie elementy
Użyj języka Java, aby przejść przez strukturę

Ponieważ jestem dość nowy w programowaniu funkcjonalnym, położyłem większy nacisk na implementację języka Java, ale napotkałem wiele problemów.

Podejście Java

Czytaj json> Init Drzewo var i przypisać instancję Java> dla każdego elementu najwyższego poziomu invoke tablicy traverse(data, level)w Tree.java.
Tree.java:

import org.json.JSONObject;

public class Tree {
    private int id = 0;
    private List<Node> nodes = new ArrayList<Node>();
    
    public Tree() {
        nodes.add(new Node("01", "00000001", "HOME", "01", "00000000", "00000002", "00000000"));
    }
    
    public void traverse(String data, int level) {
        System.out.println(data);
        // TODO parse json
    }
    
    private void visit(JSONObject parent, JSONObject node, int level) {
        id++;
        nodes.add(new Node("01", String.valueOf(id), node.getString("key"), String.valueOf(level), "", "", ""));
    }
    
    public List<Node> getNodes() {
        return nodes;
    }

    private static class Node {
        private String zshop, nodename, parentid, childid, nextid, nodeid, tlevel;
        
        public Node(String zshop, String nodeid, String nodename, String tlevel, String parentid, String childid, String nextid) {
            this.zshop = zshop;
            this.nodeid = nodeid;
            this.nodename = nodename;
            this.tlevel = tlevel;
            this.parentid = parentid;
            this.childid = childid;
            this.nextid = nextid;
        }
    }
}

Podczas wywoływania akcji invoke używam tego ładunku:

%dw 2.0
output application/java
---
{
    data: vars.rootMessage.payload as String,
    level: 1
}

Ale to daje następujący błąd:

„Nie można wymusić na obiekcie {kodowanie: UTF-8, mediaType: text / json; charset = UTF-8, mimeType: text / json, raw: org.mule.weave.v2.el.SeekableCursorStream@50ecee52} (org.mule. weave.v2.el.MuleTypedValue@511ba9cc) na String

5 | data: vars.rootMessage.payload as String, ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ Trace: at main (line : 5, kolumna: 7) "wyrażenie wartościujące:"% dw 2.0 output application / java --- {data: vars.rootMessage.payload as String, level: 1} ".

Próbowałem wielu rzeczy:

Prześlij go na ProductGroupobiekt, który napisałem w Javie
Spróbuj rzucić pobrany obiekt na org.json.JSONObject
Spróbuj buforować i czytać vars.rootMessage.payload (Binary)

Ale nie byłem w stanie rozwiązać tego problemu z żadnym z tych problemów.

DataWeave podejście Mój skrypt .dw

%dw 2.0
fun append
(item: Object, acc: Object = {
}) = acc ++ item

fun mapper(item: Object) = 
{
    Zshop: "01",
    Nodeid: "00000000",
    Nodename: item.key as Number as String {format: ""},
    Tlevel: "02",
    Parentid: "00000000",
    Childid: "00000000",
    Nextid: "00000000"
}
    
fun traverse(a: Array, level: Number) = 
    a map $ flatMap(value, index) -> value
    
output application/json
---
{
    test: payload.productGroups reduce (item, acc) -> append(mapper(item), acc)
}

Gdzie próbowałem rozwiązać niektóre problemy. mapper(item)Powinienem utworzyć obiekty json, które mogę dołączyć do końcowego wyniku appender(item, acc). Naszkicowałem rekurencję, ale nie jest to jeszcze moim głównym zmartwieniem.

Rekurencyjne przechodzenie i spłaszczanie obiektu JSON w DataWeave

Odpowiedzi