DataWeave에서 JSON 객체를 재귀 적으로 트래버스하고 평면화합니다.

Nov 19 2020

제품 계층 구조를 보여주는 다음과 같은 구조를 가진 큰 JSON 파일을 탐색하고 평평하게 만들고 싶습니다 (온라인 상점의 탐색으로 생각하십시오).

productGroups: [
    {
        "key": "child 1"
        ...
        "childrenProductGroups": [
            {
                "key": "child 1.1",
                ...,
                "childrenProductGroups": []
            },
            {
                "key": "child 1.2"
                ...
                "childrenProductGroups": [
                    {
                        "key": "child 1.2.1",
                        ...,
                        "childrenProductGroups": [
                            {
                                "key": "child 1.2.1.1",
                                ...,
                                childrenProductGroups": [
                                    ...
                                ]
                            }
                        ]
                    },
                    {
                        "key": "child 1.2.2",
                        ...,
                        "childrenProductGroups": []
                    }
                ]
                
            },
            {
                "key": "child 1.3",
                ...,
                "childrenProductGroups": [
                    ...
                ]
            }
        ]
    }, 
    {
        "key": "child 2",
        ...,
        "childrenProductGroups": [
            ...
        ]
    },
    {
        "key": "child 3",
        ...,
        "childrenProductGroups": [
            ...
        ]
    }
]

다음과 같은 형식으로 평면화하고 싶습니다.

{
    "hierarchieSet": [
        {
            "Nodeid": "00000001", # Number in this json
            "Nodename": "child 1",
            "Tlevel": "01", # First child of product group
            "Parentid": "00000000", # Parent is null
            "Childid": "00000002", # Child node number
            "Nextid": "00000008" # Node number on the same level (child 2)
        }, 
        {
            "Nodeid": "00000002",
            "Nodename": "child 1.1",
            "Tlevel": "02",
            "Parentid": "00000001",
            "Childid": "00000003",
            "Nextid": "00000003"
        }, 
        {
            "Nodeid": "00000003",
            "Nodename": "child 1.2",
            "Tlevel": "02",
            "Parentid": "00000002",
            "Childid": "00000005",
            "Nextid": "00000007"
        }, 
        {
            "Nodeid": "00000004",
            "Nodename": "child 1.2.1",
            "Tlevel": "03",
            "Parentid": "00000003",
            "Childid": "0000005",
            "Nextid": "00000006"
        }
        , 
        {
            "Nodeid": "00000005",
            "Nodename": "child 1.2.1.1",
            "Tlevel": "04",
            "Parentid": "00000004",
            "Childid": "0000000", #No more children
            "Nextid": "00000000"
        }, 
        {
            "Nodeid": "00000006",
            "Nodename": "child 1.2.2",
            "Tlevel": "03",
            "Parentid": "00000003",
            "Childid": "0000000",
            "Nextid": "00000000"
        }, 
        {
            "Nodeid": "00000007",
            "Nodename": "child 1.3",
            "Tlevel": "02",
            "Parentid": "00000001",
            "Childid": "0000000",
            "Nextid": "00000000"
        }, 
        {
            "Nodeid": "00000008",
            "Nodename": "child 2",
            "Tlevel": "01",
            "Parentid": "00000000",
            "Childid": "0000009", # 00000009 not shown
            "Nextid": "00000014" # 
        }, 
        ...
        {
            "Nodeid": "000000014",
            "Nodename": "child 3",
            "Tlevel": "01",
            "Parentid": "00000000",
            "Childid": "00000015",
            "Nextid": "00000000" # 00000010 does not exist
        }
    ]
}

따라서 몇 가지 주요 우려 사항을 확인했습니다.

트리 구조의 재귀
요소 변형
구조 평평하게하기
부모, 형제 자매 및 자녀 추적
재귀 수준 추적
숫자 서식

저는이 문제를 두 가지 다른 접근 방식으로 해결하려고했습니다.

DataWeave를 사용하여 모든 요소 변환
Java를 사용하여 구조 탐색

함수형 프로그래밍을 처음 접했기 때문에 Java 구현에 더 중점을 두었지만 여러 문제가 발생했습니다.

자바 접근

읽기 JSON> 초기화 나무 VAR 및 최상위 배열 호출의 각 요소에 대해> 자바 인스턴스를 할당 traverse(data, level)에 Tree.java.
Tree.java :

import org.json.JSONObject;

public class Tree {
    private int id = 0;
    private List<Node> nodes = new ArrayList<Node>();
    
    public Tree() {
        nodes.add(new Node("01", "00000001", "HOME", "01", "00000000", "00000002", "00000000"));
    }
    
    public void traverse(String data, int level) {
        System.out.println(data);
        // TODO parse json
    }
    
    private void visit(JSONObject parent, JSONObject node, int level) {
        id++;
        nodes.add(new Node("01", String.valueOf(id), node.getString("key"), String.valueOf(level), "", "", ""));
    }
    
    public List<Node> getNodes() {
        return nodes;
    }

    private static class Node {
        private String zshop, nodename, parentid, childid, nextid, nodeid, tlevel;
        
        public Node(String zshop, String nodeid, String nodename, String tlevel, String parentid, String childid, String nextid) {
            this.zshop = zshop;
            this.nodeid = nodeid;
            this.nodename = nodename;
            this.tlevel = tlevel;
            this.parentid = parentid;
            this.childid = childid;
            this.nextid = nextid;
        }
    }
}

invoke 작업을 호출 할 때이 페이로드를 사용합니다.

%dw 2.0
output application/java
---
{
    data: vars.rootMessage.payload as String,
    level: 1
}

그러나 이로 인해 다음과 같은 오류가 발생합니다.

"Object {encoding : UTF-8, mediaType : text / json; charset = UTF-8, mimeType : text / json, raw : org.mule.weave.v2.el.SeekableCursorStream@50ecee52} (org.mule. weave.v2.el.MuleTypedValue@511ba9cc)를 문자열로

5 | data : vars.rootMessage.payload as String, ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ Trace : at main (line : 5, column : 7) "평가 표현식 :"% dw 2.0 output application / java --- {data : vars.rootMessage.payload as String, level : 1} ".

나는 많은 것을 시도했다 :

ProductGroupJava로 작성한 객체로 캐스트
검색된 개체를 org.json.JSONObject
버퍼링 및 읽기 시도 vars.rootMessage.payload (Binary)

그러나 나는 이러한 문제로 해결할 수 없었습니다.

DataWeave 접근 방식 내 .dw 스크립트

%dw 2.0
fun append
(item: Object, acc: Object = {
}) = acc ++ item

fun mapper(item: Object) = 
{
    Zshop: "01",
    Nodeid: "00000000",
    Nodename: item.key as Number as String {format: ""},
    Tlevel: "02",
    Parentid: "00000000",
    Childid: "00000000",
    Nextid: "00000000"
}
    
fun traverse(a: Array, level: Number) = 
    a map $ flatMap(value, index) -> value
    
output application/json
---
{
    test: payload.productGroups reduce (item, acc) -> append(mapper(item), acc)
}

몇 가지 문제를 해결하려고 노력했습니다. mapper(item)을 사용하여 최종 출력에 추가 할 수있는 json 객체를 만들어야합니다 appender(item, acc). 재귀는 스케치되었지만 아직 내 주요 관심사는 아닙니다.

DataWeave에서 JSON 객체를 재귀 적으로 트래버스하고 평면화합니다.

답변