Chame o script Python por PowerShell e passe PSObject e retorne os dados analisados

Nov 28 2020

alguns antecedentes: atualmente estou consultando 4Mio linhas (com 50 colunas) de um servidor MS SQL com dbatools em um PSObject (em lote 10.000 linhas cada consulta), processando os dados com PowerShell (um monte de coisas RegEx) e escrevendo de volta em um MariaDb com SimplySql . Em média, recebo aprox. 150 linhas / seg. Tive que usar muitos truques (Net's Stringbuilder etc.) para esse desempenho, não é tão ruim assim

Como novos requisitos, desejo detectar o idioma de algumas células de texto e devo remover dados pessoais (nome e endereço). Eu encontrei algumas boas bibliotecas python ( spacy e pycld2 ) para esse propósito. Fiz testes com pycld2 - detecção muito boa.

Código simplificado para esclarecimento (dica: sou um novato python):

#get data from MS SQL
$data = Invoke-DbaQuery -SqlInstance $Connection -Query $Query -As PSObject -QueryTimeout 1800 for ($i=0;$i -lt $data.length;$i++){ #do a lot of other stuff here #... #finally make lang detection if ($LangDetect.IsPresent){
    $strLang = $tCaseDescription -replace "([^\p{L}\p{N}_\.\s]|`t|`n|`r)+",""
    $arg = "import pycld2 as cld2; isReliable, textBytesFound, details = cld2.detect('" + $strLang + "', isPlainText = True, bestEffort = True);print(details[0][1])"
    $tCaseLang = & $Env:Programfiles\Python39\python.exe -c $arg } else { $tCaseLang = ''
  }
}
#write to MariaDB
Invoke-SqlUpdate -ConnectionName $ConnectionName -Query $Query

Esta chamada de python sempre funciona, mas destrói o desempenho (12 linhas / s) devido à chamada de loop e à importação de lib pycld2 a cada vez. Portanto, esta é uma solução coxo :) Além disso, como mencionado acima - eu quero usar o spacy - onde mais algumas colunas precisam ser analisadas para se livrar dos dados pessoais.

Não tenho certeza se estou com vontade de converter todo o PS Parser em python: |

Acredito que uma solução melhor seria passar todo o PSObject do PowerShell para python (antes do início do loop PS) e retorná-lo também como PSObject - depois de ser processado em python - mas não sei, como posso perceba isso com a função python / python.

Qual seria sua abordagem / sugestões, alguma outra ideia? Obrigado :)

Respostas

2 mklement0 Nov 28 2020 at 22:22

O exemplo simplificado a seguir mostra como você pode passar várias [pscustomobject]( [psobject]) instâncias do PowerShell para um script Python (passado como uma string por meio -c, neste caso):

por usando JSON como formato de serialização, via ConvertTo-Json...
... e passando esse JSON por meio do pipeline , que Python pode ler via stdin (entrada padrão).

Importante :

Codificação de caracteres :
- O PowerShell usa a codificação especificada na $OutputEncodingvariável de preferência ao enviar dados para programas externos (como Python), que é louvável como padrão UTF-8 sem BOM no PowerShell [Core] v6 + , mas lamentavelmente em ASCII (!) No Windows PowerShell .
- Assim como o PowerShell limita você a enviar texto para um programa externo, ele também invariavelmente interpreta o que recebe como texto, ou seja, com base na codificação armazenada em [Console]::OutputEncoding; Infelizmente, ambas as edições do PowerShell, até o momento em que este livro foi escrito, são padronizadas para a página de código OEM do sistema .
- Para enviar e receber (sem BOM) UTF-8 em ambas as edições do PowerShell , defina (temporariamente) $OutputEncodinge da [Console]::OutputEncodingseguinte forma:
  $OutputEncoding = [Console]::OutputEncoding = [System.Text.Utf8Encoding]::new($false)
Se você quiser que seu script Python também produza objetos, considere novamente o uso de JSON , que no PowerShell você pode analisar em objetos com ConvertFrom-Json.

# Sample input objects.
$data = [pscustomobject] @{ one = 1; two = 2 }, [pscustomobject] @{ one = 10; two = 20 } # Convert to JSON and pipe to Python. ConvertTo-Json $data | python -c @'

import sys, json

# Parse the JSON passed via stdin into a list of dictionaries.
dicts = json.load(sys.stdin)

# Sample processing: print the 'one' entry of each dict.
for dict in dicts:
  print(dict['one'])

'@

Se os dados a serem transmitidos forem uma coleção de strings de linha única , você não precisa de JSON:

$data = 'foo', 'bar', 'baz' $data | python -c @'

import sys

# Sample processing: print each stdin input line enclosed in [...]
for line in sys.stdin:
  print('[' + line.rstrip('\r\n') + ']')

'@

TefoD Nov 30 2020 at 03:48

Com base na resposta do @ mklement0, quero compartilhar a solução concluída e testada com o retorno do JSON do python para o Powershell, considerando a codificação de caracteres correta. Eu já tentei com 100k linhas em um lote - sem problemas, funcionando perfeitamente e super rápido :)