Usar ChatGPT3 como ingeniero de datos

Dec 25 2022
El mundo se ha vuelto bastante loco con ChatGPT3, mientras que yo era escéptico acerca de que fuera útil para los casos de uso de ingeniería de datos del día a día, eso ha cambiado rápidamente en las últimas semanas. No solo comencé a usarlo, sino que también revisé ChatGPT antes que Google.

El mundo se ha vuelto bastante loco con ChatGPT3, mientras que yo era escéptico acerca de que fuera útil para los casos de uso de ingeniería de datos del día a día, eso ha cambiado rápidamente en las últimas semanas. No solo comencé a usarlo, sino que también revisé ChatGPT antes que Google.

Uno de los principales problemas que tuve al empezar a usar ChatGPT3 fue que ni siquiera sabía por dónde empezar y para qué podía usarlo. Estos son algunos de los casos de uso realmente útiles que encontré que podrían impulsar a algunos de ustedes a usarlo regularmente.

Código repetitivo de construcción

A veces sabes lo que tienes que hacer, pero sería mucho más útil tener un punto de partida o un código repetitivo para trabajar desde el principio. Ahora puede simplemente explicarle a ChatGPT3 lo que está tratando de hacer y configurará un código repetitivo para que lo use. Encuentro esto súper genial y útil.

(el código continúa, lo acabo de truncar)

Agrega comentarios a tu código

Sí, es una buena práctica agregar comentarios a su código, pero a veces solo está en el flujo y no se detiene para agregar comentarios.

Una cosa interesante que encontré con ChatGPT es su capacidad para agregar comentarios a su código.
Aquí hay un ejemplo de un script que escribí hace mucho tiempo para extraer texto de archivos PDF sin ningún comentario. Verifiqué si ChatGPT podría agregarle comentarios e hizo un trabajo mucho mejor de lo que probablemente hubiera hecho.

PD: También puede hacer que le explique un código totalmente nuevo si está tratando de comprender el trabajo de otra persona que no tiene comentarios sobre ellos.

Depure errores básicos en sus scripts

¿Odias encontrar esa pequeña coma molesta que te perdiste en tu SQL que causa un error de sintaxis? Bueno, ChatGPT lo tiene cubierto. A mi consulta de entrada a continuación le faltaba una coma al final de una de las columnas y ChatGPT ayuda a descubrir qué está mal y qué debe cambiar.

Convierta el código de un idioma diferente al idioma en el que desea desarrollar

Muchas veces estás buscando una solución y encuentras exactamente lo que necesitas... en un idioma diferente. O hay una base de código que existe en su empresa que está intentando migrar a un idioma diferente. Dado que gran parte de la sintaxis, las bibliotecas y el formato son muy diferentes de un idioma a otro, la transición del código que necesita puede ser una verdadera molestia.
ChatGPT hace un gran trabajo ayudándote a hacer esta transición.

Solo consultando -

Convierta este código a {inserte el idioma al que desea convertir} —
{Inserte el código original aquí}

Esto debería darle al menos un punto de partida para comenzar con la transición.

Ejemplo de consulta a ChatGPT:

Convertir a escala -

import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job

args = getResolvedOptions(sys.argv, ['JOB_NAME'])

sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session
job = Job(glueContext)
job.init(args['JOB_NAME'], args)

inputGDF = glueContext.create_dynamic_frame_from_options(connection_type = "s3", connection_options = {"paths": ["s3://test-bucket-glue/testing-csv"]}, format = "csv")

outputGDF = glueContext.write_dynamic_frame.\
            from_options(frame = inputGDF,\
         connection_type = "s3", \
        connection_options = {"path": "s3://test-bucket-glue/testing-output"},\
         format = "parquet")

Nota: no tomaría el código como la verdad absoluta. Definitivamente pruébalo y asegúrate de que todo funcione. ChatGPT ayuda a configurar un código de placa de caldera para que pueda trabajar.

Creador de diagramas de flujo de procesos

A veces, si está configurando un proceso y quiere un diagrama de flujo rápido para representarlo, puede obtener uno elegante al construirlo usted mismo en Draw.io o puede explicar el proceso a ChatGPT y puede generar una rápida diagrama para ti. (aunque en formato de texto)

Todos estos casos de uso se suman a las preguntas y respuestas básicas que puede hacer con ChatGPT tal como lo haría con Google/StackOverflow.
Me encantaría conocer algunas de las otras formas en que todos usan ChatGPT3. Realmente creo que tener esto como herramienta facilitará la vida como desarrollador y nos ayudará a centrarnos más en la creatividad y la creación de soluciones en lugar de centrarnos en el aburrido y monótono trabajo de código repetitivo que se puede automatizar.