Wykrywanie dat za pomocą Python RegEx

Question

jest to projekt z książki „Automate the Boring stuff with Python”. Jestem programistą Pythona na poziomie średniozaawansowanym i próbowałem rozwiązać ten problem przy użyciu mniejszej ilości kodu, jak to możliwe. Ten kod nie będzie brał pod uwagę żadnej błędnej daty, np .: 29-02-2002 nie zostanie wybrany, ponieważ rok 2002 nie jest rokiem przestępnym i tylko lata przestępne mają 29 lutego. nie dodałem kodu, aby również wykrywać daty z miesiącami zapisanymi słowami, też mógłbym to zrobić, ale na razie chcę uprościć sprawę, a także nie użyłem modułu pyperclip do wykrywania dat z skopiowanego tekstu do schowka, ponieważ nie chcę zmylić każdego początkującego, który również chce się uczyć, oglądając mój kod. Chcę, aby główni programiści przejrzeli mój kod i jeśli istnieje inny sposób na wykrycie dat, prosimy o przesłanie swoich rozwiązań. Byłbym również wdzięczny za wszelkie rady i pozytywną krytykę, więc wiem, na jakim etapie teraz stoję i co muszę poprawić. Dzięki. Kod jest następujący:

    import re


    def date_detector(text):
        date_pattern = re.compile('''
        ([12][0-9]|3[0-1]|0?[1-9])             # to detect days from 1 to 31
        ([./-])                                # to detect different separations
        (1[0-2]|0?[1-9])                       # to detect number of months
        ([./-])                                # to detect different seperations
        (2?1?[0-9][0-9][0-9])                  # to detect number of years from 1000-2999 years
         ''', re.VERBOSE)

        days = []
        months = []
        years = []
        dates = []
        for date in date_pattern.findall(text):
            days.append(int(date[0]))
            months.append(int(date[2]))
            years.append(int(date[4]))

        for num in range(len(days)):

        # appending dates in a list that dont need any filtering to detect wrong dates
            if months[num] not in (2, 4, 6, 9, 11):
                dates.append([days[num], months[num], years[num]])

        # detecting those dates with months that have only 30 days
            elif days[num] < 31 and months[num] in (4, 6, 9, 11):
                dates.append([days[num], months[num], years[num]])

        # filtering leap years with Feb months that have 29 days
            elif months[num] == 2 and days[num] == 29:
                if years[num] % 4 == 0:
                    if years[num] % 100 == 0:
                        if years[num] % 400 == 0:
                            dates.append([days[num], months[num], years[num]])
                    else:
                        dates.append([days[num], months[num], years[num]])

        # appending Feb dates that have less than 29 days
            elif months[num] == 2 and days[num] < 29:
                dates.append([days[num], months[num], years[num]])

        if len(dates) > 0:
            for date in dates:
                print(date)


data = '30-06-2012, 31-12-2012, 15-02-2002, 29-02-2004, 29-02-2002, 31-02-2004, 31-06-2012'

date_detector(data)
```

Answer 1

Proponuję kilka drobnych ulepszeń w wyrażeniu regularnym:

• upewnij się, że ten sam separator jest używany między dniem a miesiącem oraz między miesiącem a rokiem z odwołaniem wstecznym (?P=sep),
• zamień numerowane grupy przechwytywania na nazwane i utwórz niepotrzebne grupy, jeśli takie istnieją, niepotrzebne ?:. W konsekwencji finditeri groupdictsą używane, a dzień jest uzyskiwany z dopasowania z int(date['day'])itd. To uczyni kod nieco bardziej ludzkim.

Co ważniejsze, sugeruję, że można pozbyć się days, monthsi yearswymienia w ogóle. Dane te mogą być przechowywane w słownikach na datesliście i filtrowane przed dołączeniem do dates.

W konsekwencji nie będziesz potrzebować pętli range(len(days)).

Warunki walidacji mogą być połączone razem bez utraty jasności i proponuję uczynić z tego osobną funkcję date_is_valid(day: int, month: int, year: int) -> bool.

Ponadto, tylko w parametre date_detectormożna wpisać: def date_detector(text: str):.

Podsumowując sugerowane modyfikacje:

import re

def date_is_valid(day: int, month: int, year: int) -> bool:
    return (month not in (2, 4, 6, 9, 11)   # 31 days in month (Jan, Mar, May, Jul, Aug, Oct, Dec).
    or day < 31 and month in (4, 6, 9, 11)  # 30 days in month (Feb, Apr, Jun, Sep, Nov).
    or month == 2 and day == 29 and year % 4 == 0 and (year % 100 != 0 or year % 400 == 0)
                                            # February, 29th in a Gregorian leap year.
    or month == 2 and day < 29)             # February, 1st-28th.

def date_detector(text: str):
    date_pattern = re.compile('''
    (?P<day>[12][0-9]|3[0-1]|0?[1-9])   # to detect days from 1 to 31
    (?P<sep>[./-])                      # to detect different separations
    (?P<month>1[0-2]|0?[1-9])           # to detect number of months
    (?P=sep)                            # to detect different seperations
    (?P<year>2?1?[0-9][0-9][0-9])       # to detect number of years from 1000-2999 years
     ''', re.VERBOSE)

    dates = []
    for match in date_pattern.finditer(text):
        date = match.groupdict()                            # convert Match object to dictionary.
        del date['sep']                                     # we don't need the separator any more.
        date = {key: int(val) for key, val in date.items()} # apply int() to all items.
        
        if date_is_valid(date['day'], date['month'], date['year']):
            dates.append(date)

    if len(dates) > 0:
        for date in dates:
            print(date)

data = '30-06-2012, 31-12-2012, 15-02-2002, 29-02-2004, 29-02-2002, 31-02-2004, 31-06-2012'

date_detector(data)
```

Answer 2

Wiem, że jest to część ćwiczenia, ale wydaje się, że wiele razy wymyślano na nowo koło, w którym można wykorzystać wbudowane funkcje Pythona do weryfikacji daty:

from datetime import date

>>> date(2020, 2, 29) # leap year date works
datetime.date(2020, 2, 29)

>>> date(2002, 2, 29) # non-leap year will raise ValueError
ValueError: day is out of range for month

>>> date(2002, 9, 31) # 31th day will raise ValueError
ValueError: day is out of range for month

• zamiast tworzyć 3 oddzielne listy dla lat , miesięcy i dni , możesz utworzyć tylko jedną listę, ponieważ zawsze masz dostęp do tych części z tego samego indeksu. Upraszcza to również forpętlę, która podaje wartości bezpośrednio, zamiast dawać indeks, do którego chcesz uzyskać dostęp na tych listach.

• Python jest dynamicznym językiem, w którym są oceniane puste kolekcje False, więc jeśli chcesz sprawdzić, czy lista zawiera jakieś elementy, nie musisz tego robić jawnie za pośrednictwem if len(list) > 0, ale możesz to zrobić if list:. Aby wydrukować pozycje na liście, możesz pójść o krok dalej i całkowicie pominąć warunek, ponieważ iteracja po pustej liście niczego nie drukuje. Fragment przed / po:

# before
if len(dates) > 0:
    for date in dates:
        print(date)

# after
for date in dates:
    print(date)

zastosowano wszystkie sugestie:

import re
from datetime import date

def date_detector(text):
    date_pattern = re.compile('''
    ([12][0-9]|3[0-1]|0?[1-9])             # to detect days from 1 to 31
    ([./-])                                # to detect different separations
    (1[0-2]|0?[1-9])                       # to detect number of months
    ([./-])                                # to detect different seperations
    (2?1?[0-9][0-9][0-9])                  # to detect number of years from 1000-2999 years
        ''', re.VERBOSE)

    # use only one list for storing all parts of match together
    parsed = []
    for match in date_pattern.findall(text):
        # year, month, day for easier passing to date()
        parsed.append([ int(match[4]), int(match[2]), int(match[0])] )

    valid = [] 
    for item in parsed:
        try:
            # pass list of [year, month, day] to date() and let it check its validity for us
            date(*item)
        except ValueError as e:
            pass # invalid date, dont do anything
        else:
            valid.append(item)

    for item in valid:
        print(item)


data = '30-06-2012, 31-12-2012, 15-02-2002, 29-02-2004, 29-02-2002, 31-02-2004, 31-06-2012'

date_detector(data)

• można to jeszcze bardziej uprościć, łącząc obie forpętle razem, aby nie powtarzać niepotrzebnie dwukrotnie gromadzenia danych.