Selen funktioniert mit AWS EC2, jedoch nicht mit AWS Lambda

Nov 16 2020

Ich habe fast jeden anderen Beitrag zu diesem Thema ohne Glück angeschaut und ausprobiert.

EC2

Ich benutze python 3.6also folgendes AMI amzn-ami-hvm-2018.03.0.20181129-x86_64-gp2(siehe hier ). Sobald ich SSH in mein EC2 habe, lade ich Chrome herunter mit:

sudo curl https://intoli.com/install-google-chrome.sh | bash
cp -r /opt/google/chrome/ /home/ec2-user/
google-chrome-stable --version
# Google Chrome 86.0.4240.198

Laden Sie den passenden Chromedriver herunter und entpacken Sie ihn:

sudo wget https://chromedriver.storage.googleapis.com/86.0.4240.22/chromedriver_linux64.zip
sudo unzip chromedriver_linux64.zip

Ich installiere python36und seleniummit:

sudo yum install python36 -y
sudo /usr/bin/pip-3.6 install selenium

Führen Sie dann das Skript aus:

import os
import selenium
from selenium import webdriver

CURR_PATH = os.getcwd()
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--headless')
chrome_options.add_argument('--window-size=1280x1696')
chrome_options.add_argument('--disable-gpu')
chrome_options.add_argument('--disable-dev-shm-usage')
chrome_options.add_argument('--hide-scrollbars')
chrome_options.add_argument('--enable-logging')
chrome_options.add_argument('--log-level=0')
chrome_options.add_argument('--v=99')
chrome_options.add_argument('--single-process')
chrome_options.add_argument('--ignore-certificate-errors')
chrome_options.add_argument('--remote-debugging-port=9222')
chrome_options.binary_location = f"{CURR_PATH}/chrome/google-chrome"
driver = webdriver.Chrome(
    executable_path = f"{CURR_PATH}/chromedriver",
    chrome_options=chrome_options
)
driver.get("https://www.google.com/")
html = driver.page_source
print(html)

Das funktioniert

Lambda

Ich komprimiere dann meine Chromedriver- und Chrome-Dateien:

mkdir tmp
mv chromedriver tmp
mv chrome tmp
cd tmp
zip -r9 ../chrome.zip chromedriver chrome

Und kopieren Sie die komprimierte Datei in einen S3Bucket

Dies ist meine Lambda-Funktion:

import os
import boto3
from botocore.exceptions import ClientError
import zipfile
import selenium
from selenium import webdriver

s3 = boto3.resource('s3')

def handler(event, context):
    chrome_bucket = os.environ.get('CHROME_S3_BUCKET')
    chrome_key = os.environ.get('CHROME_S3_KEY')
    # DOWNLOAD HEADLESS CHROME FROM S3
    try:    
        # with open('/tmp/headless_chrome.zip', 'wb') as data:
        s3.meta.client.download_file(chrome_bucket, chrome_key, '/tmp/chrome.zip')
        print(os.listdir('/tmp'))
    except ClientError as e:
        raise e
    # UNZIP HEADLESS CHROME
    try:
        with zipfile.ZipFile('/tmp/chrome.zip', 'r') as zip_ref:
            zip_ref.extractall('/tmp')
        # FREE UP SPACE
        os.remove('/tmp/chrome.zip')
        print(os.listdir('/tmp'))
    except:
        raise ValueError('Problem with unzipping Chrome executable')
    # CHANGE PERMISSION OF CHROME
    try:
        os.chmod('/tmp/chromedriver', 0o775)
        os.chmod('/tmp/chrome/chrome', 0o775)
        os.chmod('/tmp/chrome/google-chrome', 0o775)
    except:
        raise ValueError('Problem with changing permissions to Chrome executable')
    # GET LINKS
    chrome_options = webdriver.ChromeOptions()
    chrome_options.add_argument('--no-sandbox')
    chrome_options.add_argument('--headless')
    chrome_options.add_argument('--window-size=1280x1696')
    chrome_options.add_argument('--disable-gpu')
    chrome_options.add_argument('--disable-dev-shm-usage')
    chrome_options.add_argument('--hide-scrollbars')
    chrome_options.add_argument('--enable-logging')
    chrome_options.add_argument('--log-level=0')
    chrome_options.add_argument('--v=99')
    chrome_options.add_argument('--single-process')
    chrome_options.add_argument('--ignore-certificate-errors')
    chrome_options.add_argument('--remote-debugging-port=9222')
    chrome_options.binary_location = "/tmp/chrome/google-chrome"
    driver = webdriver.Chrome(
        executable_path = "/tmp/chromedriver",
        chrome_options=chrome_options
    )
    driver.get("https://www.google.com/")
    html = driver.page_source
    print(html)

Ich kann meine entpackten Dateien im /tmpPfad sehen.

Und mein Fehler:

{
  "errorMessage": "Message: unknown error: unable to discover open pages\n",
  "errorType": "WebDriverException",
  "stackTrace": [
    [
      "/var/task/lib/observer.py",
      69,
      "handler",
      "chrome_options=chrome_options"
    ],
    [
      "/var/task/selenium/webdriver/chrome/webdriver.py",
      81,
      "__init__",
      "desired_capabilities=desired_capabilities)"
    ],
    [
      "/var/task/selenium/webdriver/remote/webdriver.py",
      157,
      "__init__",
      "self.start_session(capabilities, browser_profile)"
    ],
    [
      "/var/task/selenium/webdriver/remote/webdriver.py",
      252,
      "start_session",
      "response = self.execute(Command.NEW_SESSION, parameters)"
    ],
    [
      "/var/task/selenium/webdriver/remote/webdriver.py",
      321,
      "execute",
      "self.error_handler.check_response(response)"
    ],
    [
      "/var/task/selenium/webdriver/remote/errorhandler.py",
      242,
      "check_response",
      "raise exception_class(message, screen, stacktrace)"
    ]
  ]
}

EDIT: Ich bin bereit, an dieser Stelle alles auszuprobieren. Verschiedene Versionen von Chrome oder Chromium, Chromedriver, Python oder Selen.

EDIT2: Die Antwort unten hat das Problem nicht gelöst.

Antworten

5 DebanjanB Nov 18 2020 at 21:13

Diese Fehlermeldung ...

"errorMessage": "Message: unknown error: unable to discover open pages\n",
"errorType": "WebDriverException"

... bedeutet , dass die ChromeDriver nicht in der Lage war , eine neue zu initiieren / laichen Browsing Context dh Chrome Browser - Sitzung.

Es scheint, dass das Problem bei ChromeDriver liegt , der Sicherheitsfunktion von Sandboxing .

Faustregel

Eine häufige Ursache für einen Absturz von Chrome beim Start ist das Ausführen von Chrome als rootuser ( administrator) unter Linux. Während es möglich ist, dieses Problem zu --no-sandboxumgehen, indem Sie beim Erstellen Ihrer WebDriver-Sitzung das Flag übergeben, wird eine solche Konfiguration nicht unterstützt und dringend empfohlen. Sie müssen Ihre Umgebung so konfigurieren, dass Chrome stattdessen als normaler Benutzer ausgeführt wird.

Einzelheiten

Ein bisschen mehr Details zu Ihrem Anwendungsfall hätten uns geholfen, die Verwendung der von Ihnen verwendeten Argumente und die Grundursache des Fehlers besser zu analysieren. Ein paar Gedanken:

Selen funktioniert mit AWS EC2, jedoch nicht mit AWS Lambda

EC2

Lambda

Antworten

Faustregel

Einzelheiten

Weitere Überlegungen

Verweise

Headless-Chrom

Chromedriver

Lambda