Selenium fonctionne sur AWS EC2 mais pas sur AWS Lambda

Nov 16 2020

J'ai regardé et essayé presque tous les autres articles sur ce sujet sans succès.

EC2

J'utilise python 3.6donc j'utilise l'AMI suivante amzn-ami-hvm-2018.03.0.20181129-x86_64-gp2(voir ici ). Une fois que je me connecte en SSH à mon EC2, je télécharge Chrome avec:

sudo curl https://intoli.com/install-google-chrome.sh | bash
cp -r /opt/google/chrome/ /home/ec2-user/
google-chrome-stable --version
# Google Chrome 86.0.4240.198

Et téléchargez et décompressez le Chromedriver correspondant:

sudo wget https://chromedriver.storage.googleapis.com/86.0.4240.22/chromedriver_linux64.zip
sudo unzip chromedriver_linux64.zip

J'installe python36et seleniumavec:

sudo yum install python36 -y
sudo /usr/bin/pip-3.6 install selenium

Ensuite, exécutez le script:

import os
import selenium
from selenium import webdriver

CURR_PATH = os.getcwd()
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--headless')
chrome_options.add_argument('--window-size=1280x1696')
chrome_options.add_argument('--disable-gpu')
chrome_options.add_argument('--disable-dev-shm-usage')
chrome_options.add_argument('--hide-scrollbars')
chrome_options.add_argument('--enable-logging')
chrome_options.add_argument('--log-level=0')
chrome_options.add_argument('--v=99')
chrome_options.add_argument('--single-process')
chrome_options.add_argument('--ignore-certificate-errors')
chrome_options.add_argument('--remote-debugging-port=9222')
chrome_options.binary_location = f"{CURR_PATH}/chrome/google-chrome"
driver = webdriver.Chrome(
    executable_path = f"{CURR_PATH}/chromedriver",
    chrome_options=chrome_options
)
driver.get("https://www.google.com/")
html = driver.page_source
print(html)

Cela marche

Lambda

Je zip ensuite mes fichiers chromedriver et Chrome:

mkdir tmp
mv chromedriver tmp
mv chrome tmp
cd tmp
zip -r9 ../chrome.zip chromedriver chrome

Et copiez le fichier compressé dans un S3bucket

Voici ma fonction lambda:

import os
import boto3
from botocore.exceptions import ClientError
import zipfile
import selenium
from selenium import webdriver

s3 = boto3.resource('s3')

def handler(event, context):
    chrome_bucket = os.environ.get('CHROME_S3_BUCKET')
    chrome_key = os.environ.get('CHROME_S3_KEY')
    # DOWNLOAD HEADLESS CHROME FROM S3
    try:    
        # with open('/tmp/headless_chrome.zip', 'wb') as data:
        s3.meta.client.download_file(chrome_bucket, chrome_key, '/tmp/chrome.zip')
        print(os.listdir('/tmp'))
    except ClientError as e:
        raise e
    # UNZIP HEADLESS CHROME
    try:
        with zipfile.ZipFile('/tmp/chrome.zip', 'r') as zip_ref:
            zip_ref.extractall('/tmp')
        # FREE UP SPACE
        os.remove('/tmp/chrome.zip')
        print(os.listdir('/tmp'))
    except:
        raise ValueError('Problem with unzipping Chrome executable')
    # CHANGE PERMISSION OF CHROME
    try:
        os.chmod('/tmp/chromedriver', 0o775)
        os.chmod('/tmp/chrome/chrome', 0o775)
        os.chmod('/tmp/chrome/google-chrome', 0o775)
    except:
        raise ValueError('Problem with changing permissions to Chrome executable')
    # GET LINKS
    chrome_options = webdriver.ChromeOptions()
    chrome_options.add_argument('--no-sandbox')
    chrome_options.add_argument('--headless')
    chrome_options.add_argument('--window-size=1280x1696')
    chrome_options.add_argument('--disable-gpu')
    chrome_options.add_argument('--disable-dev-shm-usage')
    chrome_options.add_argument('--hide-scrollbars')
    chrome_options.add_argument('--enable-logging')
    chrome_options.add_argument('--log-level=0')
    chrome_options.add_argument('--v=99')
    chrome_options.add_argument('--single-process')
    chrome_options.add_argument('--ignore-certificate-errors')
    chrome_options.add_argument('--remote-debugging-port=9222')
    chrome_options.binary_location = "/tmp/chrome/google-chrome"
    driver = webdriver.Chrome(
        executable_path = "/tmp/chromedriver",
        chrome_options=chrome_options
    )
    driver.get("https://www.google.com/")
    html = driver.page_source
    print(html)

Je peux voir mes fichiers décompressés dans le /tmpchemin.

Et mon erreur:

{
  "errorMessage": "Message: unknown error: unable to discover open pages\n",
  "errorType": "WebDriverException",
  "stackTrace": [
    [
      "/var/task/lib/observer.py",
      69,
      "handler",
      "chrome_options=chrome_options"
    ],
    [
      "/var/task/selenium/webdriver/chrome/webdriver.py",
      81,
      "__init__",
      "desired_capabilities=desired_capabilities)"
    ],
    [
      "/var/task/selenium/webdriver/remote/webdriver.py",
      157,
      "__init__",
      "self.start_session(capabilities, browser_profile)"
    ],
    [
      "/var/task/selenium/webdriver/remote/webdriver.py",
      252,
      "start_session",
      "response = self.execute(Command.NEW_SESSION, parameters)"
    ],
    [
      "/var/task/selenium/webdriver/remote/webdriver.py",
      321,
      "execute",
      "self.error_handler.check_response(response)"
    ],
    [
      "/var/task/selenium/webdriver/remote/errorhandler.py",
      242,
      "check_response",
      "raise exception_class(message, screen, stacktrace)"
    ]
  ]
}

EDIT: Je suis prêt à essayer n'importe quoi à ce stade. Différentes versions de Chrome ou Chromium, Chromedriver, Python ou Selenium.

EDIT2: La réponse ci-dessous n'a pas résolu le problème.

Réponses

5 DebanjanB Nov 18 2020 at 21:13

Ce message d'erreur ...

"errorMessage": "Message: unknown error: unable to discover open pages\n",
"errorType": "WebDriverException"

... implique que ChromeDriver n'a pas pu lancer / générer un nouveau contexte de navigation, c'est-à-dire une session du navigateur Chrome .

Il semble que le problème est avec ChromeDriver , de la fonction de sécurité de sandboxing .

Règle du pouce

Une cause fréquente de panne de Chrome au démarrage est l'exécution de Chrome en tant rootqu'utilisateur ( administrator) sous Linux. Bien qu'il soit possible de contourner ce problème en transmettant un --no-sandboxindicateur lors de la création de votre session WebDriver, une telle configuration n'est pas prise en charge et fortement déconseillée. Vous devez configurer votre environnement pour exécuter Chrome en tant qu'utilisateur régulier à la place.

Détails

Un peu plus de détails sur votre cas d'utilisation nous auraient aidé à mieux analyser l'utilisation des arguments que vous avez utilisés et la cause première de l'erreur. Cependant, quelques réflexions:

Selenium fonctionne sur AWS EC2 mais pas sur AWS Lambda

EC2

Lambda

Réponses

Règle du pouce

Détails

Considérations supplémentaires

Références

Chrome sans tête

Chromedriver

Lambda