Selenium, AWS EC2'de çalışır ancak AWS Lambda'da çalışmaz

Nov 16 2020

Bu konudaki hemen hemen her gönderiye baktım ve şansım olmadan denedim.

EC2

Kullanıyorum, python 3.6bu yüzden aşağıdaki AMI'yi kullanıyorum amzn-ami-hvm-2018.03.0.20181129-x86_64-gp2( buraya bakın ). EC2'ye SSH uyguladığımda, Chrome'u şu şekilde indiriyorum:

sudo curl https://intoli.com/install-google-chrome.sh | bash
cp -r /opt/google/chrome/ /home/ec2-user/
google-chrome-stable --version
# Google Chrome 86.0.4240.198

Ve eşleşen Chromedriver'ı indirip açın:

sudo wget https://chromedriver.storage.googleapis.com/86.0.4240.22/chromedriver_linux64.zip
sudo unzip chromedriver_linux64.zip

Kurarım python36ve seleniumşunlarla:

sudo yum install python36 -y
sudo /usr/bin/pip-3.6 install selenium

Ardından komut dosyasını çalıştırın:

import os
import selenium
from selenium import webdriver

CURR_PATH = os.getcwd()
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--headless')
chrome_options.add_argument('--window-size=1280x1696')
chrome_options.add_argument('--disable-gpu')
chrome_options.add_argument('--disable-dev-shm-usage')
chrome_options.add_argument('--hide-scrollbars')
chrome_options.add_argument('--enable-logging')
chrome_options.add_argument('--log-level=0')
chrome_options.add_argument('--v=99')
chrome_options.add_argument('--single-process')
chrome_options.add_argument('--ignore-certificate-errors')
chrome_options.add_argument('--remote-debugging-port=9222')
chrome_options.binary_location = f"{CURR_PATH}/chrome/google-chrome"
driver = webdriver.Chrome(
    executable_path = f"{CURR_PATH}/chromedriver",
    chrome_options=chrome_options
)
driver.get("https://www.google.com/")
html = driver.page_source
print(html)

Bu çalışıyor

Lambda

Daha sonra Chromedriver ve Chrome dosyalarımı sıkıştırıyorum:

mkdir tmp
mv chromedriver tmp
mv chrome tmp
cd tmp
zip -r9 ../chrome.zip chromedriver chrome

Ve bir Sıkıştırılmış dosyayı kopyalamak S3kova

Bu benim lambda işlevim:

import os
import boto3
from botocore.exceptions import ClientError
import zipfile
import selenium
from selenium import webdriver

s3 = boto3.resource('s3')

def handler(event, context):
    chrome_bucket = os.environ.get('CHROME_S3_BUCKET')
    chrome_key = os.environ.get('CHROME_S3_KEY')
    # DOWNLOAD HEADLESS CHROME FROM S3
    try:    
        # with open('/tmp/headless_chrome.zip', 'wb') as data:
        s3.meta.client.download_file(chrome_bucket, chrome_key, '/tmp/chrome.zip')
        print(os.listdir('/tmp'))
    except ClientError as e:
        raise e
    # UNZIP HEADLESS CHROME
    try:
        with zipfile.ZipFile('/tmp/chrome.zip', 'r') as zip_ref:
            zip_ref.extractall('/tmp')
        # FREE UP SPACE
        os.remove('/tmp/chrome.zip')
        print(os.listdir('/tmp'))
    except:
        raise ValueError('Problem with unzipping Chrome executable')
    # CHANGE PERMISSION OF CHROME
    try:
        os.chmod('/tmp/chromedriver', 0o775)
        os.chmod('/tmp/chrome/chrome', 0o775)
        os.chmod('/tmp/chrome/google-chrome', 0o775)
    except:
        raise ValueError('Problem with changing permissions to Chrome executable')
    # GET LINKS
    chrome_options = webdriver.ChromeOptions()
    chrome_options.add_argument('--no-sandbox')
    chrome_options.add_argument('--headless')
    chrome_options.add_argument('--window-size=1280x1696')
    chrome_options.add_argument('--disable-gpu')
    chrome_options.add_argument('--disable-dev-shm-usage')
    chrome_options.add_argument('--hide-scrollbars')
    chrome_options.add_argument('--enable-logging')
    chrome_options.add_argument('--log-level=0')
    chrome_options.add_argument('--v=99')
    chrome_options.add_argument('--single-process')
    chrome_options.add_argument('--ignore-certificate-errors')
    chrome_options.add_argument('--remote-debugging-port=9222')
    chrome_options.binary_location = "/tmp/chrome/google-chrome"
    driver = webdriver.Chrome(
        executable_path = "/tmp/chromedriver",
        chrome_options=chrome_options
    )
    driver.get("https://www.google.com/")
    html = driver.page_source
    print(html)

Açılmış dosyalarımı /tmpyolda görebiliyorum.

Ve benim hatam:

{
  "errorMessage": "Message: unknown error: unable to discover open pages\n",
  "errorType": "WebDriverException",
  "stackTrace": [
    [
      "/var/task/lib/observer.py",
      69,
      "handler",
      "chrome_options=chrome_options"
    ],
    [
      "/var/task/selenium/webdriver/chrome/webdriver.py",
      81,
      "__init__",
      "desired_capabilities=desired_capabilities)"
    ],
    [
      "/var/task/selenium/webdriver/remote/webdriver.py",
      157,
      "__init__",
      "self.start_session(capabilities, browser_profile)"
    ],
    [
      "/var/task/selenium/webdriver/remote/webdriver.py",
      252,
      "start_session",
      "response = self.execute(Command.NEW_SESSION, parameters)"
    ],
    [
      "/var/task/selenium/webdriver/remote/webdriver.py",
      321,
      "execute",
      "self.error_handler.check_response(response)"
    ],
    [
      "/var/task/selenium/webdriver/remote/errorhandler.py",
      242,
      "check_response",
      "raise exception_class(message, screen, stacktrace)"
    ]
  ]
}

DÜZENLEME: Bu noktada her şeyi denemeye hazırım. Chrome veya Chromium, Chromedriver, Python veya Selenium'un farklı sürümleri.

DÜZENLEME2: Aşağıdaki cevap sorunu çözmedi.

Yanıtlar

5 DebanjanB Nov 18 2020 at 21:13

Bu hata mesajı ...

"errorMessage": "Message: unknown error: unable to discover open pages\n",
"errorType": "WebDriverException"

... ChromeDriver'ın yeni bir Tarama Bağlamı, yani Chrome Tarayıcı oturumu başlatamadığı / oluşturamadığı anlamına gelir .

Konu ile görünüyor ChromeDriver , s güvenlik özelliğinin ait korumalı alan .

Temel kural

Başlatma sırasında Chrome'un kilitlenmesinin yaygın bir nedeni, Chrome'un Linux'ta rootkullanıcı olarak ( administrator) çalıştırılmasıdır . --no-sandboxWebDriver oturumunuzu oluştururken bayrağı ileterek bu sorunu aşmak mümkün olsa da , böyle bir yapılandırma desteklenmez ve kesinlikle önerilmez. Ortamınızı bunun yerine Chrome'u normal bir kullanıcı olarak çalıştıracak şekilde yapılandırmanız gerekir.

Detaylar

Kullanım durumunuz hakkında biraz daha fazla ayrıntı, kullandığınız argümanların kullanımını ve hatanın temel nedenini daha iyi bir şekilde analiz etmemize yardımcı olabilirdi. Ancak birkaç düşünce:

Selenium, AWS EC2'de çalışır ancak AWS Lambda'da çalışmaz

EC2

Lambda

Yanıtlar

Temel kural

Detaylar

Ek Hususlar

Referanslar

Başsız-Krom

Chromedriver

Lambda