El selenio funciona en AWS EC2 pero no en AWS Lambda
He visto y probado casi todas las demás publicaciones sobre este tema sin suerte.
EC2
Estoy usando, python 3.6así que estoy usando la siguiente AMI amzn-ami-hvm-2018.03.0.20181129-x86_64-gp2(ver aquí ). Una vez que tengo SSH en mi EC2, descargo Chrome con:
sudo curl https://intoli.com/install-google-chrome.sh | bash
cp -r /opt/google/chrome/ /home/ec2-user/
google-chrome-stable --version
# Google Chrome 86.0.4240.198
Y descargue y descomprima el Chromedriver correspondiente:
sudo wget https://chromedriver.storage.googleapis.com/86.0.4240.22/chromedriver_linux64.zip
sudo unzip chromedriver_linux64.zip
Yo instalo python36y seleniumcon:
sudo yum install python36 -y
sudo /usr/bin/pip-3.6 install selenium
Luego ejecuta el script:
import os
import selenium
from selenium import webdriver
CURR_PATH = os.getcwd()
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--headless')
chrome_options.add_argument('--window-size=1280x1696')
chrome_options.add_argument('--disable-gpu')
chrome_options.add_argument('--disable-dev-shm-usage')
chrome_options.add_argument('--hide-scrollbars')
chrome_options.add_argument('--enable-logging')
chrome_options.add_argument('--log-level=0')
chrome_options.add_argument('--v=99')
chrome_options.add_argument('--single-process')
chrome_options.add_argument('--ignore-certificate-errors')
chrome_options.add_argument('--remote-debugging-port=9222')
chrome_options.binary_location = f"{CURR_PATH}/chrome/google-chrome"
driver = webdriver.Chrome(
executable_path = f"{CURR_PATH}/chromedriver",
chrome_options=chrome_options
)
driver.get("https://www.google.com/")
html = driver.page_source
print(html)
Esto funciona
Lambda
Luego comprimo mis archivos chromedriver y Chrome:
mkdir tmp
mv chromedriver tmp
mv chrome tmp
cd tmp
zip -r9 ../chrome.zip chromedriver chrome
Y copia el archivo comprimido en un S3cubo
Esta es mi función lambda:
import os
import boto3
from botocore.exceptions import ClientError
import zipfile
import selenium
from selenium import webdriver
s3 = boto3.resource('s3')
def handler(event, context):
chrome_bucket = os.environ.get('CHROME_S3_BUCKET')
chrome_key = os.environ.get('CHROME_S3_KEY')
# DOWNLOAD HEADLESS CHROME FROM S3
try:
# with open('/tmp/headless_chrome.zip', 'wb') as data:
s3.meta.client.download_file(chrome_bucket, chrome_key, '/tmp/chrome.zip')
print(os.listdir('/tmp'))
except ClientError as e:
raise e
# UNZIP HEADLESS CHROME
try:
with zipfile.ZipFile('/tmp/chrome.zip', 'r') as zip_ref:
zip_ref.extractall('/tmp')
# FREE UP SPACE
os.remove('/tmp/chrome.zip')
print(os.listdir('/tmp'))
except:
raise ValueError('Problem with unzipping Chrome executable')
# CHANGE PERMISSION OF CHROME
try:
os.chmod('/tmp/chromedriver', 0o775)
os.chmod('/tmp/chrome/chrome', 0o775)
os.chmod('/tmp/chrome/google-chrome', 0o775)
except:
raise ValueError('Problem with changing permissions to Chrome executable')
# GET LINKS
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--headless')
chrome_options.add_argument('--window-size=1280x1696')
chrome_options.add_argument('--disable-gpu')
chrome_options.add_argument('--disable-dev-shm-usage')
chrome_options.add_argument('--hide-scrollbars')
chrome_options.add_argument('--enable-logging')
chrome_options.add_argument('--log-level=0')
chrome_options.add_argument('--v=99')
chrome_options.add_argument('--single-process')
chrome_options.add_argument('--ignore-certificate-errors')
chrome_options.add_argument('--remote-debugging-port=9222')
chrome_options.binary_location = "/tmp/chrome/google-chrome"
driver = webdriver.Chrome(
executable_path = "/tmp/chromedriver",
chrome_options=chrome_options
)
driver.get("https://www.google.com/")
html = driver.page_source
print(html)
Puedo ver mis archivos descomprimidos en la /tmpruta.
Y mi error:
{
"errorMessage": "Message: unknown error: unable to discover open pages\n",
"errorType": "WebDriverException",
"stackTrace": [
[
"/var/task/lib/observer.py",
69,
"handler",
"chrome_options=chrome_options"
],
[
"/var/task/selenium/webdriver/chrome/webdriver.py",
81,
"__init__",
"desired_capabilities=desired_capabilities)"
],
[
"/var/task/selenium/webdriver/remote/webdriver.py",
157,
"__init__",
"self.start_session(capabilities, browser_profile)"
],
[
"/var/task/selenium/webdriver/remote/webdriver.py",
252,
"start_session",
"response = self.execute(Command.NEW_SESSION, parameters)"
],
[
"/var/task/selenium/webdriver/remote/webdriver.py",
321,
"execute",
"self.error_handler.check_response(response)"
],
[
"/var/task/selenium/webdriver/remote/errorhandler.py",
242,
"check_response",
"raise exception_class(message, screen, stacktrace)"
]
]
}
EDITAR: Estoy dispuesto a probar cualquier cosa en este momento. Diferentes versiones de Chrome o Chromium, Chromedriver, Python o Selenium.
EDIT2: La respuesta a continuación no resolvió el problema.
Respuestas
Este mensaje de error ...
"errorMessage": "Message: unknown error: unable to discover open pages\n",
"errorType": "WebDriverException"
... implica que ChromeDriver no pudo iniciar / generar un nuevo contexto de navegación, es decir, una sesión del navegador Chrome .
Parece que el problema está en ChromeDriver , la función de seguridad de Sandboxing .
Regla del pulgar
Una causa común de bloqueo de Chrome durante el inicio es ejecutar Chrome como
rootusuario (administrator) en Linux. Si bien es posible solucionar este problema pasando una--no-sandboxbandera al crear su sesión de WebDriver, dicha configuración no es compatible y se desaconseja. En su lugar, debe configurar su entorno para ejecutar Chrome como un usuario normal.
Detalles
Un poco más de detalles sobre su caso de uso nos habría ayudado a analizar el uso de los argumentos que ha utilizado y la causa raíz del error de una mejor manera. Sin embargo, algunas reflexiones:
- ¿Qué es la caja de arena? : El sandbox es una biblioteca de C ++ que permite la creación de procesos sandbox, procesos que se ejecutan dentro de un entorno muy restrictivo. Los únicos recursos que los procesos de espacio aislado pueden usar libremente son los ciclos de CPU y la memoria. Por ejemplo, los procesos de las cajas de arena no pueden escribir en el disco ni mostrar sus propias ventanas. Lo que pueden hacer exactamente está controlado por una política explícita. Los renderizadores de cromo son procesos de espacio aislado.
- ¿Contra qué protege y contra qué no? : La zona de pruebas limita la gravedad de los errores en el código que se ejecuta dentro de la zona de pruebas. Estos errores no pueden instalar malware persistente en la cuenta del usuario (porque está prohibido escribir en el sistema de archivos). Estos errores tampoco pueden leer y robar archivos arbitrarios de la máquina del usuario. (En Chromium, los procesos del renderizador están en espacio aislado y tienen esta protección. Después de la eliminación de NPAPI, todos los complementos restantes también están en espacio aislado. También tenga en cuenta que los procesos del renderizador de Chromium están aislados del sistema, pero aún no de la web. Por lo tanto, los aún no se proporciona aislamiento de datos). La caja de arena no puede proporcionar ninguna protección contra errores en los componentes del sistema, como el kernel en el que se ejecuta.
- Entonces, ¿cómo puede un proceso de espacio aislado, como un renderizador, lograr algo? : Ciertos canales de comunicación están explícitamente abiertos para los procesos de espacio aislado; los procesos pueden escribir y leer desde estos canales. Un proceso con más privilegios puede utilizar estos canales para realizar determinadas acciones en nombre del proceso de espacio aislado. En Chromium, el proceso privilegiado suele ser el proceso del navegador.
Por lo tanto, es posible que deba eliminar la --no-sandboxopción. Aquí está el enlace a la historia de Sandbox .
consideraciones adicionales
Algunas consideraciones más:
- Mientras usa la
--headlessopción, no podrá usarla--window-size=1280x1696debido a ciertas restricciones.
Puede encontrar un par de discusiones detalladas relevantes en:
- Pantalla completa en Chrome sin cabeza con selenio
- No se puede maximizar la ventana de Chrome en modo sin cabeza
- El argumento
--disable-gpufue habilitar google-chrome-headless en la plataforma Windows . Era necesario ya que SwiftShader falla una afirmación en Windows en modo sin cabeza anteriormente. Este problema se resolvió a través de Headless: hacer que el indicador --disable-gpu sea innecesario
Puede encontrar una discusión detallada relevante en ERROR: gpu_process_transport_factory.cc (1007) -Contexto compartido de IU perdido: al inicializar el navegador Chrome a través de ChromeDriver en modo Headless
- Además usted no ha mencionado ningún requisito específico de utilizar
--disable-dev-shm-usage,--hide-scrollbars,--enable-logging,--log-level=0,--v=99,--single-processy--remote-debugging-port=9222argumentos que se opta a abandonar por el momento y añadir de nuevo según su especificación de prueba .
Referencias
Puede encontrar un par de discusiones detalladas relevantes en:
- selenium.common.exceptions.WebDriverException: Mensaje: error desconocido: no se pueden descubrir páginas abiertas usando ChromeDriver a través de Selenium
- WebDriverException: error desconocido: no se puede descubrir el error de páginas abiertas con ChromeDriver 80.0.3987.106 y Chrome 80.0.3987.122
Finalmente pude hacer que funcionara
Python 3.7
selenium==3.14.0
headless-chromium v1.0.0-55
chromedriver 2.43
Cromo sin cabeza
https://github.com/adieuadieu/serverless-chrome/releases/download/v1.0.0-55/stable-headless-chromium-amazonlinux-2017-03.zip
Chromedriver
https://chromedriver.storage.googleapis.com/2.43/chromedriver_linux64.zip
Agregué cromo sin cabeza y cromedriver a un Lambda Layer
Permisos 755para ambas obras
Lambda
La función Lambda se ve así
import os
import selenium
from selenium import webdriver
def handler(event, context):
print(os.listdir('/opt'))
#
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--headless')
chrome_options.add_argument('--single-process')
chrome_options.add_argument('--disable-dev-shm-usage')
chrome_options.binary_location = f"/opt/headless-chromium"
driver = webdriver.Chrome(
executable_path = f"/opt/chromedriver",
chrome_options=chrome_options
)
driver.get("https://www.google.com/")
html = driver.page_source
driver.close()
driver.quit()
print(html)
Espero que esto ayude a alguien en el cuarto trimestre de 2020 y después.