当前位置：首页 > server > anz > 详细页面

系统城推荐在linux系统下部署selenium爬虫程序介绍

时间：2021-11-25来源：www.pcxitongcheng.com作者：电脑系统城

前言
一、selenium是什么？
二、使用步骤
- 1.引入库
- 2.测试代码
三、部署程序
- 1.安装chrome
- 2.安装chromedriver驱动
- 3.运行测试代码
总结

前言

我这里是工作需要把selenium 爬虫程序部署到Linux 服务器上面顺便跟大家交流一下如果有兴趣的话可以看一下

一、selenium是什么？

Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样, 爬虫用它来抓取一些js动态加载的数据

二、使用步骤

1.引入库

代码如下

1
2
3
4
5
6
7
8
9
10
11
12 from selenium.webdriver import Chrome
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options # 使用无头浏览器
from selenium.webdriver import ChromeOptions
chrome_options = Options()
options = ChromeOptions()
options.add_experimental_option('excludeSwitches', ['enable-automation']) # =>去掉浏览器正在受到自动测试软件的控制
options.add_experimental_option('useAutomationExtension', False)
chrome_options.add_argument("--headless") # => 为Chrome配置无头模式
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--disable-gpu')
chrome_options.add_argument('--disable-dev-shm-usage')

2.测试代码

代码如下：

1
2
3
4
5
6 s = Service(r"/home/driver/chromedriver")
driver = Chrome(
service=s, options=chrome_options
)
driver.get("https://www.baidu.com")
print(diiver.title)

三、部署程序

1.安装chrome

命令如下：

1
2
3 yum install https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm
检查chrome的版本
google-chrome --version

2.安装chromedriver驱动

命令如下：

1
2
3
4
5
6
7
8 按照对应的chrome版本下载chromedriver驱动
地址: https://npm.taobao.org/mirrors/chromedriver
我的版本号是: 96.0.4664.45
wget https://npm.taobao.org/mirrors/chromedriver/96.0.4664.45/chromedriver_linux64.zip
yum install -y unzip zip
unzip chromedriver_linux64.zip # 解压zip文件
mkdir driver #新建文件夹用来存放驱动
chmod 777 driver/chromedriver # 这是权限我这里给的是 777