安装

pip install pyppeteer

代码示例

# -*- coding: utf-8 -*-
import asyncio
from pyppeteer import launch
from pyquery import PyQuery as pq
# 最好指定一下自己浏览器的位置，如果不指定会自动下载，太慢了...
executable_path = "/Applications/Google Chrome.app/Contents/MacOS/Google Chrome"
# 示例一： 渲染页面
async def crawl_page():
    # 打开浏览器
    browser = await launch(executablePath=executable_path)
    # 打开tab
    page = await browser.newPage()
    # 输入网址回车
    await page.goto('http://quotes.toscrape.com/js/')
    # 获取内容并解析
    doc = pq(await page.content())
    print('Quotes:', doc('.quote').length)
    # 关闭浏览器
    await browser.close()
# 示例二：截图，保存pdf，执行js
async def save_pdf():
    browser = await launch(executablePath=executable_path)
    page = await browser.newPage()
    await page.goto('http://quotes.toscrape.com/js/')
    # 网页截图保存
    await page.screenshot(path='example.png')
    # 网页导出 PDF 保存
    await page.pdf(path='example.pdf')
    # 执行 JavaScript
    dimensions = await page.evaluate('''() => {
            return {
                width: document.documentElement.clientWidth,
                height: document.documentElement.clientHeight,
                deviceScaleFactor: window.devicePixelRatio,
        }''')
    print(dimensions)
    await browser.close()
if __name__ == '__main__':
    asyncio.get_event_loop().run_until_complete(crawl_page())
    # asyncio.get_event_loop().run_until_complete(save_pdf())

异步编程，这个关键字太多了，看的眼花缭乱

参考

别只用 Selenium，新神器 Pyppeteer 绕过淘宝更简单！

每个人都需要互相帮助，而我要做的就是把它呈现出来让大家看到。比如：你背不下来的书，总有人能背下来，你做不出来的题，总有人能做出来，你愿意拖到明天的事，总有人今天努力做完，那么抱歉，你想要的工作也只能别人干了，你想过的人生也只能别人过了！师者传道授业解惑。传播的力量就是要把这些东西渗透下去，然后才能长出新的叶子。共勉！

基于Java学院网站的搜索引擎（Java 爬虫搜索引擎）设计和实现

首先利用httpclient+多线程去模拟客户端去进行获取网页的内容，然后采用jsoup+多线程来进行解析网页内容并存储本地项目主要使用技术 Httplcient

爬虫最核心的问题就是解决重复操作，当一件事情可以重复的进行的时候，就可以用爬虫来解决这个问题，今天要实现的一个基本需求是完成“博客园“ 博客的自动评论，其实原理是非常简单的，提炼一下需求登录博客园<不实现，登录单独编写博客> 调用评论接口返回请求结果确定流程之后，基本...