本文介绍了Selenium 速度慢,还是我的代码错了?的处理方法,对大家解决问题具有一定的参考价值
问题描述
所以我尝试使用 Python 登录 Quora,然后抓取一些东西.
So I'm trying to login to Quora using Python and then scrape some stuff.
我正在使用 Selenium 登录该站点.这是我的代码:
I'm using Selenium to login to the site. Here's my code:
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
driver = webdriver.Firefox()
driver.get('http://www.quora.com/')
username = driver.find_element_by_name('email')
password = driver.find_element_by_name('password')
username.send_keys('email')
password.send_keys('password')
password.send_keys(Keys.RETURN)
driver.close()
现在的问题:
查找和填写登录表单花了大约 4 分钟,速度非常慢.我可以做些什么来加快进程?
It took ~4 minutes to find and fill the login form, which painfully slow. Is there something I can do to speed up the process?
当它登录时,我如何确保没有错误?换句话说,我如何检查响应代码?
When it did login, how do I make sure there were no errors? In other words, how do I check the response code?
如何使用 selenium 保存 cookie,以便在登录后继续抓取?
How do I save cookies with selenium so I can continue scraping once I login?
如果没有办法让selenium更快,还有其他的登录方式吗?(Quora 没有 API)
If there is no way to make selenium faster, is there any other alternative for logging in? (Quora doesn't have an API)
推荐答案
我遇到了类似的问题,使用 ChromeDriver 在 Python selenium 中调用 find_elements_xxx 非常慢.我最终将问题追溯到我在 find_element_xxx() 调用之前所做的 driver.implicitly_wait() 调用;当我拿出来时,我的 find_element_xxx() 调用跑得很快.
I had a similar problem with very slow find_elements_xxx calls in Python selenium using the ChromeDriver. I eventually tracked down the trouble to a driver.implicitly_wait() call I made prior to my find_element_xxx() calls; when I took it out, my find_element_xxx() calls ran quickly.
现在,我知道这些元素在我调用 find_elements_xxx() 时就在那里.所以我无法想象为什么implicit_wait会影响这些操作的速度,但它确实影响了.
Now, I know those elements were there when I did the find_elements_xxx() calls. So I cannot imagine why the implicit_wait should have affected the speed of those operations, but it did.
这篇关于Selenium 速度慢,还是我的代码错了?的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,WP2
do_action( "admin_action_{$_REQUEST[‘action’]}" )动作钩子::在发送“Action”请求变量时激发。Action Hook: Fires when an ‘action’ request variable is sent.目录锚点:#说明#源码说明(Description)钩子名称的动态部分$_REQUEST['action']引用从GET或POST请求派生的操作。源码(Source)更新版本源码位置使用被使用2.6.0 wp-admin/admin.php:...
日期:2020-09-02 17:44:16
浏览:1159
do_action( "admin_footer-{$GLOBALS[‘hook_suffix’]}", string $hook_suffix )操作挂钩:在默认页脚脚本之后打印脚本或数据。Action Hook: Print scripts or data after the default footer scripts.目录锚点:#说明#参数#源码说明(Description)钩子名的动态部分,$GLOBALS['hook_suffix']引用当前页的全局钩子后缀。参数(Parameters)参数类...
日期:2020-09-02 17:44:20
浏览:1060
do_action( "customize_save_{$this->id_data[‘base’]}", WP_Customize_Setting $this )动作钩子::在调用WP_Customize_Setting::save()方法时激发。Action Hook: Fires when the WP_Customize_Setting::save() method is called.目录锚点:#说明#参数#源码说明(Description)钩子名称的动态部分,$this->id_data...
日期:2020-08-15 15:47:24
浏览:800
apply_filters( "customize_value_{$this->id_data[‘base’]}", mixed $default )过滤器::过滤未作为主题模式或选项处理的自定义设置值。Filter Hook: Filter a Customize setting value not handled as a theme_mod or option.目录锚点:#说明#参数#源码说明(Description)钩子名称的动态部分,$this->id_date['base'],指的是设置...
日期:2020-08-15 15:47:24
浏览:887
过滤钩子:过滤评论作者的URL。Filter Hook: Filters the comment author’s URL.目录锚点:#源码源码(Source)更新版本源码位置使用被使用 wp-includes/comment-template.php:32610...
日期:2020-08-10 23:06:14
浏览:925
do_action( "network_admin_edit_{$_GET[‘action’]}" )操作挂钩:启动请求的处理程序操作。Action Hook: Fires the requested handler action.目录锚点:#说明#源码说明(Description)钩子名称的动态部分$u GET['action']引用请求的操作的名称。源码(Source)更新版本源码位置使用被使用3.1.0 wp-admin/network/edit.php:3600...
日期:2020-08-02 09:56:09
浏览:873
apply_filters( "network_sites_updated_message_{$_GET[‘updated’]}", string $msg )筛选器挂钩:在网络管理中筛选特定的非默认站点更新消息。Filter Hook: Filters a specific, non-default site-updated message in the Network admin.目录锚点:#说明#参数#源码说明(Description)钩子名称的动态部分$_GET['updated']引用了非默认的...
日期:2020-08-02 09:56:03
浏览:855
过滤器::过滤在访问数据库之前是否初始化站点的检查。Filter Hook: Filters the check for whether a site is initialized before the database is accessed.目录锚点:#源码源码(Source)更新版本源码位置使用被使用 wp-includes/ms-site.php:93910...
日期:2020-07-29 10:15:38
浏览:825
你想在WordPress 中添加关键字和meta 描述吗?关键字和meta 描述使你能够提高网站的SEO。在本文中,我们将向你展示如何在WordPress 中正确添加关键字和meta 描述。为什么要在WordPress 中添加关键字和Meta 描述?关键字和说明让搜寻引擎更了解您的帖子和页面的内容。关键词是人们寻找您发布的内容时,可能会搜索的重要词语或片语。而Meta Description则是对你的页面和文章的简要描述。如果你想要了解更多关于中继标签的资讯,可以参考Google的说明。Meta 关键字和描...
日期:2020-10-03 21:18:25
浏览:1695
SEO (Search Engine Optimization)中文是搜寻引擎最佳化,意思近于「关键字自然排序」、「网站排名优化」。简言之,SEO是以搜索引擎(如Google、Bing)为曝光媒体的行销手法。例如搜寻「wordpress教学」,会看到本站的「WordPress教学:12个课程…」排行Google第一:关键字:wordpress教学、wordpress课程…若搜寻「网站架设」,则会看到另一个网页排名第1:关键字:网站架设、架站…以上两个网页,每月从搜寻引擎导入自然流量,达2万4千:每月「有机搜...
日期:2020-10-30 17:23:57
浏览:1298