Trung tâm cá nhân
Bài viết phát hành
từ bỏ
Bài viết phổ biến của tác giả
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
33
4
学习 Python，我正在尝试制作一个没有任何第 3 方库的网络抓取工具，这样过程对我来说并没有简化，而且我知道我在做什么。我浏览了一些在线资源，但所有这些都让我对某些事情感到困惑。
html 看起来像这样，
...
*lots of other tags*
...
...
*lots of other tags*
我想让抓取工具提取
我对我需要如何处理这件事有一个非常基本的想法。
import urllib
from urllib import request
#import re
#from html.parser import HTMLParser
response = urllib.request.urlopen("http://website.com")
html = response.read()
#Some how extract that wanted data
f = open('page.html', 'w')
f.write(data)
f.close()
1 Câu trả lời
标准库自带各种Structured Markup Processing Tools ，您可以使用它来解析 HTML，然后搜索它以提取您的 div。
那里有很多选择。你用什么？
html.parser 看起来是显而易见的选择，但实际上我会从 ElementTree 开始反而。这是一个非常好的和非常强大的 API，网络上有大量的文档和示例代码可以帮助您入门，并且每天都有很多专家使用它来帮助您解决问题。如果事实证明 etree 无法解析您的 HTML，您将不得不使用其他东西……但请先尝试一下。
例如，通过对 HTML 进行一些小的修复，它实际上是有效的，因此实际上有一些文本值得从您的 div 中删除:
...
*lots of other tags*
spam spam spam
...
...
*lots of other tags*
您可以使用这样的代码(我假设您知道或愿意学习 XPath):
tree = ElementTree.fromstring(page)
mydiv = tree.find('.//div[@class="want"]')
现在您已获得对 phân chia 的引用与类 "want" .您可以通过以下方式获取其直接文本:
print(mydiv.text)
但是如果你想提取整个子树，那就更简单了:
data = ElementTree.tostring(mydiv)
如果您想将其包装在有效的 中和 本身，您必须手动完成该部分。该文档解释了如何使用简单的树 API 构建元素:您创建一个 cái đầu和一个 thân hìnhĐưa vào html , 然后贴上 phân chiahiện hữuthân hình , 然后 tostring html ，仅此而已。
关于python - 在 Python 中仅使用内置库制作一个基本的网络抓取工具 - Python，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/18157529/
33
4
0
我想在一个页面上做一个按钮，可以在同一页面调用一个JS函数。该函数将需要创建(打开)新窗口，其 HTML 代码由 JS 函数本身提供。我该怎么做？ 这样做的目的是从特定页面生成一个打印友好的页面。 请
我一直在用 php 开发这个项目。该项目的一半是使用 mysql_query 完成的，最新的模块是使用 mysqli 制作的。有很多模块，我不想更改代码。如果是这样的话会不会产生问题。或者我应该将其全
我安装了好几次 qt creator，但它从来没有像我现在的 PC 那样花钱；首先，我使用我的 Pendrive(Qt 5.8 的)上一直有的安装程序，告诉我我无法下载一些存储库，我下载了相同安装程序
我安装了 Qt Creator 5.10.1，当我构建项目时出现错误:“无法确定要运行哪个”make“命令。检查构建配置中的”make“步骤。”。 我已经在另一台 PC 上安装了 Qt，我看到了这个问
看看这个 makefile，它有某种原始的进度指示(可能是一个进度条)。 请给我建议/意见! # BUILD 最初是未定义的 ifndef 构建 # max 等于 256 个 x 十六:= x x x
这个问题会有点长，对此我很抱歉:) 我花了几天时间寻找最好的解决方案，以在 asp mvc 和 JQuery 中制作图像库。 主要问题是当用户点击拇指时显示图像。 我想让整个浏览器 View 变成黑色
我是Python方面的 super 高手。我一直在努力寻找适当的解决方案。这是列表，L = [0, 0, 0, 3, 4, 5, 6, 0, 0, 0, 0, 11, 12, 13, 14, 0, 0
让我们考虑两个简化的 CMakeLists.txt set(GTEST "/usr/local/lib/libgtest.a") set(GMOCK "/usr/local/lib/libgmock.
我如何制作 Makefile，因为这是按源代码分发程序的最佳方式。请记住，这是针对 C++ 程序的，而我是从 C 开发领域开始的。但是可以为我的 Python 程序制作 Makefile 吗？ 最佳答
由于 Ord 是 Eq 的子类，我发现很难理解创建该类的新类型实例的样子。 我已经设法做到了: newtype NT1 = NT1 Integer instance Eq NT1 wh
在 PowerShell 中，我想编写一个函数，它接受不同的选项作为参数。没关系，如果它接收多个参数，但它必须接收至少一个参数。我想通过参数定义而不是之后的代码来强制执行它。我可以使用以下代码让它工作
我正在通过构建包使用 enable-ssl 在 heroku (ubuntu) 上安装 ffmpeg。我能够一直构建到这些错误: install: cannot create regular file
我是 FFmpeg 的新手，但作为一个学习一些 mysql 数据库的项目，我正在尝试创建一个视频上传网站。 当我尝试使用此代码制作缩略图时: shell_exec("/usr/local/bin/ff
我想要一个绘制可绘制对象的 Actor ，但将其剪辑为 Actor 的大小。我从 Widget 派生这个类，并使用一些硬编码的值作为一个简单的测试: public class MyWidget ext
我一直在查看 Faxien+Sinan 和 Rebar，Erlang OTP 的基本理念似乎是，在单个 Erlang 镜像实例上安装应用程序和版本。保持发布自包含的最佳实践是什么？有没有办法打包发布，
我正在尝试克隆存储库，但它应该是彼此独立的副本。这背后有什么魔法吗，或者只是使用 svn 客户端并克隆它？ 谢谢 最佳答案 试试 svnadmin hotcopy .您可以在 repo mainten
我想做一个这样的菜单: Item 1 Item 2 Item 3 Subitem 1 Subitem 2 但我得到了这个:
为 Yii 创建扩展的最佳方式是什么？ 这是我到目前为止所做的 我希望它可以通过 composer 安装，所以我为它创建了一个 github repo。 我在文件夹 vendor/githubname
我尝试制作一个ActionListener，但它给了我一个错误。我导入了事件，但它仍然不起作用。这是我的代码: send.addActionListener(new jj); private clas
我需要能够将 div 内的 HTML 代码恢复为页面就绪状态。我需要这个，因为我想在页面准备好后对 HTML 代码进行一些更改，然后在需要时将其恢复到页面准备好时的状态.. 我想使用克隆，但是如何只复
Tôi là một lập trình viên xuất sắc, rất giỏi!