- CSV，全称为 Comma-Separated Values，中文可以叫作逗号分隔值或字符分隔值，其文件以纯文本形式存储表格数据。该文件是一个字符序列，可以由任意数目的记录组成，记录间以某种换行符分隔。每条记录由字段组成，字段间的分隔符是其他字符或字符串，最常见的是逗号或制表符。不过所有记录都有完全相同的字段序列，相当于一个结构化表的纯文本形式。它比 Excel 文件更加简... CSV，全称为 Comma-Separated Values，中文可以叫作逗号分隔值或字符分隔值，其文件以纯文本形式存储表格数据。该文件是一个字符序列，可以由任意数目的记录组成，记录间以某种换行符分隔。每条记录由字段组成，字段间的分隔符是其他字符或字符串，最常见的是逗号或制表符。不过所有记录都有完全相同的字段序列，相当于一个结构化表的纯文本形式。它比 Excel 文件更加简...
- 学习爬虫，最初的操作便是模拟浏览器向服务器发出请求，那么我们需要从哪个地方做起呢？请求需要我们自己来构造吗？需要关心请求这个数据结构的实现吗？需要了解 HTTP、TCP、IP 层的网络传输通信吗？需要知道服务器的响应和应答原理吗？ 可能你不知道无从下手，不过不用担心，Python 的强大之处就是提供了功能齐全的类库来帮助我们完成这些请求。最基础的 HTTP 库有 urlli... 学习爬虫，最初的操作便是模拟浏览器向服务器发出请求，那么我们需要从哪个地方做起呢？请求需要我们自己来构造吗？需要关心请求这个数据结构的实现吗？需要了解 HTTP、TCP、IP 层的网络传输通信吗？需要知道服务器的响应和应答原理吗？ 可能你不知道无从下手，不过不用担心，Python 的强大之处就是提供了功能齐全的类库来帮助我们完成这些请求。最基础的 HTTP 库有 urlli...
- 工欲善其事，必先利其器！ 编写和运行程序之前我们必须要先把开发环境配置好，只有配置好了环境并且有了更方便的开发工具我们才能更加高效地用程序实现相应的功能，然而很多情况下我们可能在最开始就卡在环境配置上，如果这个过程花费了太多时间，想必学习的兴趣就下降了大半，所以本章专门来对本书中所有的环境配置做一下说明。 本章是本书使用的所有库及工具的安装过程讲解，为了使书的条理更加清晰，... 工欲善其事，必先利其器！ 编写和运行程序之前我们必须要先把开发环境配置好，只有配置好了环境并且有了更方便的开发工具我们才能更加高效地用程序实现相应的功能，然而很多情况下我们可能在最开始就卡在环境配置上，如果这个过程花费了太多时间，想必学习的兴趣就下降了大半，所以本章专门来对本书中所有的环境配置做一下说明。 本章是本书使用的所有库及工具的安装过程讲解，为了使书的条理更加清晰，...
- 由于 Requests 属于第三方库，也就是 Python 默认不会自带这个库，所以需要我们手动安装。下面我们首先看一下它的安装过程。 1. 相关链接 GitHub：https://github.com/requests/requests PyPI：https://pypi.python.org/pypi/requests 官方文档：http://www.python-... 由于 Requests 属于第三方库，也就是 Python 默认不会自带这个库，所以需要我们手动安装。下面我们首先看一下它的安装过程。 1. 相关链接 GitHub：https://github.com/requests/requests PyPI：https://pypi.python.org/pypi/requests 官方文档：http://www.python-...
- 上一章中，我们实现了一个最基本的爬虫，但提取页面信息时使用的是正则表达式，这还是比较烦琐，而且万一有地方写错了，可能导致匹配失败，所以使用正则表达式提取页面信息多多少少还是有些不方便。 对于网页的节点来说，它可以定义 id、class 或其他属性。而且节点之间还有层次关系，在网页中可以通过 XPath 或 CSS 选择器来定位一个或多个节点。那么，在页面解析时，利用 XPa... 上一章中，我们实现了一个最基本的爬虫，但提取页面信息时使用的是正则表达式，这还是比较烦琐，而且万一有地方写错了，可能导致匹配失败，所以使用正则表达式提取页面信息多多少少还是有些不方便。 对于网页的节点来说，它可以定义 id、class 或其他属性。而且节点之间还有层次关系，在网页中可以通过 XPath 或 CSS 选择器来定位一个或多个节点。那么，在页面解析时，利用 XPa...
- Flask 是一个轻量级的 Web 服务程序，它简单、易用、灵活，这里主要用来做一些 API 服务。 1. 相关链接 GitHub：https://github.com/pallets/flask 官方文档：http://flask.pocoo.org 中文文档：http://docs.jinkan.org/docs/flask PyPI：https://pypi.p... Flask 是一个轻量级的 Web 服务程序，它简单、易用、灵活，这里主要用来做一些 API 服务。 1. 相关链接 GitHub：https://github.com/pallets/flask 官方文档：http://flask.pocoo.org 中文文档：http://docs.jinkan.org/docs/flask PyPI：https://pypi.p...
- 在 Python 中，如果想要和 MongoDB 进行交互，就需要借助于 PyMongo 库，这里就来了解一下它的安装方法。 1. 相关链接 GitHub：https://github.com/mongodb/mongo-python-driver 官方文档：https://api.mongodb.com/python/current/ PyPI：https://pyp... 在 Python 中，如果想要和 MongoDB 进行交互，就需要借助于 PyMongo 库，这里就来了解一下它的安装方法。 1. 相关链接 GitHub：https://github.com/mongodb/mongo-python-driver 官方文档：https://api.mongodb.com/python/current/ PyPI：https://pyp...
- 作为数据存储的重要部分，数据库同样是必不可少的，数据库可以分为关系型数据库和非关系型数据库。 关系型数据库如 SQLite、MySQL、Oracle、SQL Server、DB2 等，其数据库是以表的形式存储，非关系型数据库如 MongoDB、Redis，它们的存储形式是键值对，存储形式更加灵活。 本书用到的数据库主要有关系型数据库 MySQL 及非关系型数据库 Mongo... 作为数据存储的重要部分，数据库同样是必不可少的，数据库可以分为关系型数据库和非关系型数据库。 关系型数据库如 SQLite、MySQL、Oracle、SQL Server、DB2 等，其数据库是以表的形式存储，非关系型数据库如 MongoDB、Redis，它们的存储形式是键值对，存储形式更加灵活。 本书用到的数据库主要有关系型数据库 MySQL 及非关系型数据库 Mongo...
- 安装好了 Scrapyd 之后，我们可以直接请求它提供的 API 来获取当前主机的 Scrapy 任务运行状况。比如，某台主机的 IP 为 192.168.1.1，则可以直接运行如下命令获取当前主机的所有 Scrapy 项目： 1 curl http://localhost:6800/listprojects.json 运行结果如下： 1 {... 安装好了 Scrapyd 之后，我们可以直接请求它提供的 API 来获取当前主机的 Scrapy 任务运行状况。比如，某台主机的 IP 为 192.168.1.1，则可以直接运行如下命令获取当前主机的所有 Scrapy 项目： 1 curl http://localhost:6800/listprojects.json 运行结果如下： 1 {...
- 爬虫可以简单分为几步：抓取页面、分析页面和存储数据。 在抓取页面的过程中，我们需要模拟浏览器向服务器发出请求，所以需要用到一些 Python 库来实现 HTTP 请求操作。在本书中，我们用到的第三方库有 Requests、Selenium 和 aiohttp 等。 在本节中，我们介绍一下这些请求库的安装方法。 爬虫可以简单分为几步：抓取页面、分析页面和存储数据。 在抓取页面的过程中，我们需要模拟浏览器向服务器发出请求，所以需要用到一些 Python 库来实现 HTTP 请求操作。在本书中，我们用到的第三方库有 Requests、Selenium 和 aiohttp 等。 在本节中，我们介绍一下这些请求库的安装方法。
- Scrapyd 是一个用于部署和运行 Scrapy 项目的工具，有了它，你可以将写好的 Scrapy 项目上传到云主机并通过 API 来控制它的运行。 既然是 Scrapy 项目部署，基本上都使用 Linux 主机，所以本节的安装是针对于 Linux 主机的。 1. 相关链接 GitHub：https://github.com/scrapy/scrapyd PyPI：ht... Scrapyd 是一个用于部署和运行 Scrapy 项目的工具，有了它，你可以将写好的 Scrapy 项目上传到云主机并通过 API 来控制它的运行。 既然是 Scrapy 项目部署，基本上都使用 Linux 主机，所以本节的安装是针对于 Linux 主机的。 1. 相关链接 GitHub：https://github.com/scrapy/scrapyd PyPI：ht...
- 用解析器解析出数据之后，接下来就是存储数据了。保存的形式可以多种多样，最简单的形式是直接保存为文本文件，如 TXT、JSON、CSV 等。另外，还可以保存到数据库中，如关系型数据库 MySQL，非关系型数据库 MongoDB、Redis 等。 用解析器解析出数据之后，接下来就是存储数据了。保存的形式可以多种多样，最简单的形式是直接保存为文本文件，如 TXT、JSON、CSV 等。另外，还可以保存到数据库中，如关系型数据库 MySQL，非关系型数据库 MongoDB、Redis 等。
- 作者：孟瑜作为科技圈小白，经常被数据搞得头晕脑胀，数据打哪儿来？到哪儿去？能干什么？那么多数据怎么区分谁有用谁没用？今天这篇文章，小编就带你查一查数据采集技术的水表。一、数据打哪儿来数据就好比是人工智能的粮食，是人工智能最基础的需求之一。巧妇难为无米之炊，想让人工智能吃顿饱饭，一切的前提就是要找到数据粮食，那数据打哪儿来呢？首先我们要搞明白什么样的数据是有用的，不能看到数据就搞... 作者：孟瑜作为科技圈小白，经常被数据搞得头晕脑胀，数据打哪儿来？到哪儿去？能干什么？那么多数据怎么区分谁有用谁没用？今天这篇文章，小编就带你查一查数据采集技术的水表。一、数据打哪儿来数据就好比是人工智能的粮食，是人工智能最基础的需求之一。巧妇难为无米之炊，想让人工智能吃顿饱饭，一切的前提就是要找到数据粮食，那数据打哪儿来呢？首先我们要搞明白什么样的数据是有用的，不能看到数据就搞...
- Nameserver 在 RocketMQ 整体架构中所处的位置就相当于 ZooKeeper、Dubbo 服务化架构体系中的位置，即充当“注册中心”，在 RocketMQ 中路由信息主要是指主题（Topic）的队列信息，即一个 Topic 的队列分布在哪些 Broker 中。 Nameserver 工作机制 Topic 的注册与发现主要的参与者：Nameserver、... Nameserver 在 RocketMQ 整体架构中所处的位置就相当于 ZooKeeper、Dubbo 服务化架构体系中的位置，即充当“注册中心”，在 RocketMQ 中路由信息主要是指主题（Topic）的队列信息，即一个 Topic 的队列分布在哪些 Broker 中。 Nameserver 工作机制 Topic 的注册与发现主要的参与者：Nameserver、...
- 一、前言 在我们日常使用聊天软件进行通信的时候，可能有时候会由于我们的网络环境问题而导致没有网可用，也就是暂时性的断网。那么此时你的聊天软件发送信息，就不能被接收到了。但是当网络恢复后，我们的聊天就又可以继续了。在这里有一个非常重要的保持通信的手段，就是断线重连。以此来保证在网络以及以其他原因导致断线后，可以在网络恢复后，通信也可以随时恢复。如果，没有这样的功能，那么你就需... 一、前言 在我们日常使用聊天软件进行通信的时候，可能有时候会由于我们的网络环境问题而导致没有网可用，也就是暂时性的断网。那么此时你的聊天软件发送信息，就不能被接收到了。但是当网络恢复后，我们的聊天就又可以继续了。在这里有一个非常重要的保持通信的手段，就是断线重连。以此来保证在网络以及以其他原因导致断线后，可以在网络恢复后，通信也可以随时恢复。如果，没有这样的功能，那么你就需...
上滑加载中
推荐直播
-
华为云码道-AI时代应用开发利器2026/03/18 周三 19:00-20:00
童得力，华为云开发者生态运营总监/姚圣伟，华为云HCDE开发者专家
本次直播由华为专家带你实战应用开发，看华为云码道(CodeArts)代码智能体如何在AI时代让你的创意应用快速落地。更有华为云HCDE开发者专家带你用码道玩转JiuwenClaw，让小艺成为你的AI助理。
回顾中 -
Skill 构建 × 智能创作：基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟，华为云软件研发工程师/万邵业（万少），华为云HCDE开发者专家
本次直播带来两大实战：华为云码道 Skill-Creator 手把手搭建专属知识库 Skill；如何用码道提效 OpenClaw 小说文本，打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路，一次讲透！
回顾中 -
码道新技能，AI 新生产力——从自动视频生成到开源项目解析2026/04/08 周三 19:00-21:00
童得力-华为云开发者生态运营总监/何文强-无人机企业AI提效负责人
本次华为云码道 Skill 实战活动，聚焦两大 AI 开发场景：通过实战教学，带你打造 AI 编程自动生成视频 Skill，并实现对 GitHub 热门开源项目的智能知识抽取，手把手掌握 Skill 开发全流程，用 AI 提升研发效率与内容生产力。
回顾中
热门标签