- 在写代码过程中我们常常可能会遇到这样一种情况,要对一个list中的每个元素做同样的操作时,比较简便的方法是,写个for循环,就可以了。 在写代码过程中我们常常可能会遇到这样一种情况,要对一个list中的每个元素做同样的操作时,比较简便的方法是,写个for循环,就可以了。
- 本故事纯属虚构,如有巧合,他们故事里的美女面试官也肯定没有我的美,请自行脑补... 本故事纯属虚构,如有巧合,他们故事里的美女面试官也肯定没有我的美,请自行脑补...
- 本节书摘来自华章计算机《Python人脸识别:从入门到工程实践》 —— 书中第1章,第1.1.4节,作者是王天庆 。 本节书摘来自华章计算机《Python人脸识别:从入门到工程实践》 —— 书中第1章,第1.1.4节,作者是王天庆 。
- 性能问题Python在2016年里可以说是风靡国内量化投资圈,目前整个生态链已经初具规模:交易:vn.py、easytrader、at_py数据:tushare回测:rqalpha在线平台:UQER、RiceQuant、JoinQuant随着用户越来越多,Python语言的性能问题也就逐渐成为整个社区关注的重点,经常遇到新手问:Python写的量化交易程序是不是很慢啊?在他们心中,Pytho... 性能问题Python在2016年里可以说是风靡国内量化投资圈,目前整个生态链已经初具规模:交易:vn.py、easytrader、at_py数据:tushare回测:rqalpha在线平台:UQER、RiceQuant、JoinQuant随着用户越来越多,Python语言的性能问题也就逐渐成为整个社区关注的重点,经常遇到新手问:Python写的量化交易程序是不是很慢啊?在他们心中,Pytho...
- 为什么写这篇文章,主要也是因为看了网易云课堂的一篇软广。「用Python在抖音扒了这些高颜值女神后,突然成了人生赢家」,文中简述了一名工程师利用Python+ADB+鹅厂的AI,一晚上关注了一千多个漂亮小姐姐。充分体现了厂子里的大学生和工人们的不同,这里我不得不说一声×××牛皮...曾经的我也独自一人在那个诺大的工厂思考人生,思考着我该何去何从。记得那时我也靠着刷抖音,度过那段煎熬的日子。只... 为什么写这篇文章,主要也是因为看了网易云课堂的一篇软广。「用Python在抖音扒了这些高颜值女神后,突然成了人生赢家」,文中简述了一名工程师利用Python+ADB+鹅厂的AI,一晚上关注了一千多个漂亮小姐姐。充分体现了厂子里的大学生和工人们的不同,这里我不得不说一声×××牛皮...曾经的我也独自一人在那个诺大的工厂思考人生,思考着我该何去何从。记得那时我也靠着刷抖音,度过那段煎熬的日子。只...
- 鱼和熊掌不可兼得鱼,我所欲也,熊掌,亦我所欲也,二者不可得兼,舍鱼而取熊掌者也。从6月开始写公众号,连着四个月一直尽量保证一周五更,结果整天熬夜搞的身体素质骤降。十一休假决定暂时将公众号放放,好好休息休息恢复运动。然后…连着几天夜跑,本已渐入佳境,可晚上灯光不好跑步把脚崴了,只能开始躺在床上胡吃海塞的颓废生活。节后项目上一些事情比较忙,同事说的好,本应处在被酒色掏空身体的年纪,却硬生生让加班... 鱼和熊掌不可兼得鱼,我所欲也,熊掌,亦我所欲也,二者不可得兼,舍鱼而取熊掌者也。从6月开始写公众号,连着四个月一直尽量保证一周五更,结果整天熬夜搞的身体素质骤降。十一休假决定暂时将公众号放放,好好休息休息恢复运动。然后…连着几天夜跑,本已渐入佳境,可晚上灯光不好跑步把脚崴了,只能开始躺在床上胡吃海塞的颓废生活。节后项目上一些事情比较忙,同事说的好,本应处在被酒色掏空身体的年纪,却硬生生让加班...
- Python是面向对象的编程语言,Python中一切都是对象,函数也不例外。所以,我们可以把函数赋值给变量。通过把内置函数(英文)赋值给中文变量就实现了函数的汉化,顺便也把正则re的函数名也个给汉化一下下: 正则.搜索 = 正则.search。哈哈,汗不汗~ Python是面向对象的编程语言,Python中一切都是对象,函数也不例外。所以,我们可以把函数赋值给变量。通过把内置函数(英文)赋值给中文变量就实现了函数的汉化,顺便也把正则re的函数名也个给汉化一下下: 正则.搜索 = 正则.search。哈哈,汗不汗~
- Tornado是Python 2时代的明星,比起Django的笨重来它更轻巧,赢得了很多人的喜爱,也包括本人。多年前,开始接触Web开发就是从它开始的。到了Python 3 这个异步盛行的时代,Tornado 有些廉颇老矣。虽然它有异步支持,但是各种测试来看,都敌不过后起之秀的强劲。如果你现在想开始web开发,就不要用它了,去拥抱Sanic吧 Tornado是Python 2时代的明星,比起Django的笨重来它更轻巧,赢得了很多人的喜爱,也包括本人。多年前,开始接触Web开发就是从它开始的。到了Python 3 这个异步盛行的时代,Tornado 有些廉颇老矣。虽然它有异步支持,但是各种测试来看,都敌不过后起之秀的强劲。如果你现在想开始web开发,就不要用它了,去拥抱Sanic吧
- 2.requests请求优化 要优化requests.get(timeout=1.5)的超时时间,不设置超时的话,有可能get()请求会一直挂起等待。而且野云主机本身性能就不稳定,长时间不回请求很正常。如果要追求抓取效率,超时时间设置短一点,设置10秒超时完全没有意义。对于超时请求失败的,大不了以后再二次请求,也比设置10秒的抓取效率高很多。 2.requests请求优化 要优化requests.get(timeout=1.5)的超时时间,不设置超时的话,有可能get()请求会一直挂起等待。而且野云主机本身性能就不稳定,长时间不回请求很正常。如果要追求抓取效率,超时时间设置短一点,设置10秒超时完全没有意义。对于超时请求失败的,大不了以后再二次请求,也比设置10秒的抓取效率高很多。
- 分析完后,我就舒缓了很多,得出新的抓取思路,就是: 使用10个账号按一定频次通过APP不停的获取每个用户详细页分享到微信的URL,让另外一个程序模仿微信的user-agent不停的访问这些分享到微信的URL(要使用adsl拨号来解决单个IP访问频率控制问题)。 这样通过app加微信的方式解决了对账号的限制问题,实现了曲线救国。 分析完后,我就舒缓了很多,得出新的抓取思路,就是: 使用10个账号按一定频次通过APP不停的获取每个用户详细页分享到微信的URL,让另外一个程序模仿微信的user-agent不停的访问这些分享到微信的URL(要使用adsl拨号来解决单个IP访问频率控制问题)。 这样通过app加微信的方式解决了对账号的限制问题,实现了曲线救国。
- 这些网站为什么会厚此薄彼呢? 是有些网站想获取SEO流量,就把从搜索引擎点击进入的访问控制放得较为宽松的原因。所以当你遇到如上两个问题时,先改一改referer试试,这样可以节省你不少的研究时间。这适用于有的爬虫是个临时任务或者一次性的爬虫,不用长期维护,你快速写好抓完数据就好的时候适用。 这些网站为什么会厚此薄彼呢? 是有些网站想获取SEO流量,就把从搜索引擎点击进入的访问控制放得较为宽松的原因。所以当你遇到如上两个问题时,先改一改referer试试,这样可以节省你不少的研究时间。这适用于有的爬虫是个临时任务或者一次性的爬虫,不用长期维护,你快速写好抓完数据就好的时候适用。
- 写爬虫有很多苦恼的事情,比如: 1.访问频次太高被限制; 2.如何大量发现该网站的URL; 3.如何抓取一个网站新产生的URL,等等; 写爬虫有很多苦恼的事情,比如: 1.访问频次太高被限制; 2.如何大量发现该网站的URL; 3.如何抓取一个网站新产生的URL,等等;
- 如何抓取? 抓取网页需要入口,需要准备一些关键字,比如:嘉宾介绍、高管介绍,作者简介、公司董事等等关键词借助百度,google,微信,微博等搜索渠道,过滤出可能的网页,然后对这些网页实施抓取和结构化。结构化是超级繁琐的事情。如何抓取? 如何抓取? 抓取网页需要入口,需要准备一些关键字,比如:嘉宾介绍、高管介绍,作者简介、公司董事等等关键词借助百度,google,微信,微博等搜索渠道,过滤出可能的网页,然后对这些网页实施抓取和结构化。结构化是超级繁琐的事情。如何抓取?
- 操作还要快速,因为财报出来后,多空双方的不一致看法很可能几分钟,十几分钟内就会达成一致,必须要在那个时段内操作。这也是我为什么用Python写脚本的原因,因为我们访问国外的网站很慢,甚至还访问不了,要写个脚本去抓财报,快速分析数据。(脚本当然需要能访问那些网站才行) 操作还要快速,因为财报出来后,多空双方的不一致看法很可能几分钟,十几分钟内就会达成一致,必须要在那个时段内操作。这也是我为什么用Python写脚本的原因,因为我们访问国外的网站很慢,甚至还访问不了,要写个脚本去抓财报,快速分析数据。(脚本当然需要能访问那些网站才行)
- 一键发布技术可以运用在很多事情中,比如一键发布视频到多个视频网站;一键发布活动到多个活动报名平台,一键发布旅游攻略到多个旅行网站,只要那个行业存在多个同类公司,就有可能衍生出一键发布需求。 一键发布技术可以运用在很多事情中,比如一键发布视频到多个视频网站;一键发布活动到多个活动报名平台,一键发布旅游攻略到多个旅行网站,只要那个行业存在多个同类公司,就有可能衍生出一键发布需求。
上滑加载中
推荐直播
-
Skill 构建 × 智能创作:基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟,华为云软件研发工程师/万邵业(万少),华为云HCDE开发者专家
本次直播带来两大实战:华为云码道 Skill-Creator 手把手搭建专属知识库 Skill;如何用码道提效 OpenClaw 小说文本,打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路,一次讲透!
回顾中 -
码道新技能,AI 新生产力——从自动视频生成到开源项目解析2026/04/08 周三 19:00-21:00
童得力-华为云开发者生态运营总监/何文强-无人机企业AI提效负责人
本次华为云码道 Skill 实战活动,聚焦两大 AI 开发场景:通过实战教学,带你打造 AI 编程自动生成视频 Skill,并实现对 GitHub 热门开源项目的智能知识抽取,手把手掌握 Skill 开发全流程,用 AI 提升研发效率与内容生产力。
回顾中 -
华为云码道:零代码股票智能决策平台全功能实战2026/04/18 周六 10:00-12:00
秦拳德-中软国际教育卓越研究院研究员、华为云金牌讲师、云原生技术专家
利用Tushare接口获取实时行情数据,采用Transformer算法进行时序预测与涨跌分析,并集成DeepSeek API提供智能解读。同时,项目深度结合华为云CodeArts(码道)的代码智能体能力,实现代码一键推送至云端代码仓库,建立起高效、可协作的团队开发新范式。开发者可快速上手,从零打造功能完整的个股筛选、智能分析与风险管控产品。
回顾中
热门标签