Centos上跑Python爬虫遇到的一些问题

最近在写爬虫的时候遇到了一些神奇的问题,明明在本地的系统上跑的好好的,丢到服务器上就出现各种神奇的错误,这里总结一下,备忘

» 阅读全文

如何正确的使用动态VPS(Linux)自动更换IP

现在越来越多的人开始玩网赚项目,蚂蚁再小也是肉,薅羊毛的羊毛党越来越多,一些网赚项目也越来越受欢迎,但是一般的网赚项目都是要求真实用户的,所以要想获得大量的真实ip,一种动态VPS就诞生了,动态VPS采用PPTP或者ADSL拨号的方式获取动态IP,不仅可以做到获取区域性IP,还可以混拨,也就是可以获取全国各地的IP地址,这样对于网赚项目来说就非常好了,轻松模拟出来各种地区IP,达到赚钱的目的。

博主最近接到一单,编写自动化拨号脚本,自动切换动态VPS的外网IP实现自动化网赚,今天就记录下动态VPS的配置以及使用的姿势。

» 阅读全文

为什么我的博客主要区域只有1240px宽度?

哈哈,忽然有朋友问到这个问题,觉得很清奇,那我就回答一下吧。

因为我家里的台式机显示器是17寸的Acer,最大分辨率1280*1024,我习惯在家敲文字,所以就把博客改成了1240宽度。

这套博客系统原本最大宽度是1024px,博客系统比较老,那个年代确实是需要1024px宽度来兼容小屏幕,而且这套博客系统是不支持响应式的。

现在这个动不动就是2k、4k、1080P的时代,也该升级下宽度了,等我家里的那台17寸显示器退休了我可能就会改成更大宽度,阅读起来也会好点。

也或者我有时间了,改成响应式,前提是我有空。

我倒是觉得现在简洁一点更好。

写写我的2013-2017

偶尔来我博客逛逛的朋友们应该看得出来,最近几个月我都没有怎么更新博文,我在百度统计上稍微看了下,每天的IP访问量基本稳定在100左右,稍微有些下滑。当然了,这里大部分还是来自蜘蛛或者爬虫,毕竟nginx的日志会告诉我真相,谷歌的蜘蛛是最勤快的,每天都要爬很多次,其次就是一些采集的爬虫。

最近确实是因为太繁忙,少有时间写东西,每次想起来要动手敲几行文字,又觉得可能会被其他事情打扰,索性先处理其他事情,结果就是一拖再拖,迟迟没有起笔。

» 阅读全文

博客增加https支持

之前一直想把博客加个https,无奈一直找不到免费的ssl证书,前段时间发现国内各种机构都开始提供免费的ssl证书了,虽然只有一年,但是够用。

于是在腾讯云上申请了免费的ssl证书,腾讯云的优点就是不限制申请的域名个数,而且域名有没有备案都行,如果有多个域名就可以申请多个免费的证书了,比较良心,证书用的是亚洲诚信的证书。

阿里云的免费证书限制比较多,但是证书使用的是赛门铁克的证书,看起来比较厉害。

昨天看了下,七牛云存储也提供免费的ssl证书,同时支持上传自己的ssl证书实现对象存储的https,这一点相对阿里云的oss来说还是比较智能一点。

解决Python 2.7.x 使用Requests发起https请求时报Warning的问题

使用Python写小爬虫是一件非常快乐的事情,现在越来越多的网站使用的是https安全链接,但是在使用requests请求https网站的时候会提示一大堆的warning,这虽然不会影响功能,但是看起来还是非常不友好的。

今天咱们就来解决这个问题。

» 阅读全文

使用Python写一个转存纯真IP数据库的脚本

好久没写文,有点生疏了。

这一两个月项目实在是繁忙,基本上每天晚上都得加班到好晚,几乎挤不出来时间写东西。

昨天项目基本上算是上线成功了,历时一个月的重构、优化、调试、对接后端接口,新加入一个团队需要磨合,遇到的问题也非常多。

项目开发中遇到的问题都是些小问题,我会整理到博客,今天来写写我自己Python小工具。

» 阅读全文

我为什么不用Django而用Flask?

对于初学者来说,找到一个好的框架来学习或者项目开发都是非常有必要的,而当你有一定开发经验后,你应该选择适合当前业务需要的框架。

» 阅读全文

修改路由器的DNS后我做了什么?

我在比较早的时候写过一篇文章,说到我连接wifi之后都做了什么,主要目的是想说明局域网内部安全的脆弱。今天来说说路由器一旦被攻陷,将会带来怎样的危害,这里我只想讲讲外网攻击路由器的思路。

» 阅读全文

阿里云快速部署Flask应用

 flask + gunicorn + Nginx + supervisor部署 Python Flask 应用,就是这么简单粗暴!

» 阅读全文

Python 中如何防止sql注入

web漏洞之首莫过于sql了,不管使用哪种语言进行web后端开发,只要使用了关系型数据库,可能都会遇到sql注入攻击问题。那么在Python web开发的过程中sql注入是怎么出现的呢,又是怎么去解决这个问题的?

» 阅读全文

开发中的命名规范之Python

文章来源:http://www.cnblogs.com/wangcp-2014/p/4608265.html

» 阅读全文

使用ZoomEye批量快速攻击目标

zoomeye 是一个针对网络空间的搜索引擎”这是ZoomEye官方(知道创于安全实验室)给予的定义,其功能与shodan.io类似,但其各自的侧重点又有所不同。之前我写过一篇关于shodan的文章,传送门“使用shodan的api(Python)”,那时候ZoomEye的功能还相当简洁,经过2年的发展,其搜索深度以及数据量已经媲美shodan.io

» 阅读全文

回家过年住汉庭

背景

去年住的时候还挺不错,空调可以制热,毕竟新开的,装修新,而且价格不贵,就是偏僻了点。

今年本来打算定7天的,但是一看春节期间的价格翻了一倍,而汉庭没有涨价,然而......是我太年轻

问题

首先是押金问题,去年住的时候是用的阿里旅行的信用住,当然是免押金。今年同样用的信用住,被告知需要100押金。我瞬间就懵逼了,以前不要的啊,再说了,我特么刚下火车,在这么偏僻的地方连个银行都没有,身上没有现金,问能不能刷卡,前台说押金不能刷卡,不能支付宝,不能微信...

好嘛...问前台哪里有银行,前台表示懵逼...最后前台说留个手机号码也行,好,总算是住进来了,大晚上的冻死了快。

拿了房卡把空调看起来,然而,空调并没有制热功能,我擦嘞,去年有啊...好,关好窗户还算凑合,毕竟自己衣服穿的多。

想去洗把脸,发现特喵的没热水?逗我吗?把卫生间的淋浴开起来放了5分钟依然还是冰水....这....难道大冬天的我要洗冷水澡吗?

电话到前台问这家酒店是不是不提供热水(想着要么换个房间,要么退房...)。前台告知说刚刚叫人去修了....我擦嘞....

好,等了半个小时去开终于有了热水....

看了会电视,想刷下朋友圈什么的,连上wifi发现网速奇慢无比,图都出不来,想愉快的发个图装个逼都不行,怒开笔记本,然后...

Bypass Ruijie EG2000CE For Hanting...

截图

webwxgetmsgimg.png - 大小: 102.94 KB - 尺寸:  x  - 点击打开新窗口浏览全图

总结

我可能住的是假汉庭....

很久没写文了,发个文证明我还在

距离上一篇博文已经过去两个多月了,工作确实繁忙,有时候研究一个东西真心耗时间,一看就是两个月,苦逼的程序猿,苦逼的生活。

» 阅读全文

CentOS7安装MySQL-python出错

Python在写一些简单存储的小应用时,一般采用文本存储或者sqlite3就可以了,但是一旦需要遇到大量数据的存储和查询的时候,使用文本和sqlite3就显得力不从心了,存储查询的速度明显变慢,这个时候可以选择使用mysql数据库来存储,Linux下面安装MySQL-python可能会遇到这些问题。

» 阅读全文

php正确处理照片的旋转 (orientation) 问题

iPhone和一些数码相机在拍照的时候往往会在图片里面加入很多的照片信息(exif),比如拍照时间、光圈大小、曝光时间、GSP地理信息以及拍摄时相机倾斜状态等等,这些信息往往会提供给某些系统来对图片进行正确的显示,但是我们在对处理图片的时候通常会丢失掉那些图片信息,这就会导致显示出现问题,很典型的一个显示错误就是对Iphone拍摄的照片进行剪裁之后发现图片旋转了90度,这个时候就需要对图片进行相应的处理。

» 阅读全文

大量vstarcam(威视达康)家用摄像头使用了默认弱口令

vstarcam远程监控摄像头是一款家用的监控设备,官网地址 http://www.vstarcam.cn/,这款设备使用了admin/888888作为默认口令,通过扫描可以发现互联网上大量的设备都存在使用默认口令的问题。

» 阅读全文