这两天检查了下nginx日志,发现已经有一些异常log,估计是爬虫。直接升级了下 API 接口,将主要的两个请求blog数据的API数据直接通过 Base64 处理一次。
data: {
author: "root"
body: "2019年5月7日,博客网站正事上线,开发时间整整一周,在此纪念一下。↵↵这篇博文主要会对此博客网站的开发技术做一个简单的介绍,下面开始切入正题。
..."
create_time: "2019-05-07 22:15:31"
language: "en"
tag: ""
title: "2019.5.7"
type: ""
update_time: "2019-05-10 16:29:22"
_id: "aec370d4eadf0a6e64a68f32c2d6546c"
}
msg: ""
page: {}
status: 1
data: "eyJfaWQiOiAiYWVjMzcwZDRlYWRmMGE2ZTY0YTY4ZjMyYzJkNjU0NmMiLCAidGl0bGUiOiAiMjAxOS41LjciLCAiYm9keSI6ICIyMDE5XHU1ZTc0NVx1NjcwODdcdTY1ZTVcdWZmMGNcdTUzNWFcdTViYTJcdTdmNTFcdTdhZDlcdTZiNjNcdTRlOGJcdTRlMGFcdTdlYmZcdWZmMGNcdTVmMDBcdTUzZDFcdTY1ZjZcdTk1ZjRcdTY1NzRcdTY1NzRcdTRlMDBcdTU0NjhcdWZmMGNcdTU3MjhcdTZiNjRcdTdlYWFcdTVmZjVcdTRlMDBcdTRlMGJcdTMwMDJcblxuXHU4ZmQ5XHU3YmM3XHU1MzVhXHU2NTg3XHU0ZTNiXHU4OTgxXHU0ZjFhXHU1YmY5XHU2YjY0XHU1MzVh
2ODRcdTY2MmZBV1NcdTMwMDJBV1NcdTMwMDEgR29vZ2xlIENsb3VkIFx1NjIxNlx1ODAwNSBcdTRlMDBcdTRlOWJcdTVjMGZcdTU3OGJcdTc2ODQgVlBTIFx1OTBmZFx1NTNlZlx1NGVlNVx1ZmYwY1x1NzcwYlx1NGUyYVx1NGViYVx1NTU5Y1x1NTk3ZFx1MzAwMlxuXHU1NzI4XHU2YjY0XHU0ZTBkXHU2M2E4XHU4MzUwXHU5NjNmXHU5MW
NjXHU0ZTkxXHU4ZmQ5XHU3YzdiXHU0ZTJkXHU1NmZkXHU1OTI3XHU5NjQ2XHU3Njg0XHU1MTZjXHU2NzA5XHUDBcdTdiYzdcdTRlMTNcdTk4OThcdTUwNWFcdTRlY2JcdTdlY2RcdWZmMGNcdTU3MjhcdTZiNjRcdTVjMzFcdTRlMGRcdThiZTZcdTdlYzZcdThiZjRcdTY2MGVcdTRlODZcdWZmMGNcdTdiODBcdTUzNTVcdTYzZDBcdTRlMGJcdTc1MjhcdTUyMzBcdTc2ODRcdTRlMDBcdTRlOWJcdTVlOTNcdTMwMDJcbi0gcmVhY3Rcbi0gZm9ydGF3ZXNvbWVcdTYyYTRcdThmZGJcdTdhMGJcdTMwMDJcblxuXHU2NTc0XHU0ZTJhXHU5ODc5XHU3NmVlXHU0ZWNlXHU4Z
...
DJkXHU0ZTcwXHU1N2RmXHU1NDBkXHU1MjMwXHU2NzAwXHU3ZWM4XHU0ZTBhXHU3ZWJmXHU0ZWNiXHU3ZWNkXHU1YjhjXHU2YmQ1XHVmZjFhW2FydGh1cm5vbmUuY29tL10oaHR0cDovL2FydGh1cm5vbmUuY29tKSIsICJ0eXBlIjogIiIsICJ0YWciOiAiIiwgImxhbmd1YWdlIjogImVuIiwgImF1dGhvciI6ICJyb290IiwgImNyZWF0ZV9
0aW1lIjogIjIwMTktMDUtMDcgMjI6MTU6MzEiLCAidXBkYXRlX3RpbWUiOiAiMjAxOS0wNS0xMCAxNjoyOToyMiJ9"
msg: ""
page: {}
status: 1
添加了 Base64 后, 获取的数据无法直接使用, 需要转换一下, 转的方式其实很简单。 不过实际上,大部分爬虫都是比较低级的。 所以这种个人小站, 添加一个 Base64 和 User-Agent, Referer 验证,就足够用。
缺点
由于数据都被处理过了,不利于搜索引擎抓取, 不过我没那个需求, 就无所谓了。