技术解放双手——使用爬虫爬取FC2的资源

喀秋莎 2021-10-13 8417

引自:分享一个自己写的FC2资源爬虫小工具

作用:
用于搜索最近已有的fc2磁链资源并形成网页列表的傻瓜式小工具,方便自行选择下载
思路:
fc2和nyaa站这两个宝地,资源多,品种丰富,但是nyaa站的资源大多都没放预览图而且很多资源有重复传种,想要找个心仪的资源还得逐个翻番号去官网看,不太方便。于是写了这么个小工具。自动爬取nyaa站fc2搜索词下的前n页资源,然后用资源的番号去官网对应页面下载预览图,最后本地生成个网页,方便自行检索。写完后给几个兄弟试用了下,感觉还行,今天bus站又刚好能发帖了,于是顺手分享一下。

PS:这个工具,不需要编程基础,不需要自建网站后台,生成和获取的数据都是到手可用的。但是得自备梯子。

使用方法(仅适合windows 10环境,win7需要自行安装环境包):

1.下载FC2freelistver1.3.zip.001和FC2freelist ver1.3.zip.002并解压缩到任意位置

得到上面这一堆东西,主要的就是标红框的文件,几个py结尾的是源代码,如果不需要可以删除

2.在config.ini选择是否代理及是否下载预览原图(选填,不更改将使用默认配置运行)
双击用记事本打开config.ini文件,把文件中的红框1,2改成自己爬墙软件的代理端口,如果不知道,可以试下把红框3的内容改成no,爬墙软件的代理模式改为全局


3.双击FC2freelist.exe→输入3,回车→等待爬虫程序爬完所需资源(速度快慢由您的网络环境决定)
 
4.打开home.html→选择文件(./data/FC2_ALL.xlsx)→enjoy

2021.10.11 :修改config.ini后仍无法识别的bug已经修复,重新下载即可

闲里做出来的小工具,基本满足自己的需求,之后就应该不怎么会更新了。整个工程的无后端版源代码都已经放出来了,如果各位大佬有需要可以自行新增修改代码哈,无需授权和转载的。

下载地址:https://github.com/FOOLISHcode/FC2-FREE-list

感悟:喀秋莎的技术能力只有GHS时才有突飞猛进。
我在上班,别发骚图了。
最新回复 (12)
  • 顾忆沙仁 2021-10-13
    0 2
    undefined
    这个人很懒,什么也没有留下!
  • 喵呜 2021-10-13
    0 3
    喀秋莎的奇怪技能又变多了喵~
    心境变化总能从近期喜欢的音乐表现出来喵~
  • 涙がtears 2021-10-13
    0 4
    undefined
    北纬三十度的黑
  • 麟载 2021-10-13
    0 5
    感觉挺好,赞了
    一个路过的老帅气
  • 联盟X 2021-10-13
    0 6
    喀秋莎又进化了
    匡扶汉室!
  • 革子令 2021-10-13
    0 7
    有H情节吗
    我好喜欢病娇
  • Roogle 2021-10-14
    0 8
    NB,不过最好是番号和封面图直接对应,存入数据库,然后下次检索就更方便了
    混乱思考家,脑里全浆糊!
  • 喀秋莎 2021-10-14
    0 9
    Roogle NB,不过最好是番号和封面图直接对应,存入数据库,然后下次检索就更方便了
    那个home.html实现的就是这个功能。
    我在上班,别发骚图了。
  • Mizuki 2021-10-14
    0 10
    紧急避孕
    这个人什么也没有留下!
  • 云叠梦 2021-10-16
    0 11
    Minecraft玩家
  • 88926518 2022-2-6
    0 12
    undefined
    这个人很懒,什么也没有留下!
  • 堕落的羽翼 2022-2-14
    0 13
    Pythona爬东西挺好用的undefined
    污秽的人间,终将被太阳的闪耀所净化。
    • ACG里世界
      14
          
返回
发新帖