[Pxder] Pixiv 插画下载器

中二病患者：神代綺凜
发布时间：August 24, 2018
107713 views
276 comments
873 字数
Categories：个人项目

可按根据指定画师 UID 解析并下载插画（包括动图）、一键下载所有你关注的画师的插画或收藏的插画、智能增量更新下载过的画师的插画。

多线程下载，并且支持使用 HTTP 与 SOCKS 代理。

Head Pic: 「五河琴里」/「秋原ノゾミ Sheila」のイラスト [pixiv]

Pxder

运行示例

因为 OX163 解析过慢，功能也不多，并且是龟速单线程下载；而一些油猴解析脚本例如 Pxer 因为浏览器权限原因只能解析而不能帮你下载，于是最终我还是决定自己写个 _(:3」」

此项目基于 Node.js，姑且算自己学习的副产物~~（实际上是不务正业的产物~~

最大的缺点是没有 GUI，纯命令行操作，不过也并不难用~~（信我）~~，GUI 在后续开发计划中（咕咕咕

安装及使用等说明请直接看 Github 项目文档

注意

因P站域名遭到 GFW 的 SNI 阻断，这意味着只要你在大陆内，即便你改了 Hosts 也无法直接使用 pxder，请记得使用pxder --setting设置代理

从现在开始所有在评论中询问因未挂代理而产生的问题都将会被无视

TODO

开发 GUI

版权声明：本文为原创文章，版权归神代綺凜所有。
本文链接：https://moe.best/projects/pxder.html
所有原创文章采用知识共享署名-非商业性使用 4.0 国际许可协议进行许可。
您可以自由的转载和修改，但请务必注明文章来源并且不可用于商业目的。

搬瓦工VPS优惠套餐，建站稳如狗，支持支付宝，循环出账94折优惠码BWH3HYATVBJW
年付$47，CN2线路，1核/1G内存/20G硬盘/1T@1Gbps【点击购买】（$28套餐已经不再销售）
年付$47，CN2 GIA线路，1核/512MB内存/10G硬盘/500G@1Gbps【点击购买】（可能已售罄）

Last modification：March 1st, 2020 at 08:03 pm

If you think my article is useful to you, please feel free to appreciate

276 comments

GAted0 (Windows 10 x64 Edition) / (Google Chrome 83.0.4103.61)
2020-06-05 11:08 pm

希望可以增加批次下载，收藏的图片过多，容易报错，希望可以每1000张为一段下载，分批次下载

Reply
akrai (Android 10) / (Google Chrome 57.0.2987.108)
2020-04-29 10:50 am

把压缩包文件转换为webp这种新格式的动态图如何，我自己手动转换了一下webp格式比原图甚至要少一半的空间，而且是无损的

Reply
1. 神代綺凜中二病患者 (Windows 10 x64 Edition) / (Google Chrome 81.0.4044.113)
  2020-04-29 08:02 pm
  
  @akrai 会安排在计划中
  
  Reply
2. akrai (Android 10) / (Google Chrome 57.0.2987.108)
  2020-04-29 10:56 am
  
  @akrai 真的是相当的amazing啊
  
  Reply
花火 (Windows 10 x64 Edition) / (Microsoft Edge 18.18363)
2020-04-18 07:24 pm

谢谢分享

Reply
Cloudiver (Windows 7 x64 Edition) / (Google Chrome 79.0.3945.117)
2020-03-22 03:08 pm

谢谢分享, 软件挺方便的.
但是发现了一个问题, pxder -u xx , 下载的插画作品不全
264932 这个ID下应该有60+插画, 但是最后只下载了30几个

Reply
1. 神代綺凜中二病患者 (Windows 10 x64 Edition) / (Google Chrome 80.0.3987.149)
  2020-04-05 12:38 pm
  
  @Cloudiver 并没有呀，正常的，该画师目前共有 115 个作品，下载器算 p 一共 154p
  
  Reply
  1. Cloudiver  (Windows 7 x64 Edition) / (Google Chrome 79.0.3945.117)
    2020-04-08 10:11 pm
    
    @神代綺凜
    我下载是这样的33p
    
    Reply
    
    神代綺凜中二病患者  (Windows 10 x64 Edition) / (Google Chrome 80.0.3987.163)
    2020-04-08 10:21 pm
    
    @Cloudiver 检查下你的帐号是否在设置中限制了浏览 R18 作品，我发现你解析出来的没有 R18 作品
    
    如果允许后仍然没有改善，那我也不清楚原因了
    
    Reply
    
    Cloudiver  (Windows 7 x64 Edition) / (Google Chrome 79.0.3945.117)
    2020-04-08 10:44 pm
    
    @神代綺凜 谢谢，可以了。
    
    Reply
2. 云梦影 (Windows 10 x64 Edition) / (Google Chrome 78.0.3904.108)
  2020-03-27 09:23 am
  
  @Cloudiver 我也遇到了相同的情况唉，我发现下载的作品数量和未登录时展示的插画数量一样？登陆之后就会显示更多，但是我在pxder里面已经显示登陆成功了啊
  
  Reply
星星星殒 (Windows 10 x64 Edition) / (Opera 66.0.3515.44)
2020-03-19 08:13 pm

大佬，请问能否增加一个选择原图的设置选项…现在下的都是压过的jpg

Reply
1. 神代綺凜中二病患者 (Windows 10 x64 Edition) / (Google Chrome 80.0.3987.132)
  2020-03-19 08:21 pm
  
  @星星星殒 怎么个压法，这不是原图？
  
  Reply
  1. 星星星殒 (Windows 10 x64 Edition) / (Opera 66.0.3515.44)
    2020-03-19 10:21 pm
    
    @神代綺凜 抱歉抱歉，是p站本身没存高清图…高清版本png应该大多是别的渠道获取的
    
    Reply
    
    神代綺凜中二病患者 (Windows 10 x64 Edition) / (Google Chrome 80.0.3987.132)
    2020-03-19 10:52 pm
    
    @星星星殒 fanbox 吧，赞助画师即得高清原图
    
    Reply
叶月千夏 (Windows 7 x64 Edition) / (Google Chrome 69.0.3497.100)
2020-03-01 07:32 pm

大佬。下的动图是ZIP格式怎么处理啊。。

Reply
1. 神代綺凜中二病患者 (Windows 10 x64 Edition) / (Google Chrome 80.0.3987.122)
  2020-03-01 08:14 pm
  
  @叶月千夏 P站的动图原本就是按帧播放静止画，而不是 GIF，下下来的 ZIP 里面包含了所有帧
  
  你愿意的话可以自行用 ffmepg 处理成 GIF，该处理方法目前还未做到程序中
  
  Reply
  1. coder-sakura  (Windows 10 x64 Edition) / (Google Chrome 70.0.3538.25)
    2020-03-06 11:15 pm
    
    @神代綺凜 关于动图合成方面的一些建议和代码(python)
    1.目前我已经用python实现的动图的合成。当然仅限于每张图片停留时间一致的动图，不同时间的尚待处理。我也非常期待能在新版本中能看到这个。
    
    2.下面是我的代码，也有可能是我自作多情，作者早就做出来了，只是并未更新而已，不过能分享自己的代码是件令人快乐的事。
    
    # 动图信息的获取接口 zip_url = 'https://www.pixiv.net/ajax/illust/{}/ugoira_meta'.format(pid) # http请求,获取到接口返回的信息 zip_resp = requests.get(zip_url).text # json格式化 zip_json = json.loads(zip_resp) # 获取压缩包地址 zip_originalSrc= zip_json["body"]["src"] # 获取第一张图片的停留时间并计算出帧率 # key:frames对应的是每张图片的停留时间,0则是第一张,以此类推 # 因为在使用imageio(python处理图像的一个第三方库)出现了异常,所以我折中进行了这样的处理 # 这让我很头疼,原因尚未查明. # 转换停留时间为合成gif的帧率 delay = 1/(zip_json["body"]["frames"][0]['delay']/1000) # ...... # 下载zip的http代码和解压zip的io代码略过 # ...... # 如果没记错的话,解压出来的是jpg格式 # 之前曾尝试过强转png格式 # 但是图片质量没有多大变化,但大小却提高很多 # gif_name:gif名称 gif_name = folder_id + '.gif' # 用来存储需要合成gif的图片的文件流的一个列表 frames = [] # 获取解压目录下所有待合成图片 files = os.listdir(zip_path) # 做一个简单循环,将所有待合成图片以io形式打开,并逐个添加到上面的frames中 for image_num in range(1,len(files)): frames.append(imageio.imread(files[image_num])) # 使用imageio快速转化gif格式 # 参数分别是: gif名称,待合成流的列表,类型(GIF),fps也就是帧率 imageio.mimsave(gif_name, frames, 'GIF', fps = delay) # 间隔 # 到这里已经完成动图的合成了 # 剩下的工作就是删除压缩包和解压的图片了
    
    3.个人是做测开和一部分爬虫工作 , 也搭建了博客 , 使用的是hexo的next主题 , 相比于作者的博客就不献丑了.
    说到底 , 我只是在前人的道路上行走 , 本着分享的精神展示自己的代码 , 但愿代码能给你提供思路解决问题 , 多少从作者这收益 , 希望能提供到帮助.
    
    Reply
    
    coder-sakura  (Windows 10 x64 Edition) / (Google Chrome 70.0.3538.25)
    2020-03-06 11:18 pm
    
    @coder-sakura 刚回复完, 看到代码样式真是吓了一跳.
    
    1.补充下需要导入的库
    import requests
    import json
    import zipfile
    import imageio
    import os
    分别是http请求,json处理,zip处理,图片处理,文件系统处理模块
    
    Reply
    
    神代綺凜中二病患者  (Windows 10 x64 Edition) / (Google Chrome 80.0.3987.132)
    2020-03-06 11:48 pm
    
    @coder-sakura 由于自己魔改的原因，要刷新一下页面才会出正常的代码高亮（
    
    转 gif 的功能其实我有做过，但是 gif 成品大小和质量实在无法让人满意，所以最终没有放入程序中，你可以看下这个 issue
    
    后来和大家讨论的结果是用 ffmpeg 来做是比较优雅的，而且可以满足转 gif 和 mp4 两种需求，不过暂时还没做，最近也不太想做
    
    总之感谢分享
    
    Reply
流毒 (Windows 10 x64 Edition) / (Opera 66.0.3515.72)
2020-02-15 03:14 pm

大佬你好，我自作主张修改了一些代码，我想说下大致修改
用一个变量储存当前下载的作者uid，缓存目录下根据uid创建文件夹，图片先下载到这个文件夹，
下载完之后删除缓存目录+'/'+uid
每次开始下载时判断是否存在缓存目录+'/'+uid这个文件夹，如果存在则continue;跳过，
这样实现了程序多开同时下载
最后我加了个tmpjson的写入，每次获取关注就写入一次，
就不用因为没有一次性获取完没有把tmpjson写入而导致重新获取
其他的简单的修改就是我改了下线程限制，我觉得32线程太少了，我改成上限320,默认64了
（描述的不够详细的话可以回复我，我录制使用视频）

Reply
1. 流毒 (Windows 10 x64 Edition) / (Opera 66.0.3515.72)
  2020-02-15 03:21 pm
  
  @流毒
  该评论仅登录用户及评论双方可见
  
  Reply
流毒 (Windows 10 x64 Edition) / (Opera 66.0.3515.72)
2020-02-08 11:12 pm

TypeError: data.user_previews is not iterable
at addToFollows (C:\Users\86243\AppData\Roaming\npm\node_modules\pxder\src\index.js:202:31)
at runMicrotasks ()
at processTicksAndRejections (internal/process/task_queues.js:94:5)
at async PixivFunc.getMyFollow (C:\Users\86243\AppData\Roaming\npm\node_modules\pxder\src\index.js:214:4)
at async PixivFunc.getAllMyFollow (C:\Users\86243\AppData\Roaming\npm\node_modules\pxder\src\index.js:249:21)
at async PixivFunc.downloadFollowAll (C:\Users\86243\AppData\Roaming\npm\node_modules\pxder\src\index.js:302:4)
at async C:\Users\86243\AppData\Roaming\npm\node_modules\pxder\bin\pxder:71:22

Reply
1. 神代綺凜中二病患者 (Windows 10 x64 Edition) / (Google Chrome 80.0.3987.87)
  2020-02-09 08:12 pm
  
  @流毒 是不是没有关注啊……
  
  Reply
2. 流毒 (Windows 10 x64 Edition) / (Opera 66.0.3515.72)
  2020-02-08 11:13 pm
  
  @流毒 重新安装了pxder也是这样orz
  
  Reply
小千东 (Windows 10 x64 Edition) / (Google Chrome 79.0.3945.130)
2020-02-02 10:32 pm

大佬，可不可以增加一个功能：按照pid大量下载图片时，若是画师已经删除了作品，就会跳过这个pid（现在只要pid里存在删除的作品就不会执行下载，很不方便）MK

Reply
1. 神代綺凜中二病患者 (Windows 10 x64 Edition) / (Google Chrome 79.0.3945.130)
  2020-02-03 12:58 am
  
  @小千东 已在 v2.7.8 修复
  
  Reply
  1. 小千东 (Windows 10 x64 Edition) / (Google Chrome 79.0.3945.130)
    2020-02-03 10:01 am
    
    @神代綺凜 感谢
    
    Reply
Rorical (Windows 10 x64 Edition) / (Google Chrome 78.0.3904.87)
2020-01-18 04:15 pm

不知道大佬用的什么接口，但是好像可以用IP访问到app-api.pixiv.net(目前210.140.131.223)，所以能不能直接改DNS?
目前我从https://tools.ipip.net/dns.php获取到真实IP

Reply
1. 神代綺凜中二病患者 (Windows 10 x64 Edition) / (Google Chrome 79.0.3945.117)
  2020-01-18 04:29 pm
  
  @Rorical 可以，你可以直接用一个无污染的 DNS，或者改 hosts 210.140.131.223 app-api.pixiv.net
  
  现状是www.pixiv.net有污染和阻断，app-api.pixiv.net只有污染，i.pximg.net正常，pxder 只需要连接app-api.pixiv.net和i.pximg.net，只要保证app-api.pixiv.net的 DNS 解析正常即可
  
  Reply
MoeFox (Windows 10 x64 Edition) / (Google Chrome 71.0.3578.98)
2019-12-08 12:34 pm

你好大佬，我在国外为什么用户名跟密码是正确的却提示出Login fail! Please check your input or proxy setting.？

Reply
1. 神代綺凜中二病患者 (Windows 10 x64 Edition) / (Google Chrome 78.0.3904.108)
  2019-12-08 12:41 pm
  
  @MoeFox 我刚试了登陆没有问题，用户名写邮箱
  
  Reply
ouroboros (Windows 10 x64 Edition) / (Google Chrome 78.0.3904.108)
2019-12-02 05:29 pm

大佬，我今天下载的时候，几次都是给了我
error: {
user_message: '',
message: 'Rate Limit',
reason: '',
user_message_details: {}
怎么办？
我uid只有957，不够5000

Reply
1. brmkai (Windows 10 x64 Edition) / (Sogou Explorer)
  2019-12-25 10:43 pm
  
  @ouroboros 亲，这边建议你路由器贴脸，或者换家代理φ(￣∇￣o)
  
  Reply
  1. ouroboros (Windows 10 x64 Edition) / (Google Chrome 79.0.3945.88)
    2019-12-30 10:09 am
    
    @brmkai 我本人就在墙外，以前都可以下载但是就是从12开头到现在都没法用。
    
    Reply
AN (Windows 10 x64 Edition) / (Google Chrome 78.0.3904.108)
2019-11-28 06:19 pm

你好,今日用pxder -F時出現以下,請問如何解決?謝謝

Download Path: I:\PIXIV
SyntaxError: C:\Users\1\AppData\Roaming\pxder\private.json: Unexpected end of JSON input
at JSON.parse ()
at Object.Module._extensions..json (internal/modules/cjs/loader.js:799:27)
at Module.load (internal/modules/cjs/loader.js:641:32)
at Function.Module._load (internal/modules/cjs/loader.js:556:12)
at Module.require (internal/modules/cjs/loader.js:681:19)
at require (internal/modules/cjs/helpers.js:16:16)
at PixivFunc.downloadFollowAll (C:\Users\1\AppData\Roaming\npm\node_modules\pxder\src\index.js:307:20)
at C:\Users\1\AppData\Roaming\npm\node_modules\pxder\bin\pxder:72:41
at processTicksAndRejections (internal/process/task_queues.js:89:5)

Reply
1. 神代綺凜中二病患者 (Mac OS X) / (Safari)
  2019-11-28 06:32 pm
  
  @AN 用pxder --conf-loca得到数据目录，进去删掉private.json
  
  可能是程序之前在写缓存的时候出错了还是怎么导致 json 有问题，我回头加个错误处理
  
  Reply
LYM (Windows 10 x64 Edition) / (Google Chrome 78.0.3904.108)
2019-11-24 03:19 pm

大佬想问下会出批量下载Pixivision专辑的功能咩

Reply
1. 神代綺凜中二病患者 (Windows 10 x64 Edition) / (Google Chrome 78.0.3904.108)
  2019-11-24 04:07 pm
  
  @LYM 不会，实际上我自己现在下载需求都不大了，甚至想摸
  
  Reply
  1. LYM (Windows 10 x64 Edition) / (Google Chrome 78.0.3904.108)
    2019-11-24 05:27 pm
    
    @神代綺凜
    
    Reply
fluquormyosotis (Android 9) / (Google Chrome 57.0.2987.108)
2019-11-12 02:00 am

我最近几天才知道pxder才开始用，遇到了许多因为不了解出现问题，所以一下子说了好多。
然后我还有要说的，我用nobup也好，screen也罢都不能真正意义上挂后台，ssh软件关了就停止了，明明sslocal，webssh用nohup就能一直运行。pxder用同样方法还是不能保持运行（所以我想到的方法竟然是搭建webssh，再docker搭建个oldiy的谷歌浏览器运行webssh运行pxder，，，，）

Reply
1. 神代綺凜中二病患者 (Mac OS X) / (Safari)
  2019-11-12 02:16 am
  
  @fluquormyosotis 请用nohup <command> &，单纯的 nohup 是没有用的，或者直接用 screen
  
  Reply
fluquormyosotis (Android 9) / (Google Chrome 57.0.2987.108)
2019-11-12 01:21 am

dalao能否支持pxder解析多线程，就是同时解析几个画师的作品列表，因为解析完作品列表才能开始下载，会产生下载的空闲，而且有时候出现一些小问题，暂时的连接出错，或者是最后一张图片下载完了留在tmp不能解析下一个作者就停下来了，，另外，这个博客写评论的特效有点意思|´・ω・)ノ

Reply
1. 神代綺凜中二病患者 (Mac OS X) / (Safari)
  2019-11-12 02:14 am
  
  @fluquormyosotis 不会支持解析多线程，由于查重机制的限制，并发解析会带来一系列复杂的问题
  
  Reply
半岁音书 (Windows 10 x64 Edition) / (Google Chrome 77.0.3865.120)
2019-10-27 06:08 pm

我已经设置代理了但是还是登录失败[5] Proxy socks://127.0.0.1:1080小飞机也确定打开并打开了允许局域网连接还确定本地端口的确是1080而且密码和账号确定没有问题可是还是Login fail! Please check your input or proxy setting.

Reply
1. 神代綺凜中二病患者 (Mac OS X) / (Safari)
  2019-10-29 09:14 am
  
  @半岁音书 这个问题已经在新版修复
  
  Reply
  1. 穹妹 (Windows 10 x64 Edition) / (Sogou Explorer)
    2019-11-08 12:45 pm
    
    @神代綺凜 =。=大佬我也是，我用的是SSTAP那个代理的，之前设置好了，可以用，两个星期前，现在也显示楼上那个问题了
    
    Reply
Suka (Windows 10 x64 Edition) / (Google Chrome 77.0.3865.90)
2019-10-19 01:30 am

大佬，可以做到只更新最新的图吗？比如作者有1.2.3张图，1的是早起作品，我并不想收集，删除了1之后，下次下载还会把1下载，能否增加一个指令，只下载3之后的图，之后都接着上次下载（最新的图id >老的图，程序应该是可以判断的）

Reply
1. 神代綺凜中二病患者 (Windows 10 x64 Edition) / (Google Chrome 77.0.3865.120)
  2019-10-19 01:37 am
  
  @Suka 当然是能的，但是这类设计始终无法照顾到所有人，例如下载中途中断了导致中间的某些图没下，如果按你说的逻辑就会直接跳过，这也许不是所有人都想要的结果，单独做开关又很麻烦
  
  目前的逻辑是当列表某一页的图全都下载了就认为已经找到了最后下载到的位置，不会再继续往后拉取
  特别地，当按关注画师更新的时候，如果某画师的最新三张图从旧到新连续存在至少一张，也不会继续爬取
  
  Reply
  1. Suka (Windows 10 x64 Edition) / (Google Chrome 77.0.3865.90)
    2019-10-19 04:02 am
    
    @神代綺凜 了解
    
    Reply
AN (Windows 10 x64 Edition) / (Google Chrome 77.0.3865.90)
2019-10-02 01:22 am

你好,想問pxder -f是否才能測到2773個關注中的畫師?若要用pxder -f下載另外的畫師要怎做?謝謝

Reply
1. 神代綺凜中二病患者 (Windows 10 x64 Edition) / (Google Chrome 77.0.3865.90)
  2019-10-04 01:03 am
  
  @AN -f参数会下载所有已公开关注的画师，上限是 5000，受官方 API 所限制
  下载其他画师可以用-u参数指定 uid，这些在说明中都有写
  
  Reply
Buan (Windows 10 x64 Edition) / (Google Chrome 77.0.3865.75)
2019-09-23 11:33 pm

dalao 为什么我在用pxder的时候只能一个一个画师手动下载，每次下载完一个画师的作品就得关掉酸酸乳再重开一遍，不然就会报错（一个一个画师手动下载实在是太痛苦了orz）。

Reply
1. 神代綺凜中二病患者 (Windows 10 x64 Edition) / (Google Chrome 76.0.3809.132)
  2019-09-26 12:33 am
  
  @Buan 近期可能**手段会比较多，如果出现卡住的情况可以右击酸酸乳-服务器-断开当前所有连接，pxder 将会自动重试
  
  Reply
  1. Buan (Windows 10 x64 Edition) / (Google Chrome 77.0.3865.90)
    2019-09-27 01:25 pm
    
    @神代綺凜 dalao我按照你说的试了一下，酸酸乳断开所有连接后npm还是提示SocksClientError: Socket closed（就之前我发的那段代码）我还是过一阵子再试试吧
    
    Reply