第17章 爬虫
“接下来,就是试试获取小说的内容了。”
接下来,他开始编写程序以获取小说的详细信息和内容。
由于小说内容比较庞大,他决定把获取内容的频率放低。
毕竟是在奶茶店,店里面还有不少的人在使用着店里面提供的wifi。
如果他瞬时间向服务器的请求量过大,其他人的网络,基本上就会陷入瘫痪的状态。
他现在只是手痒痒了,想试试手,真正要爬取到足够多的小说数据,至少需要好几天的时间。
“接下来,就是见证奇迹的时刻。”
他开始启动他的爬虫程序,程序开始在小说网站上爬取小说的内容。
无数本小说的内容文字一闪而过,便进入了数据库之中。
“哟,还有点意思。”
他发现,在爬取的过程中,点娘小说网站的反爬虫机制还算是不错,他的爬虫程序很快就被封禁了。
针对ip的。
不过,他快速升级了他的爬虫程序,加入了无数的ip池,以及强大的识别验证码能力,使其更难被网站检测到。
“咦,看来我这掌握的五级信息技术,比我想象之中的要强!”
经过一番小小的折腾,点娘都市小说分类下的数百万本小说,全部进入了他的数据库里面。
“最强的点娘的反爬虫机制也不过如此。看来获取数据集的过程,会比我想象的简单不少。“
”那现在就是时间的问题了,等我爬取到足够多的小说数据集,就可以开始训练我的写小说ai模型了!”他心中充满了自信。
现在,就让小说模型先跑着吧。
今天是周末,奶茶店的人比往常多上不少,等到了快要歇业的时间里,铺子里还有不少的人。
林小玲没办法,只好延长了奶茶店的营业时间。
连带的,王卿一遍看着ai模型的训练,一遍记着单词。
“喂,我要下班了,咱们一起走吧。”
王卿还沉迷于互联网世界的新奇时,林小玲的声音传了上来。
他抬头一看,“都已经十二点了啊。”
“等我一会儿。”
“好,我在门口等你。”
林小玲没有上楼去,今天太累了,她就在楼下等着王卿收拾东西。
“怎么还没出来呀。”
她在店门口等了两三分钟,王卿那边还没有动静,就想上楼去看看。
还没有走到门口,便看到他扛着一台巨大的电脑主机和一个显示器,不禁笑了起来。
王卿嘴里喘着粗气,额头上挂着一粒粒细密的汗珠,身上的衬衫湿漉漉的贴在了背上。
他双手抱着一台电脑主机和一个显示器,像只蚂蚁一样艰难地从二楼的楼梯上下了来。
电脑主机和显示器一字排开,整齐地被王卿抱在了怀里。
王卿的双臂紧紧地搂着它们,仿佛他的生命就寄托在这两个物体之上。
“咯咯。”
王卿奋力想要抱住电脑和主机的动作太过滑稽,让林小玲也忍不住笑出了声来。
她微微低头,将手掌遮住了自己的嘴巴,用力忍住了笑意。
不过,即使她的嘴巴被遮住了,她的眼睛仍然在笑。
“你干嘛不让我帮你拿一下显示器?”
她一边问道一边快速的走到王卿的位置,从他的手上接下了显示器。
“谢谢。”
王卿朝着林小玲投去了一个感激的眼神。
他以前向来是不喜欢麻烦别人的,刚才林小玲又在催他,他一着急,便贪心的想一次将两件东西都搬下去。
没想到,反而还耽误了不少的时间。
“咱俩的关系,还说这些,都是朋友。”
林小玲的年龄,也就只比王卿大了两岁,但她的做事风格,倒是十分成熟。
“走吧,我帮你把显示器送到家里去。”
“这样不好吧。”
“有什么不好的,不然你能咋办?”
说罢,她便拿起了显示器,示意王卿在前面带路。
“好吧。”
见到林小玲的态度如此坚决,他便不再推脱,如果多一个人,回家的路确实会方便很多。
王卿家租的房里,离奶茶店的位置也不算远。
俩人聊着天,很快便到达了小区的楼下。
“我就不上去了,在楼下帮你看着显示器。”
林小玲本来以为王卿的家里条件还算不错,但是没想到会住在这种小区。
她深知像王卿这个年龄段的人,内心都非常敏感。
所以,她在楼下,便找借口说自己累了,就在楼下等他。
但对王卿来说,她可就想错了。
“好。”
王卿不疑有他,便快速的扛着主机,跑到了楼上,将主机放在家里又迅速拿上显示器,回到了家里。
“你等我一会儿,我送你回去。”
“不用了吧,这一截路又没有多远。”
“那怎么能行,听话,我很快就下来。”