基于网络爬虫的新闻采集和订阅系统的设计与实现
应用介绍
随着互联网的迅速发展，互联网大大提升了信息的产生和传播速度，网络上每天都会产生大量的内容，如何高效地从这些杂乱无章的内容中发现并采集所需的信息显得越来越重要。网络中的新闻内容也一样，新闻分布在不同的网站上，而且存在重复的内容，我们往往只关心其中的一部分新闻，网络中的新闻页面往往还充斥着大量许多与新闻不相关的信息，影响了我们的阅读效率和阅读体验，如何更加方便及时并高效地获取我们所关心的新闻内容，本系统能够帮我们做到这一点。本系统利用网络爬虫我们可以做到对网络上的新闻网站进行定时定向的分析和采集，然后把采集到的数据进行去重，分类等操作后存入数据库，最后提供个性化的新闻订阅服务。考虑了如何应对网站的反爬虫策略，避免被网站封锁爬虫。在具体实现上会使用Python 配合scrapy 等框架来编写爬虫，采用特定的内容抽取算法来提取目标数据，最后使用Django 加上weui 来提供新闻订阅后台和新闻内容展示页，使用微信向用户推送信息。用户可以通过本系统订阅指定关键字，当爬虫系统爬取到了含有指定关键字的内容时会把新闻推送给用户
©版权声明：本文内容由互联网用户自发贡献，版权归原创作者所有，本站不拥有所有权，也不承担相关法律责任。如果您发现本站中有涉嫌抄袭的内容，欢迎发送邮件至： [email protected] 进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。
转载请注明出处： apollocode » 基于网络爬虫的新闻采集和订阅系统的设计与实现
文件列表(部分)
| 名称 | 大小 | 修改日期 |
|---|---|---|
| LICENSE | 0.65 KB | 2017-05-27 |
| items.py | 0.23 KB | 2017-05-27 |
| middlewares.py | 1.13 KB | 2017-05-27 |
| pipelines.py | 0.81 KB | 2017-05-27 |
| settings.py | 2.47 KB | 2017-05-27 |
| netease.py | 0.61 KB | 2017-05-27 |
| qq.py | 0.72 KB | 2017-05-27 |
| __init__.py | 0.13 KB | 2017-05-27 |
| utils.py | 0.17 KB | 2017-05-27 |
| wechat_config.py | 0.31 KB | 2017-05-27 |
| wechat_push.py | 0.67 KB | 2017-05-27 |
| __init__.py | 0.00 KB | 2017-05-27 |
| scrapy.cfg | 0.19 KB | 2017-05-27 |
| start_crawl.py | 0.27 KB | 2017-05-27 |
| worker.py | 0.13 KB | 2017-05-27 |
| article.html | 0.81 KB | 2017-05-27 |
| subscription.html | 1.32 KB | 2017-05-27 |
| init_db.py | 0.12 KB | 2017-05-27 |
| db_utils.py | 0.21 KB | 2017-05-27 |
| error_code.py | 0.19 KB | 2017-05-27 |
| response.py | 0.39 KB | 2017-05-27 |
| utils.py | 0.00 KB | 2017-05-27 |
| __init__.py | 0.00 KB | 2017-05-27 |
| manage.py | 0.20 KB | 2017-05-27 |
| middlewares.py | 0.33 KB | 2017-05-27 |
| settings.py | 1.18 KB | 2017-05-27 |
| urls.py | 0.37 KB | 2017-05-27 |
| wsgi.py | 0.31 KB | 2017-05-27 |
| __init__.py | 0.00 KB | 2017-05-27 |
| run_server.sh | 0.15 KB | 2017-05-27 |
发表评论 取消回复