大家好，今天小编关注到一个比较有意思的话题，就是关于用python做搜索网站的问题，于是小编就整理了2个相关介绍用python做搜索网站的解答，让我们一起看看吧。
用Python写一个爬虫，做一个冷门行业的搜索引擎，能实现吗？
简单的做法呢，就是写个百度爬虫，自己架构一个网站，直接跳转百度搜索的结果~
稍微复杂的做法，就是在上述的基础上增加筛选功能，把非本行业的内容全部剔除一下！
在复杂一些的，搜集一些专业的信息，比如几个论坛或者相关信息的发布机构的网页，然后做相应的爬虫，写如数据库，在写一个网站……
因为冷门行业，也存在的受众小、内容少（相对）的问题，完全可以自行架构网站，但是要想扩大你的影响力，那就需要下不少的功夫了，起码，本行业的人得认可你！
当然，如果只是自用的话，那就简单了，哪怕你做个命令行版本的查询系统，都可以的，无非就是数据的整合，实时爬取等等！
记得之前有想写个爬虫，将几个盗版小说的网站的爬虫整合到一起，实现搜索后，选择不同站点下载小说的功能~写了一半，然后找到了可以实现的软件。。。很崩溃。。。
后来发现，其实写一个百度爬虫，然后指定关键字来显示搜索结果的方式其实很方便，也适合我这种懒人。。。
希望能帮到你！
可以的，首先需要把你说的冷门行业知识都找到，然后用python写一个爬虫程序，把这些冷门知识都爬取下来，然后把这些知识都爬取存储到数据库，做一个分类，数据库这边做一个查询就可以了。
可以实现，先说一下思路。首先我们要通过爬虫把这些冷门行业的相关数据都爬下来，然后把这个行业相关的数据库存储到数据库，做一个分类，之后在数据库这边做一个查询。
在开始之前需要了解的一些东西：
搜索引擎主要有两部分：
1.爬虫：也就是离线以获取数据
2.检索系统：在线查询数据，完成用户交互
开源工具：
Python爬虫Scrapy
Java检索系统：Elasticsearch/Solr
Python相关知识点：
如果只是用Python实现爬虫的这样的项目的话，需要学习的内容是上图当中的Python基础知识，python高级，前端开发以及爬虫开发。Python爬虫的重点是不在于Python，而是网络爬虫。
下面说该问题原理：
向浏览器请求文档
分析分类我们所返回的文档
从中提取中自己想要的信息
针对上述上个步骤：
首先要了解HTTP，这里可以用Python的requests库，要知道GET和POST请求页面
对响应的文档做分析，所以必须要知道的是HTML，这个很简单；在处理HTML文档可以用库有BesutifulSoup和lxml等等，搜索一下这些库的DOC
学习BesutifulSoup等库，用select等方法提取你要的信息，在这中间可能会碰到编码问题或者要学习正则表达式。
学习python的爬虫用先学习html吗？
您好！很高兴在这里交流！
在Python爬虫的学习过程中，有很多内容需要了解，比如，常见的网络爬虫库，经典的爬虫框架，还有正则表达式等等。
正则表达式的学习，可以参考：https://docs.python.org/zh-cn/3/library/re.html
菜鸟教程：https://www.runoob.com/w3cnote/python-spider-intro.html
经典爬虫框架scrapy教程：
https://docs.pythontab.com/scrapy/scrapy0.24/
《Python爬虫学习系列教程》学习笔记：https://www.cnblogs.com/xin-xin/p/4297852.html
一切顺利，加油。
最好学习一下，不要求熟悉，但必须要会，我们爬虫所爬取的网页数据大部分都会直接或间接嵌套在html标签或属性中，如果你对html一点都不了解，也就无从谈及数据的解析和提取，下面我简单介绍一下python爬虫的学习过程，感兴趣的朋友可以尝试一下：
基础html知识
这个是最基本也是必须的，首先，学习网络爬虫，你就需要学习html知识，网页是用html写的，数据自然也会嵌套在其中，无非就是某一个标签或属性，如果你对html一点都不了解，也就无从谈及解析规则的编写，数据也就无从提取，不要求多么熟悉、精通html，但基本的标签、属性必须要能看懂，如果你没有这方面基础的话，建议学习一下，初学入门html，也主要以记忆为主，很快就能掌握：
基本爬虫库
基础的html知识掌握后，就是网络爬虫的编写，这里可以从一些简单易用、容易上手的爬虫库开始，比较常见的就是urllib、requests、beautifulsoup、lxml，官方教程非常详细，先获取网页数据，然后再编写解析规则提取即可，对于大部分静态网页来说，都可以轻松爬取，动态网页数据的提取可能需要抓包分析（数据不会直接在网页源码中看到），但基本原理类似，也是先获取数据，然后再解析提取：
专业爬虫框架
基本爬虫库熟悉后，大部分网页数据都可以爬取，但需要反复造轮子，效率不高，也不易于后期维护和扩展，这里可以学习一下专业强大的爬虫框架，python来说，比较受欢迎、也比较流行的就是scrapy，框架成熟、稳定，可扩展性强，只需编写少量代码即可快速开启一个爬虫程序，初学入门来说也非常友好，官方文档丰富，社区活跃，资料齐全，各个模块组件都是独立开源的，后期研究学习也非常不错：
总之，python爬虫对html要求不高，但必须要了解，能看懂基本的网页结构、标签和属性，后期才能编写具体的解析规则提取数据，建议多看多练，熟悉一下scrapy框架的使用，网上也有相关教程和资料，介绍的非常详细，感兴趣的话，可以搜一下，希望以上分享的内容能对你有所帮助吧，也欢迎大家评论、留言进行补充。
首先以我个人学习爬虫亲身体经历说下我的个人观点，学习Python爬虫是需要一定程度上了解html语言的，但还远不够，具体针对html语言，无需学到能够独立开发网站网页的技术程度，而是要了解其原理和常用语法。
网页与html语言
爬虫是模拟用户访问网络的行为，对网络中服务器信息进行搜集并存储的一种数据采集技术。爬虫一般可以分为通用网络爬虫（General Purpose Web Crawler）、聚焦网络爬虫（Focused Web Crawler）、增量式网络爬虫（Incremental Web Crawler）、深层网络爬虫（Deep Web Crawler），但实际上多为上面几种爬虫技术的结合体。网络爬虫爬取的对象就是网页，早期的网站前端多是采用html语言开发的静态网页。
HTML（Hyper Text Markup Language，超文本标记语言）是用于在Internet上显示Web页面的主要标记语言。网页由HTML组成，用于通过Web浏览器显示文本，图像或其他资源。HTML文件的文件扩展名为.htm或.html。
爬虫必备的知识基础
- 需要学习html 相关知识，还有http 协议知识
- 爬虫基础知识，包括爬虫理论基础、爬虫实现原理和技术、爬虫请求requests库、网页解析库、headers属性和代理服务器设置。
下面是爬虫的工作过程
希望我的回答对您有帮助！刚加入头条号，后面本人会陆续发布算法编程、大数据和AI等相关文章和免费教程，敬请关注！
到此，以上就是小编对于用python做搜索网站的问题就介绍到这了，希望介绍关于用python做搜索网站的2点解答对大家有用。
