输入关键字 抓取所有网页(获取Excel高手都在用的“插件合集+插件使用小技巧”)
上海市seo网站关键词优化-百度开始严打恶略采集了你晓得吗
输入关键字 抓取所有网页(获取Excel高手都在用的“插件合集+插件使用小技巧”!)
获取Excel高手正在使用的“加载项集合+加载项使用技巧”!
一时兴起,在知乎中搜索了Excel,想学习一些好评文章的写作方法。
看到这些标题,完结了,顿时激起了下载采集的欲望!
如何捕获所有 文章 高度喜欢的?
当我开始时,我考虑过使用 Python。
想了想,好像可以用Power query来实现,于是做了如下效果。
在表单中输入搜索词,然后右键刷新,即可得到搜索结果。
你明白我必须拿表格吗?
因为Excel可以直接按照“点赞数”排序!
那种感觉就像在排队。无论我在哪里排队,我都会是第一个并选择最好的!
好了,废话不多说,我们来看看这个表格是怎么做出来的。
大致可以分为4个步骤:
❶ 获取 JSON 数据连接;
❷ 电源查询处理数据;
❸ 配置搜索地址;
❹ 添加超链接。
01 操作步骤
❶ 获取 JSON 数据连接
通常在浏览网页时,它是一个简单的网址。
网页中看到的数据其实有一个单独的数据链接,可以在浏览器中找到。
我们需要的数据链接对应的是JSON格式的数据,如下所示。
找到方法需要进入开发者模式,然后查看数据的网络变化,找到xhr类型的链接,其中之一就是数据传输连接。
复制此链接,这是 Power 查询将获取数据的链接。
❷ 电量查询处理
你可能不知道,除了在 Excel 中捕获数据,Power Query 还可以
您还可以抓取多种类型的数据,例如 SQL 和 Access:
网站Data 也是其中之一:
将我们之前获取的链接粘贴到PQ中,链接就可以抓取数据了。
然后得到网页的数据格式。如何获取具体的 文章 数据?
Power Query的强大之处在于它可以自动识别json数据格式,并解析提取具体内容。
整个过程,我们不需要做任何操作,只需点击鼠标即可完成。
这时候我们获取的数据会有一些不必要的冗余数据。
例如:thumbnail_info(缩略图信息)、relationship、question、id.1等。
只需删除它们并仅保留所需的 文章 标题、作者、超链接等。
数据处理完成后,在开始选项卡中,点击“关闭并上传”即可完成数据抓取,非常简单。
❸ 配置搜索地址
但是,此时我们抓取的数据是固定的,没有办法根据我们输入的关键词进行更新。
这是因为数据超链接中收录的搜索词没有更新。
所以在这一步中,我们需要配置这个数据链接,实现基于搜索词的动态更新。
在表中创建一个新数据,然后将其加载到 Power 查询中。
然后获取搜索词,以变量的形式放入搜索地址中,完成搜索地址的配置。
修改后的地址码如下:
getdata = (page)=>
let
keywords = 搜索词[ 搜索词]{0},
源 = Json.Document(Web.Contents(“https://www.zhihu.com/api/v4/search_v3?t=general&q=”& keywords & “&correction=1&offset=”& Text.From(page*20) &”&limit=20&random=” & Text.From(Number.Random()))),
data = 源[data],
jsondata = Table.FromList(data, Splitter.SplitByNothing(), null, null, ExtraValues.Error)
in
jsondata,
转换为表 = Table.Combine(List.Transform({1..10}, getdata)),
▲ 左右滑动查看
❹ 添加超链接
至此所有数据都已经处理完毕,但是如果要查看原创的知乎页面,需要复制这个超链接并在浏览器中打开。
每次点击几次鼠标很麻烦;
这里我们使用 HYPERLINK 函数来生成一个可点击的超链接,这使得访问变得更加容易。
❺ 最终效果
最后的效果是:
❶ 输入搜索词;
❷ 右键刷新;
❸ 找到点赞最多的;
❹点击【点击查看】,享受跳线的感觉!
02总结
知道在表格中搜索的好处吗?
❶ 按“赞”和“评论”排序;
❷ 看过文章的可以加个栏目写笔记;
❸您可以过滤您喜欢的“作者”等。
明白为什么,精英都是Excel控制的吧?
大多数电子表格用户仍然使用 Excel 作为报告工具、绘制表格和编写公式。
请记住以下 Excel 新功能。这些功能让Excel成为了一个强大的数据统计和数据分析软件,不再只是你印象中的报表。
❶ 强力查询:数据整理清理工具,搭载M强大的M语言,可以实现多表合并,也是本文的主要技术。
❷ Power Pivot:数据统计工具,可以自定义统计方式,实现数据透视表多字段计算,自定义DAX数据计算方式。
❸ Power BI:强大易用的可视化工具,实现交互式数据呈现,是企业业务数据报表的优质解决方案。
欢迎在留言区聊天:
您还知道 Excel 的其他哪些神奇用途?
您最想在 Excel 中拥有什么功能?
…
【研究池】通过自动OSINT打击人口贩运采集、验证和融合
优采云采集器是一个根据用户提供的关键词,云端自动采集相关文章并发布到用户网站的网站采集器。它能够自动识别各种网页上的标题、正文等信息,不需要用户编写任何采集规则就可以实现全网采集。采集到内容后,会自动计算内容与所设定的关键词的相关度,只把相关的文章推送给用户。支持标题前缀、关键词自动加粗、插入固定链接、自动提取Tag标签、自动内链、自动配图、自动伪原创、内容过滤和替换、电话号码和网址清理、定时采集、百度主动提交等一系列SEO功能。用户只需设置好关键词和相关需求,就能实现全托管、零维护的网站内容更新。不限网站数量,不管是单个网站还是大批量站群,都可以非常方便的进行管理。