网站地图Sitemap制作软件的最新版本改名为网站URL分析软件,这是全新的版本,云端任务,无需人员值守在电脑面前。无需担心浏览器大量内存的占用导致崩溃。目前云端版本支持自定义任务线程,能够更快速的完成网站地图的制作。
网站URL分析软件采用多任务、多线程的方式进行网站URL分析,因此部分网站可能需要添加咱们的服务器IP白名单212.64.29.58
,防止误封。
网站URL分析软件十大特性
- URL长度控制
对于网站部分过长的URL,可以过滤,仅抓取指定长度内的URL - 按目录过滤
新加功能,支持过滤指定目录,请一定一/
作为开头 - 按后缀过滤
- 按关键词过滤
- 按nofollow过滤
主要是过滤带有 rel属性的a标签 - 严格模式
比如:www.webkk.net/sitemap 在非严格模式下 会跳转到www.webkk.net/sitemap/
严格模式是很有用的参数,用户可自行决定是否启用严格模式 - 自定义抓取线程
抓取线程请根据自身网站的情况进行设置,设置过大对网站造成严重的压力,最大一个任务支持6线程。 - 自动向百度提交链接
用户在下发任务时,支持自动将抓取到的URL提交至百度。 - 支持xml、csv、html、txt等格式的文件下载
- 按正常URL、HTTP状态异常等url类型生成文件