.net 解决spider多次和重复抓取的方案
来源: 阅读:639 次 日期:2015-01-28 14:49:01
温馨提示: 小编为您整理了“.net 解决spider多次和重复抓取的方案”,方便广大网友查阅!

原因:

早期由于搜索引擎蜘蛛的不完善,蜘蛛在爬行动态的url的时候很容易由于网站程序的不合理等原因造成蜘蛛迷路死循环。

所以蜘蛛为了避免之前现象就不读取动态的url,特别是带?的url

解决方案:

1):配置路由

代码如下:

routes.MapRoute("RentofficeList",

"rentofficelist/{AredId}-{PriceId}-{AcreageId}-{SortId}-{SortNum}.html",

new { controller = "Home", action = "RentOfficeList" },

new[] { "Mobile.Controllers" });

第一个参数是路由名称

第二个参数是路由的Url模式,参数之间用{}-{}方式分隔

第三个参数是一个包含默认路由的对象

第四个参数是应用程序的一组命名空间

2):设置连接

<a href="@Url.Action("RentofficeList",new RouteValueDictionary { { "AredId",0},{"PriceId",0},{"AcreageId",0},{"SortId",0},{"SortNum",0}})">默认排序</a>

对照上面的Url模式,依次写入参数赋值

3):获取参数

代码如下:

int areaId = GetRouteInt("AredId");//获取参数

/// <summary>

/// 获得路由中的值

/// </summary>

/// <param name="key">键</param>

/// <param name="defaultValue">默认值</param>

/// <returns></returns>

protected int GetRouteInt(string key, int defaultValue)

{

return Convert.ToInt32(RouteData.Values[key], defaultValue);

}

/// <summary>

/// 获得路由中的值

/// </summary>

/// <param name="key">键</param>

/// <returns></returns>

protected int GetRouteInt(string key)

{

return GetRouteInt(key, 0);

}

根据上面3个步骤操作,显示的url地址为:

这样就可以避免静态页面上使用动态参数,显示的页面都为静态页面

更多信息请查看IT技术专栏

更多信息请查看网络编程
由于各方面情况的不断调整与变化, 提供的所有考试信息和咨询回复仅供参考,敬请考生以权威部门公布的正式信息和咨询为准!

2025国考·省考课程试听报名

  • 报班类型
  • 姓名
  • 手机号
  • 验证码
关于我们 | 联系我们 | 人才招聘 | 网站声明 | 网站帮助 | 非正式的简要咨询 | 简要咨询须知 | 加入群交流 | 手机站点 | 投诉建议
工业和信息化部备案号:滇ICP备2023014141号-1 云南省教育厅备案号:云教ICP备0901021 滇公网安备53010202001879号 人力资源服务许可证:(云)人服证字(2023)第0102001523号
云南网警备案专用图标
联系电话:0871-65317125(9:00—18:00) 获取招聘考试信息及咨询关注公众号:
咨询QQ:526150442(9:00—18:00)版权所有:
云南网警报警专用图标
Baidu
map