[国际智库]美国：政府网站流量60%由机器人产生！应采取主动措施解决过载问题

　　对于任何开展在线业务的组织来说，机器人是他们的工作内容之一。据许多公司估计，他们在线流量的40%是由机器人产生的。随着更多服务转到线上，以及选民希望能从公共部门网站获得与私营部门网站一样卓越的服务，这种大量的机器人活动甚至与政府机构更相关。从2017年9月到同年11月，美国联邦网站的访问量超过25.4亿次，这些网站必须准备好有效和安全地为越来越多的访问者(无论是机器人还是人)提供服务。事实上，一些政府机构发现他们网站流量的60%由机器人产生。

　　传统的IP拦截只能暂时缓解问题。对方的机器人操作员检测到拦截后，可以改变IP，然后开始一个新的机器人入侵。与尽可能多地拦截机器人的传统做法不同，一种新的机器人管理模式可以帮助机构就如何处理机器人活动做出更实时、更明智的决定。这种新模式让机构IT能够采取一种积极主动的方法来检测、分析和做出明智的决定，以处理他们网站上的所有类型的机器人活动。

　　通过这种方法，IT团队将能够：

　　识别已知和未知的机器人。

　　根据业务影响和检测方法对机器人进行分类。

　　给每个机器人类别指定管理政策。

　　使用一系列复杂的方法来管理独特的机器人流量。

　　将源服务器和业务上的负担以及IT影响最小化。

　　通过积极主动的内嵌机器人管理，多个行为类似的机器人可被作为一组来管理，而不是单个管理。相比拦截所有的机器人，机构IT团队可以允许所有由人产生的流量通过，并监控那些使用自己网站的机器人，如搜索引擎、业务合作伙伴和供应商。IT团队还可以为有害机器人提供其他内容，并将其他机器人流量引导至另外一个源服务器。所有这些确保了无缝操作和最少的中断，让选民能在线享受政府服务。

　　相比拦截一个有害机器人并提醒操作人员，一个积极主动的机器人管理解决方案提供了几种方法，这些方法或减慢了有害机器人检索信息的速度，或通过给它们提供不同的信息而不是它们想要的信息来欺骗它们。机构也可以采取基于速度的措施，以最大限度地减少有益机器人产生的大量流量带来的影响。无论如何，机构都可以更好地管理机器人对网络基础设施产生的影响，以及更好地控制他们选择放在网上以供他人查看的信息，后者是面临网络威胁和黑客攻击的政府机构的一个主要担忧。在管理机器人活动方面，机构有许多策略可以选择。

　　基于速度的措施

　　通过控制允许机器人抓取网站内容的速度，网站可以管理所有类型的机器人对源服务器的影响。这种方法对管理合作伙伴的机器人和其他有益机器人很有用，不然这些机器人可能会导致网站性能下降。即使面对一个有害机器人，有时最好的应对措施可能是给它想要的信息，但延迟它对信息的提取或减慢它提取信息的速度，最大程度地减少它对网站性能的影响。

　　提供另外的源服务器或缓存内容

　　这个策略允许组织更好地管理机器人流量带给源服务器的负载。例如，机构可以为合法用户专门留出一些高性能服务器，为各种业务类别的机器人以及被实时检测到的有害机器人留出其他服务器。提供缓存内容也最大限度地减少了源服务器的负载，返还已缓存的信息不会影响到网站性能。

　　标识由机器人生成的Web请求

　　机构可能只是希望在出现机器人流量时获得提醒，以在源服务器采取行动。在这种情况下，一个机器人管理解决方案应该要能标识出任何由机器人生成的Web请求。

　　总的来说，简单地拦截机器人不再是成功管理机器人的最佳方法。相反，机构应该实施一个积极主动的机器人管理策略，该策略利用实时、内嵌的大数据分析，为管理不同类型的机器人流量提供更多选择。机构应该能够评估机器人流量以供分析，以及抽样调查登录流量，这些流量反映出机器人对所采取的措施的反应。如果没有这种可见性，机构将不可能确切知道所采用的机器人管理解决方案是否转移了机器人的影响。

　　编译：邓桂华。本文来自nextgov