使用无头浏览器进行Android Web Scraping

我花了一天时间研究一个可用于完成以下任务的库:

  • 像在后台一样检索网页的完整内容,而不将结果呈现给视图。
  • lib应支持在初始HTML加载后触发ajax请求以加载一些额外结果数据的页面。
  • 从生成的html我需要在xpath或css选择器表单中获取元素。
  • 将来我也可能需要导航到下一页(关闭事件,提交按钮/链接等)

这是我尝试过的没有成功:

  • Jsoup:效果不错但不支持javascript / ajax(所以它不加载整页)
  • 在HttpEntity内置的Android:js / ajax与jsoup相同的问题
  • HtmlUnit:看起来正是我需要的但是几小时后无法让它在Android上运行(其他用户通过尝试加载12MB +值的jar文件而失败。我自己加载了完整的源代码并将其作为项目库引用,仅为了find它Applets和java.awt(由HtmlUnit使用)之类的东西在Android中不存在。
  • 犀牛 – 我发现这非常混乱,不知道如何让它在Android中工作,即使它是我正在寻找的。
  • Selenium驱动程序:看起来它可以工作,但你没有一种直接的方式以无头的方式实现它,所以你没有显示到视图的实际html。

我真的希望HtmlUnit工作,因为它似乎最适合我的解决方案。 是否有任何方式或至少另一个我错过的图书馆适合我的需求?

我目前正在使用Android Studio 0.1.7,如果需要可以移动到Ellipse。

提前致谢!

好吧,2周后我承认失败并正在使用一种对我来说很有用的解决方法。

问题:
将HTMLUnit移植到Android(或至少具有我的专业水平)是非常困难的。 我确信它是一个有价值的项目(而且对于经验丰富的java程序员来说并不耗费时间)。 我通过电子邮件发送了HTMLUnit的人,他们评论说他们不是在寻找一个端口或者会涉及到什么样的努力,但是建议任何想要开始这样一个项目的人都应该向他们的邮件列表发送一条消息,让更多的开发人员参与其中( http: //htmlunit.sourceforge.net/mail-lists.html )。

解决方法:
我使用了内置WebView的android并覆盖了Webview类的onPageFinished方法,以便在页面完全加载后注入抓取所有html的Javascript。 Webview还可用于调用更多javascript操作,单击按钮,填写表单等。

码:

webView.getSettings().setJavaScriptEnabled(true); MyJavaScriptInterface jInterface = new MyJavaScriptInterface(context); webView.addJavascriptInterface(jInterface, "HtmlViewer"); webView.setWebViewClient(new WebViewClient() { @Override public void onPageFinished(WebView view, String url) { //Load HTML webView.loadUrl("javascript:window.HtmlViewer.showHTML (''+document.getElementsByTagName('html')[0].innerHTML+'');"); } webView.loadUrl(StartURL); ParseHtml(jInterface.html); public class MyJavaScriptInterface { private Context ctx; public String html; MyJavaScriptInterface(Context ctx) { this.ctx = ctx; } @JavascriptInterface public void showHTML(String _html) { html = _html; } }