大数据采集方法有哪些，大数据采集方法分为哪几类?

大数据采集方法分为离线搜集、实时搜集、互联网搜集和其他搜集方法。离线搜集工具为ETL，实时搜集工具为Flume/Kafka，互联网搜集工具为Crawler和DPI等。企业保密数据可通过与数据技术服务商合作搜集数据。

大数据采集方法可以分为四类。

离线搜集：

离线搜集的工具是ETL，其中包括数据的提取(Extract)、转换(Transform)和加载(Load)。在转换的过程中，需求针对具体的事务场景对数据进行治理，例如进行不合法数据监测与过滤、格式转换与数据规范化、数据替换、确保数据完整性等。

实时搜集：

实时搜集首要用在考虑流处理的事务场景，使用工具如Flume/Kafka。比如，用于记录数据源的各种操作活动，例如网络监控的流量办理、金融运用的股票记账和web服务器记录的用户访问行为。

互联网搜集：

互联网搜集使用工具如Crawler、DPI等，比如使用Scribe进行数据(日志)搜集。这是一种按照一定的规矩，自动地抓取万维网信息的程序或者脚本，它支持图片、音频、视频等文件或附件的搜集。

其他数据搜集方法：

对于企业生产经营数据上的客户数据、财务数据等保密性要求较高的数据，能够通过与数据技术服务商合作，运用特定体系接口等相关方式搜集数据。比如使用八度云核算的数企BDSaaS。无论是数据搜集技术、BI数据剖析，还是数据的安全性和保密性，都做得很好。