在做大数据分析时,如何保证数据的真实性完整性
随着互联网企业的发展,我们的互联网企业客户越来越多。互联网客户的数据量非常大,我们在对数据进行分析的时候,首先要保证数据的真实性、完整性。如何保证我们得到的数据是真实完整的呢?
test_guojing
18-11-26 11:17
在做数据分析时,我们应该保障数据尽可能的完整真实,否则对不完整数据分析出的结果大概率是不准确的。那么在数据分析前我们应该先通过一些核查程序对数据情况进行一个基本判断。
(1)内控核查。如果一个企业的IT内控缺失,那么会增加数据不完整或数据被篡改的风险。具体的内控核查程序可参考《企业内部控制应用指引第18号——信息系统》;
(2)应用控制核查。主要关注算法逻辑和接口,例如取数逻辑、统计算法、接口调用等都会影响到数据完整性,应用控制核查需根据企业实际的系统情况和数据情况制定具体审计策略;
(3)数据分析。一般当(1)、(2)的核查程序都到位时,然后才做数据分析。做数据分析的目的之一就是从较为宏观的角度去验证数据真实性和完整性。
希望对你有帮助!
scz001
18-10-25 16:46
关于海量数据的真实性和准确性,数据的取得来源、取得方式、取得的环境等信息就显得异常的重要了。
关于海量数据的来源,一般情况下可能主要有两个路径:
①一种是在企业自有的服务器或者租赁的服务器里存储,企业自己的业务会自动生成业务数据存储在服务器,企业都自己的数据负责,这种主要是游戏、软件等互联网研发生产企业。
②另外一种就是企业的数据与其他公司一样统一存储在大的一个统一的平台上,比如电商企业,可能有无数家企业的数据都会存储在阿里巴巴或者京东的服务器上,企业需要向这些机构取得跟自己企业相关的数据。
在实践中,对于两种数据来源的方式我们简单分析下:
①对于第一种数据来源方式,由于企业自动生成并保管数据是很有可能会篡改数据甚至是虚构数据的,在审计中,那就需要对企业数据生成、数据保管、数据转移、数据修改等企业的IT环境和内部控制措施进行核查,目的就是要保证数据从生成到最终审计的整个过程中是否存在可能导致数据被修改的因素或者隐患。
②对于第二种数据来源方式,我们可以假定统一大平台的数据生成和管理措施是完善的,同时假定企业从大平台取得数据的过程和方式是值得信赖的,那么我们可以初步认定发行人的数据来源值得信任。当然,数据是否存在合理性,是否准确,是否有虚假的成分,那么就需要对数据进行进一步的分析。
在做大数据分析时,如何保证数据的真实性完整性
审计小白
会员积分:60
随着互联网企业的发展,我们的互联网企业客户越来越多。互联网客户的数据量非常大,我们在对数据进行分析的时候,首先要保证数据的真实性、完整性。如何保证我们得到的数据是真实完整的呢?
18-10-25 16:24
20831
2
回复
在做数据分析时,我们应该保障数据尽可能的完整真实,否则对不完整数据分析出的结果大概率是不准确的。那么在数据分析前我们应该先通过一些核查程序对数据情况进行一个基本判断。
(1)内控核查。如果一个企业的IT内控缺失,那么会增加数据不完整或数据被篡改的风险。具体的内控核查程序可参考《企业内部控制应用指引第18号——信息系统》;
(2)应用控制核查。主要关注算法逻辑和接口,例如取数逻辑、统计算法、接口调用等都会影响到数据完整性,应用控制核查需根据企业实际的系统情况和数据情况制定具体审计策略;
(3)数据分析。一般当(1)、(2)的核查程序都到位时,然后才做数据分析。做数据分析的目的之一就是从较为宏观的角度去验证数据真实性和完整性。
希望对你有帮助!
18-11-26 11:17
关于海量数据的真实性和准确性,数据的取得来源、取得方式、取得的环境等信息就显得异常的重要了。
关于海量数据的来源,一般情况下可能主要有两个路径:
①一种是在企业自有的服务器或者租赁的服务器里存储,企业自己的业务会自动生成业务数据存储在服务器,企业都自己的数据负责,这种主要是游戏、软件等互联网研发生产企业。
②另外一种就是企业的数据与其他公司一样统一存储在大的一个统一的平台上,比如电商企业,可能有无数家企业的数据都会存储在阿里巴巴或者京东的服务器上,企业需要向这些机构取得跟自己企业相关的数据。
在实践中,对于两种数据来源的方式我们简单分析下:
①对于第一种数据来源方式,由于企业自动生成并保管数据是很有可能会篡改数据甚至是虚构数据的,在审计中,那就需要对企业数据生成、数据保管、数据转移、数据修改等企业的IT环境和内部控制措施进行核查,目的就是要保证数据从生成到最终审计的整个过程中是否存在可能导致数据被修改的因素或者隐患。
②对于第二种数据来源方式,我们可以假定统一大平台的数据生成和管理措施是完善的,同时假定企业从大平台取得数据的过程和方式是值得信赖的,那么我们可以初步认定发行人的数据来源值得信任。当然,数据是否存在合理性,是否准确,是否有虚假的成分,那么就需要对数据进行进一步的分析。
18-10-25 16:46