如何应对生产数据java excel导入数据库到测试环境的数据安全

当前位置:
用案例告诉你,测试环境完全仿真到底多重要!
用案例告诉你,测试环境完全仿真到底多重要!
<dd data-toggle='tooltip' data-placement='top' data-original-title='作者: 曹光明 &&'>作者: 曹光明
<dd data-toggle='tooltip' data-placement='top' data-original-title='添加时间:
07:00:00 &&'>
<span data-toggle='tooltip' data-placement='top' data-original-title=' 阅读:1265'> 1265
熟悉软件测试流程的人都知道,我们的产品发布环境通常包括以下环境:研发环境、测试环境、UAT环境、生产环境。
其中研发环境供开发调试使用,测试环境供测试人员测试使用,UAT环境即预发布环境,供上线前仿真测试,而生产环境为真实线上环境,供产品服务日常运行使用。测试人员需要验证测试各个环境程序的运行情况并确保程序业务功能在各个环境运行正常。
当然,在这里,笔者并不是想理清几套环境之间的不同和业务关系,而是想通过描述他们之间的隔离性来告诉大家测试环境模拟仿真生产环境数据的重要性。
&问题描述&
我们知道以上几套环境的数据并不是共用的,也就是说,他们使用的数据库并不是同一套,可能测试环境/预发布环境数据量比较小,而生产环境数据量比较大,这就会导致以下问题的出现:生产环境数据量较大,数据较特殊,导致数据溢出、曲线图变形、程序崩溃等等。
可能有人会说,我们在测试环境做了性能测试,导入了大量的数据样本真实模拟生产环境,找到了系统瓶颈,并且已经报给开发修复掉了。当然,我们不否认性能测试的重要性,性能测试能够最大化模拟生产运行环境,测试当负载逐渐增加时,系统各项性能指标的变化情况。
但是大家都忽略了数据特殊性这个点,生产环境是程序运行的最真实的环境,那么就需要测试人员在测试进行的过程中,将测试环境生产化仿真,真实模拟生产环境,做到数据完全拷贝,这样,在生产环境运行之前,程序已经经过了一系列模拟验证,能够保证程序更加稳定、可靠。
上面说得可能还太过抽象,接下来,我用一个案例来说明一下。
&案例说明&
下图是某炒股软件持仓分析模块股民年度(月度)收益分布曲线图,其中图2左是正确的曲线,对应测试环境的数据;图2右是错误的曲线,对应生产环境仿真数据(测试环境导入生产环境数据)。
从图中很容易看出问题,图2左图(测试环境数据)由于样本量较小,对应x轴收益率都集中在算法区间内,就画出了平滑的曲线图,而图2右图(生产环境数据)由于样本量较大,对应x轴收益率甚至达到了±1000%,原先的曲线算法不能满足,导致出现折线的现象。
这里说下案例中画图的算法,如图1所示:(计算公式不说,我们这里不聊算法)
其中,x轴标识账户年(月)收益率,数值按照算法中μ和σ的值按照μ、μ-σ、μ+σ、μ-2σ、μ+2σ、μ-3σ、μ+3σ计算得来,数值在-100%~100%之间,y轴为按照账户收益率以及一定的算法得到的f(x)的值,曲线上均匀分布着按照数据库中所有账户的收益率计算出来的f(x),最终构成了完整的曲线。
X轴的数值限制导致了最终生产数据的错误结果,这也是问题的根源。
▲如何解决呢?
我们需要把生产环境数据完全拷贝到测试环境进行模拟仿真测试,在上线发布之前经过模拟测试,保证程序和数据的正确性。
当然了,测试环境生产化仿真也有一定的局限性,以下情况并不适用:
1. 只适用于已部署服务(新服务生产环境没有配套数据);
2. 生产环境数据保密的服务(数据不能外传);
3. 前端数据从外来接口获取,本地并不落库;
4. 生产环境数据库数据量特别巨大,无法完全复制到测试环境;
测试环境生产化数据仿真测试,并不是说模拟生产环境创造数据环境进行测试,而是生产数据环境的完全仿真,测试人员可以把它作为测试用例加入测试环节,这样一定能够事半功倍,少走弯路。当然了,仿真测试并不是万能的,还有其他因素可能影响服务功能,比如服务器性能、内存占用、垃圾数据、错误配置等等,测试中需要结合不同业务场景不同对待。期待大家能够把软件生产化仿真测试方法利用好,应用到日常测试中去,让测试更简单!版权所有 侵权必究
如需转载请联系
推荐相关阅读(点击直达):
恒生技术之眼开发测试及准生产环境暂行管理办法_百度文库
两大类热门资源免费畅读
续费一年阅读会员,立省24元!
开发测试及准生产环境暂行管理办法
阅读已结束,下载文档到电脑
想免费下载本文?
定制HR最喜欢的简历
下载文档到电脑,方便使用
还剩4页未读,继续阅读
定制HR最喜欢的简历
你可能喜欢为什么我把百度统计代码放在本地环境的网站上会统计到网站数据…_百度统计吧_百度贴吧
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&签到排名:今日本吧第个签到,本吧因你更精彩,明天继续来努力!
本吧签到人数:0成为超级会员,使用一键签到本月漏签0次!成为超级会员,赠送8张补签卡连续签到:天&&累计签到:天超级会员单次开通12个月以上,赠送连续签到卡3张
为什么我把百度统计代码放在本地环境的网站上会统计到网站数据…收藏
我本地的测试网站用的www。***。com,放在服务器的网站域名是www。***。cn程序员不小心把cn的百度统计代码放在了com的本地测试网站上了。但是百度统计还是统计到了数据怎么会这样的呢,按理说我们放在本地测试环境 百度应该统计不到的啊~~
只要有装统计代码,代码正常运行了,就可以统计到的,谢谢
度娘强大!
百度统计 管用否?
曾听人说,回忆是一座桥,却是通向寂寞的牢。
贴吧拳王争霸赛中累计获取100场胜利,
登录百度帐号推荐应用如何将WordPress站点从本地移植到服务器 &#8211; ~SolagirL~如何测试你的MongoDB应用升级?_数据库技术_Linux公社-Linux系统门户网站
你好,游客
如何测试你的MongoDB应用升级?
来源:Linux社区&
作者:UltraSQL
你已经选择MongoDB作为你的应用数据库。你可能已经有大量的生产数据在你的数据库里。现在你需要对你的应用做一个主版本修改。你需要如何测试确保应用新版本和你的生产数据运行良好?
生产数据总是极其多样化,你的测试数据和实践有更多边界案例,因此导致更多BUG。不推荐导出生产数据到测试环境,由于策略,隐私和安全问题。换句话说,在生产环境中识别和测试BUG是相当困难的。因此如何确保新版本的应用程序和生产数据运行良好呢?以下几点是我们在MongoDirector推荐的。
1. 安全第一
我们首先关心的是安全性和生产数据的安全。因此我们绝不导出任何生产数据到我们的工作台或者测试环境。我们有的是&伪生产&环境 -- 这是一个和生产环境一样的环境 -- 相同的大小,相同的安全限制。然而它是临时的,只用于测试期间。
2. 克隆生产环境MongoDB集群
我们使用了MongoDirector的&克隆&特性,创建了生产数据了的一个即时副本,因此克隆操作很短暂对生产数据库没有影响。这给予我们一个&伪生产&数据库环境,和生产环境一样的特性 & 相同的数据,相同的机器大小,相同的安全性,相同的集群配置等。
3. 运行广泛的测试
我们运行广泛的测试来确保新版本的应用程序不能和数据导致问题。一旦我们满意,我们就删除&伪生产&环境。
4. 升级生产环境
一旦我们满意于测试结果,我们继续升级生产环境应用。根据特性你也可能升级它为某个客户a.k.a A/B而测试。
关于测试使用MongoDB的应用程序升级,你有其他问题么?你有想分享的工具,技术或建议么?我们很乐意收到您的来信。
英文原文:
更多MongoDB相关教程见以下内容:
编译安装 MongoDB与mongoDB的php扩展
CentOS 6 使用 yum 安装MongoDB及服务器端配置
13.04下安装MongoDB2.4.3
MongoDB入门必读(概念与实战并重)
Ubunu 14.04下MongoDB的安装指南
《MongoDB 权威指南》(MongoDB: The Definitive Guide)英文文字版[PDF]
Nagios监控MongoDB分片集群服务实战
基于CentOS 6.5操作系统搭建MongoDB服务
MongoDB 的详细介绍:MongoDB 的下载地址:
本文永久更新链接地址:
相关资讯 & & &
   同意评论声明
   发表
尊重网上道德,遵守中华人民共和国的各项有关法律法规
承担一切因您的行为而直接或间接导致的民事或刑事法律责任
本站管理人员有权保留或删除其管辖留言中的任意内容
本站有权在网站内转载或引用您的评论
参与本评论即表明您已经阅读并接受上述条款}

我要回帖

更多关于 临床数据录入 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信