1
monkeylyf 2014-10-17 07:03:09 +08:00
如果是用Java来调用Native API,个人现在的做法是把mapreduce写的尽量是纯函数调用而尽量避免mapper或者reducer里定义任何具体的逻辑. 这样外调函数可以用JUnit来测, Mapper/Reducer可以用MRUnit
总之是非常蛋疼的事情。。而且如果input数据比较脏的话一切皆有可能。。 |
2
bbx OP @monkeylyf 你的做法也是我们组大部分其他人的做法. 但是有的时候想要测试一个pipeline的话,有很多个mr job,需要一个一个的运行,unit test总觉得不够好。
mrunit没试过,不知道真正用起来如何 |
3
monkeylyf 2014-10-17 07:14:59 +08:00
@bbx 做end-to-end unit test. 我自己写过脚本把这个pipeline的每个component都串起来然后测 这个脚本我自己写了半天 不知道有没有现成的工具 想想就蛋疼阿。。。
|
4
wecoders 2014-10-17 08:25:48 +08:00
使用小数据量进行测试
|
7
monkeylyf 2014-10-17 12:08:26 +08:00
@bbx 私以为这种工作量比写这个pipeline还要大 如果抽象出来可以给公司级别的 提供testing framework 说不定是个好主意和机会噢
|
8
sqrabs 2014-10-18 21:35:26 +08:00
都是写python代码通过hadoop streaming跑job,因为streaming是用stdin、stdout跟hadoop通信的,测试起来就直接通过stdin、stdout看输入输出就好,上层再封一层薄框架就更方便了
|