【介绍】

由于以往配置大数据处理流程比较复杂，所以PiFlow（大数据流水线系统）应运而生了，它是通过将每一个数据处理环节进行封装，变成一个个单独的组件，使用者可以根据实际的处理需要，像拼积木一样组装起来，所见即所得。

软件特色

简单易用：

可视化配置流水线。

监控流水线。

查看流水线日志。

检查点功能。

扩展性强：

支持自定义开发数据处理组件。

性能优越：

基于分布式计算引擎Spark开发。

功能强大：

提供100+的数据处理组件。

包括Hadoop 、Spark、MLlib、Hive、Solr、Redis、MemCache、ElasticSearch、JDBC、MongoDB、HTTP、FTP、XML、CSV、JSON等。

PiFlow（大数据流水线系统）集成了微生物领域的相关算法。

使用方法

解压piflow-server-v0.9.tar.gz。

tar -zxvf piflow-server-v0.9.tar.gz。

编辑配置文件config.properties。

运行、停止、重启PiFlow Server。

start.sh、stop.sh、 restart.sh、 status.sh。

测试 PiFlow Server。

设置环境变量 PIFLOW_HOME。

vim /etc/profile。

export PIFLOW_HOME=/yourPiflowPath/bin。

export PATH=PATH:PIFLOW_HOME/bin。

运行如下命令。

piflow flow start example/mockDataFlow.json。

piflow flow stop appID。

piflow flow info appID。

piflow flow log appID。

piflow flowGroup start example/mockDataGroup.json。

piflow flowGroup stop groupId。

piflow flowGroup info groupId。

如何配置config.properties。

#spark and yarn config。

spark.master=yarn。

spark.deploy.mode=cluster。

#hdfs default file system。

fs.defaultFS=hdfs://10.0.86.191:9000。

#yarn resourcemanager.hostname。

yarn.resourcemanager.hostname=10.0.86.191。

#if you want to use hive, set hive metastore uris。

#hive.metastore.uris=thrift://10.0.88.71:9083。

#show data in log, set 0 if you do not want to show data in logs。

data.show=10。

#server port

server.port=8002

#h2db port

h2.port=50002

喜欢小编为您带来的PiFlow（大数据流水线系统）吗？希望可以帮到您~更多软件下载尽在软件爱好者