1. 编写 Pig Latin 脚本：
首先，你需要编写一个Pig Latin脚本，描述你的数据处理任务。脚本包括一系列Pig Latin命令，用于加载数据、转换数据并将结果存储在目标位置。例如：
-- 载入数据
data = LOAD 'input.txt' USING PigStorage(',') AS (name:chararray, age:int);
-- 转换数据
result = FOREACH data GENERATE name, age + 5;
-- 存储结果
STORE result INTO 'output';
2. 运行 Pig Latin 脚本：
保存你的Pig Latin脚本（例如，保存为 script.pig），然后运行以下命令：
pig script.pig
这会启动Pig执行引擎，并提交你的脚本进行执行。Pig会将脚本转换为底层的MapReduce作业，并在Hadoop集群上执行这些作业。
3. 使用 Grunt Shell（交互式模式）：
你还可以使用Pig的交互式Shell（Grunt Shell）来逐行执行Pig Latin命令。在终端中运行以下命令启动Grunt Shell：
pig
然后，你可以在Grunt Shell中逐行输入和执行Pig Latin命令。
4. 查看执行结果：
Pig执行引擎会将执行结果输出到指定的目标位置。在上面的例子中，结果将存储在名为 'output' 的目录中。你可以使用Hadoop命令（例如 hdfs dfs -cat）或其他适当的工具查看结果。
5. 查看日志和报告：
Pig会生成执行过程中的日志和报告，这些信息对于调试和性能优化非常有用。你可以查看Pig的日志文件，通常在执行结束后会在终端中显示有关执行的摘要信息。
6. 使用 Pig UDFs（可选）：
如果你编写了自定义函数（User-Defined Functions，UDFs），在执行脚本之前确保将相关的JAR文件添加到执行环境中。可以使用 -D 选项指定额外的JAR文件：
pig -Dpig.additional.jars=<path_to_jar> script.pig
注意事项：
- 确保Hadoop集群正常运行，并且Pig能够访问Hadoop的配置。
- 在执行脚本之前，确保你的输入和输出路径在HDFS中是可用的。
- 定期查看执行日志，以便及时发现和解决潜在的问题。
通过上述步骤，你应该能够成功执行Apache Pig脚本并处理大规模的数据。
转载请注明出处：http://www.zyzy.cn/article/detail/11082/Apache Pig