天道酬勤,学无止境

python hadoop接口

使用python来访问Hadoop HDFS存储实现文件的操作

在调试环境下,咱们用hadoop提供的shell接口测试增加删除查看,但是不利于复杂的逻辑编程查看文件内容www.xiaorui.cc用python访问hdfs是个很头疼的事情。。。。这个是pyhdfs的库import pyhdfs fs = pyhdfs.connect("192.168.1.1", 9000) pyhdfs.get(fs, "/rui/111", "/var/111") f = pyhdfs.open(fs, "/test/xxx", "w") pyhdfs.write(fs, f, "fuck\0gfw\n") pyhdfs.close(fs, f) pyhdfs.disconnect(fs)pyhdfs的安装过程很吐血svn checkout http://libpyhdfs.googlecode.com/svn/trunk/ libpyhdfs cd libpyhdfs cp /usr/lib/hadoop-0.20/hadoop-core-0.20.2-cdh3u0.jar lib/hadoop-0.20.1-core.jar cp /usr/lib/hadoop-0.20/lib/commons-logging-1.0.4.jar lib/ cp /usr/lib/libhdfs.so.0 lib/ ln –s lib/libhdfs.so.0 lib

2021-06-01 20:14:13    分类:博客    python hadoop接口   python hdfs   python hadoop   hadoop