DB数据怎么导入DBFS中

DBFS是什么？

是HDFS吧
SQOOP可用，效率根据你的RDBMS的磁盘速度和Map槽位的数量决定
假设这个单机是接入一个千兆交换机，和hadoop所有节点全部独联千兆
算笔账
假设Map槽有1000个（大概 90个节点）
30T*1024*1024 = 31457280 MB
千兆是 128mb/s，由于各种损耗打个对折 64mb/s （可能30mb/s都没有）
31457280 / 64 / 1000 = 491秒 （根据集群的性能，需要调整）
最后这个数字乘以 2 大概就是耗时

引用 2 楼 tntzbzc 的回复:

是HDFS吧
SQOOP可用，效率根据你的RDBMS的磁盘速度和Map槽位的数量决定
假设这个单机是接入一个千兆交换机，和hadoop所有节点全部独联千兆
算笔账
假设Map槽有1000个（大概 90个节点）
30T*1024*1024 = 31457280 MB
千兆是 128mb/s，由于各种损耗打个对折 64mb/s （可能30mb/s都没有）
31457280 / 64 / 1000 = 491秒 （根据集群的性能，需要调整）
最后这个数字乘以 2 大概就是耗时

请问，您是否实际操作过同类的大数据导入？

引用 3 楼 weili0627 的回复:

请问，您是否实际操作过同类的大数据导入？

有做过 ，怎么了？

引用 4 楼 tntzbzc 的回复:

Quote: 引用 3 楼 weili0627 的回复:

请问，您是否实际操作过同类的大数据导入？

有做过 ，怎么了？

没有什么，只是想知道，您的运算是否在实际情况下验证过。
还有一个问题，想请教您一下，我在一个server上进行了hadoop的伪发布，只想提交一下hello world作业看看结果。我在启动完成后，想使用50030 50073查看一个web监控，但是不能正常访问。jps查看了一个四个服务都在，然后又查看了一个对应的四个log文件，启动日志也正常没有错误，并且日志表明两个端口已经正常打开，但是我用netstat又看不到这两个端口，请问大师，这是怎么回事？

引用 5 楼 weili0627 的回复:

Quote: 引用 4 楼 tntzbzc 的回复:

Quote: 引用 3 楼 weili0627 的回复:

请问，您是否实际操作过同类的大数据导入？

有做过 ，怎么了？

没有什么，只是想知道，您的运算是否在实际情况下验证过。
还有一个问题，想请教您一下，我在一个server上进行了hadoop的伪发布，只想提交一下hello world作业看看结果。我在启动完成后，想使用50030 50073查看一个web监控，但是不能正常访问。jps查看了一个四个服务都在，然后又查看了一个对应的四个log文件，启动日志也正常没有错误，并且日志表明两个端口已经正常打开，但是我用netstat又看不到这两个端口，请问大师，这是怎么回事？

在Web访问客户机上，添加hadoop节点的hosts

引用 6 楼 tntzbzc 的回复:

Quote: 引用 5 楼 weili0627 的回复:

Quote: 引用 4 楼 tntzbzc 的回复:

Quote: 引用 3 楼 weili0627 的回复:

请问，您是否实际操作过同类的大数据导入？

有做过 ，怎么了？

没有什么，只是想知道，您的运算是否在实际情况下验证过。
还有一个问题，想请教您一下，我在一个server上进行了hadoop的伪发布，只想提交一下hello world作业看看结果。我在启动完成后，想使用50030 50073查看一个web监控，但是不能正常访问。jps查看了一个四个服务都在，然后又查看了一个对应的四个log文件，启动日志也正常没有错误，并且日志表明两个端口已经正常打开，但是我用netstat又看不到这两个端口，请问大师，这是怎么回事？

在Web访问客户机上，添加hadoop节点的hosts

启动日志中存在如下两个疑点，两段的最后一句其中的IP地址都是0.0.0.0:port，请教大师是怎么回事？按照您说的，我已经修改了我win7客户端的hosts列表，虽然启动依然正常，但还是不能正常访问web监控。
1、hadoop-root-namenode-master.log
2014-01-14 09:39:17,031 INFO org.apache.hadoop.http.HttpServer: Port returned by webServer.getConnectors()[0].getLocalPort() before open() is -1. Opening the listener on 50070
2014-01-14 09:39:17,032 INFO org.apache.hadoop.http.HttpServer: listener.getLocalPort() returned 50070 webServer.getConnectors()[0].getLocalPort() returned 50070
2014-01-14 09:39:17,032 INFO org.apache.hadoop.http.HttpServer: Jetty bound to port 50070
2014-01-14 09:39:17,032 INFO org.mortbay.log: jetty-6.1.26
2014-01-14 09:39:17,345 INFO org.mortbay.log: Started SelectChannelConnector@0.0.0.0:50070
2014-01-14 09:39:17,346 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: Web-server up at: 0.0.0.0:50070
2、hadoop-root-jobtracker-master.log
2014-01-14 09:39:24,101 INFO org.apache.hadoop.http.HttpServer: Added global filtersafety (class=org.apache.hadoop.http.HttpServer$QuotingInputFilter)
2014-01-14 09:39:24,132 INFO org.apache.hadoop.http.HttpServer: Port returned by webServer.getConnectors()[0].getLocalPort() before open() is -1. Opening the listener on 50030
2014-01-14 09:39:24,133 INFO org.apache.hadoop.http.HttpServer: listener.getLocalPort() returned 50030 webServer.getConnectors()[0].getLocalPort() returned 50030
2014-01-14 09:39:24,133 INFO org.apache.hadoop.http.HttpServer: Jetty bound to port 50030
2014-01-14 09:39:24,133 INFO org.mortbay.log: jetty-6.1.26
2014-01-14 09:39:24,407 INFO org.mortbay.log: Started SelectChannelConnector@0.0.0.0:50030

贴你的hadoop配置文件
hosts 文件
network 文件

引用 8 楼 tntzbzc 的回复:

贴你的hadoop配置文件
hosts 文件
network 文件

1、hosts:
127.0.0.1 localhost
192.168.129.145 master
2、network
NETWORKING=yes
HOSTNAME=master
3、core-site.xml






  
    fs.default.name
    hdfs://master:9000
  

4、hdfs-site.xml






  
    dfs.replication
    1
  
  
    dfs.permissions
    false
  

5、mapred-site.xml






  
    mapred.job.tracker
    master:9001
  

很奇怪，配置感觉没什么问题

什么版本的hadoop

引用 10 楼 tntzbzc 的回复:

很奇怪，配置感觉没什么问题

什么版本的hadoop

hadoop-1.0.3版本。
满心期待大师的回复，虽然有点失望，但还是感谢大师。
这个问题，我也在网上找了很长时间了。

引用 11 楼 weili0627 的回复:

Quote: 引用 10 楼 tntzbzc 的回复:

很奇怪，配置感觉没什么问题

什么版本的hadoop

hadoop-1.0.3版本。
满心期待大师的回复，虽然有点失望，但还是感谢大师。
这个问题，我也在网上找了很长时间了。

1.0.3有几个蛮严重的bug，但会不会导致你这个问题，我不确定，需要去jira索引一下
你的TMP目录没配置，hadoop会用默认目录（目录文件夹位置我忘了）
你去看一下这目录的权限是不是有问题

给你3个建议
1、在hadoop1.x的所有版本中，1.0.4 1.1.2 1.2.1 这三个版本是我感觉最稳定，可以尝试换一下
2、配置tmp，重新format namenode再试
3、检查端口、防火墙，看看是不是有问题（我觉得应该没问题）

感谢大师，我重新设置了tmp，然后取消了防火墙，reboot后，重新format，就好用了，呵呵。

再次感谢大师。