ruby样本数据处理1

关于我的论文课题。

目前实验在预处理数据阶段&＃xff0c;关于瓦斯预警系统的实现。

原始数据为access存储的一年的数据。是KJ70系统所用到的处理数据。

里面的格式是一个库里有一个月每天的数据&＃xff0c;以及这一个月里的报警情况。

昨天试了一下用matlab不太适应。上手不快&＃xff0c;所以数据预处理放在ruby里实现&＃xff0c;得到学习样本&＃xff0c;然后放到matlab里训练网络模型。

----基本思路是这样。

下面跟ruby处理数据库的方法。

首先是用ODBC连接数据库。ruby里面已经集成了DBI了&＃xff0c;所以直接&＃xff1a;

require &＃39;DBI&＃39;

conn &＃61; DBI.connect(&＃39;DBI:ODBC:01&＃39;,&＃39;elite&＃39;,&＃39;system_project&＃39;)

current_tables&＃61;conn.tables

rs &＃61; conn.select_all(&＃39;SELECT * FROM TABLE&＃39;)

可以根据current_tables.class和rs.class看到这两个变量都是array型的。下面的操作就比较简单了。

整个原始数据的处理代码&＃xff1a;

require &＃39;DBI&＃39;
conn &＃61; DBI.connect(&＃39;DBI:ODBC:01&＃39;,&＃39;elite&＃39;,&＃39;system_project&＃39;)
current_tables&＃61;conn.tables

def get_column_names(connection,table_name)
connection.columns(table_name).collect { |i| i.name }
end

columns&＃61;get_column_names(conn,&＃39;01&＃39;)
column_time&＃61;columns[0]
column_position&＃61;columns[1]
column_equip&＃61;columns[2]
column_data&＃61;columns[3]

def process_date(timestamp,tablename)
str&＃61;timestamp.to_s
arr&＃61;str.split(" ")
year&＃61;2006
month&＃61;1
day&＃61;tablename.to_i
t&＃61;arr[1].split(&＃39;.&＃39;)[0].split(&＃39;:&＃39;)
hour&＃61;t[0].to_i
min&＃61;t[1].to_i
sec&＃61;t[2].to_i
(day-1)*24*60*60&＃43;hour*60*60&＃43;min*60&＃43;sec
end

def update_time(arr,month)
arr.each do |elem|
    elem[0]&＃61;process_date(elem[0],month)
end
arr.sort_by{|x| x[0]}
end

month&＃61;nil
gas_rs&＃61;wind_rs&＃61;tpt_rs&＃61;co_rs&＃61;prs_rs&＃61;Array.new
(1..2).each do |i|
if i<10
    month&＃61;"0"&＃43;i.to_s
else
    month&＃61;i.to_s
end
gm&＃61;conn.select_all("select #{column_time},#{column_data} from #{month} where #{column_position}&＃61;21")
wm&＃61;conn.select_all("select #{column_time},#{column_data} from #{month} where #{column_position}&＃61;22")
tm&＃61;conn.select_all("select #{column_time},#{column_data} from #{month} where #{column_position}&＃61;25")
cm&＃61;conn.select_all("select #{column_time},#{column_data} from #{month} where #{column_position}&＃61;26")
pm&＃61;conn.select_all("select #{column_time},#{column_data} from #{month} where #{column_position}&＃61;4")
#update database 01 time attribute
   gas_rs.push(update_time(gm,month.to_i))
   wind_rs.push(update_time(wm,month.to_i))
   tpt_rs.push(update_time(tm,month.to_i))
   co_rs.push(update_time(cm,month.to_i))
   prs_rs.push(update_time(pm,month.to_i))
end

def create_seq(gas,wind,tpt,co,prs)
value&＃61;Array.new
(0..gas.length-2).to_a.each do |i|
    value[i]&＃61;[gas[i][0],gas[i][1],wind[i][1],tpt[i][1],co[i][1],prs[i][1]]
end
value
end

seq1&＃61; create_seq(gas_rs,wind_rs,tpt_rs,co_rs,prs_rs).sort

msq &＃61; DBI.connect(&＃39;DBI:ODBC:seq&＃39;,&＃39;root&＃39;,&＃39;&＃39;)

msq.do("CREATE TABLE seq1 (
             time INT NOT NULL primary key,
             gas float NOT NULL,
             wind_speed FLOAT,
             temperature FLOAT,
             carbon_monoxide FLOAT,
             air_pressure FLOAT)")

msq.do("INSERT INTO seq1 (time,gas,wind_speed,temperature,carbon_monoxide,air_pressure)
                  VALUES
                    (#{seq1[0]},#{seq1[1].to_f},#{seq1[2].to_f},#{seq1[3].to_f},#{seq1[4].to_f})
                    ")

msq.do("INSERT INTO seq1 (time)
                  VALUES
                    (#{seq1[0].to_i})
                    ")

(0..seq1.length-1).each do |i|
   msq.do("INSERT INTO seq1 (time,gas,wind_speed,temperature,carbon_monoxide,air_pressure)
                  VALUES
                    (#{seq1[i][0]},#{seq1[i][1]},#{seq1[i][2]},#{seq1[i][3]},#{seq1[i][4]},#{seq1[i][5]})
                    ")
end

按照KJ70采集的数据&＃xff0c;第一个月17天内的各种数据变化图&＃xff1a;

瓦斯浓度序列图