neo4j学习笔记：使用neo4jadminimport命令批量处理CSV文件

一、neo4j-admin简要介绍

neo4j-admin是管理neo4j DBMS的主要工具之一&＃xff0c;是一种命令行工具。

neo4j admin命令需与当前neo4j用户一致。

&＃xff08;1&＃xff09;位置&＃xff1a;以neo4j desktop为例&＃xff0c;neo4j-admin在当前project下活动的database的dbms文件夹下的bin文件夹中。

&＃xff08;2&＃xff09;启动方式&＃xff1a;

• 打开当前project的terminal&＃xff1b;
• 进入bin文件夹&＃xff1a;执行cd bin&＃xff0c;此时&＃xff0c;输入neo4j-admin XX&＃xff08;命令&＃xff09;即可。

&＃xff08;3&＃xff09;语法&＃xff1a;neo4j-admin [-hv] [COMMAND]&＃xff0c;常用命令如下&＃xff1a;

        注意环境和neo4j-admin 版本&＃xff01;

• neo4j-admin -h 或 neo4j-admin --help&＃xff1a;显示neo4j-admin帮助信息&＃xff1b;
• neo4j-admin -v 或 neo4j-admin --version&＃xff1a;打印neo4j-admin版本信息&＃xff1b;
• neo4j-admin import&＃xff1a;从一系列CSV文件中导入数据&＃xff0c;使用详见下一节。

二、neo4j-admin import命令

&＃xff08;1&＃xff09;用途&＃xff1a;可用于批量导入CSV数据。

&＃xff08;2&＃xff09;前提&＃xff1a;使用者必须有权限对dbmis.directories.data 和dbms.directories.log进行写入操作。

&＃xff08;3&＃xff09;特点&＃xff1a;仅可用于初始化未运行的空数据库或创建新的数据库&＃xff0c;即&＃xff1a;即便一个已存在的存储过数据的数据库被清空也无法执行import命令。

&＃xff08;4&＃xff09;vs LOAD CSV&＃xff1a;

&＃xff08;5&＃xff09;import 命令的使用&＃xff1a;

neo4j-admin import  [Options]

• Options为可选项&＃xff0c;如有多个&＃xff0c;用空格隔开&＃xff0c;支持以下选项&＃xff1a;

1. --expand -comannds&＃xff1a;
2. --verbose&＃xff1a;
3. --cache-on-heap[&＃61;true/false]&＃xff1a;
4. --force[&＃61;true/false]&＃xff1a;默认为false&＃xff0c;如设置为true表示在导入数据前将存在的数据库文件删除&＃xff0c;可用于需重新导入数据的场景&＃xff0c;例如&＃xff1a;在导入真实数据前&＃xff0c;先导入了测试数据&＃xff0c;打算先看看导入后数据是什么样子&＃xff0c;那么可以设置--force&＃61;true&＃xff0c;这样可以对同一个数据库进行重新导入&＃xff1b;
5. --high-io[&＃61;true/false]&＃xff1a;默认为false&＃xff0c;如设置为true
6. --ignore-empty-strings[&＃61;true/false]&＃xff1a;确定是否忽略数据空字段&＃xff0c;默认为false
7. --trim-strings&＃61;[true/false]&＃xff1a;确定是否在遇到空白行时认为是null&＃xff0c;默认为false

三、CSV格式化文件

        neo4j-admin import命令处理的CSV文件需要满足特定的格式&＃xff0c;即CSV格式化文件&＃xff0c;分为两类&＃xff1a;节点文件&＃xff08;node files&＃xff09; 和 关系文件&＃xff08;relationship files&＃xff09;。基本格式为键值对&＃xff0c;如下&＃xff1a;

:

• name&＃xff1a;指节点属性和节点ID&＃xff0c;其他字段如LABEL等省略name&＃xff1b;
• field_type&＃xff1a;指字段类型&＃xff0c;例如&＃xff1a;ID、LABEL等。

&＃xff08;1&＃xff09;其他要求

• CSV文件的编码格式需为UTF-8。

&＃xff08;2&＃xff09; 建议

• 表头单独建文件&＃xff0c;以便处理和编辑&＃xff1b;
• 用文本编辑器如notepad、vscode等编辑CSV文件&＃xff0c;不建议直接用excel或wps编辑&＃xff0c;容易导致乱码等问题。

3.1 节点文件格式

      CSV节点文件的表头格式如下&＃xff1a;

, , , ..., <:LABEL>

• nodeId:ID&＃xff1a;自定义的节点编号&＃xff0c;对于每个节点这个编号是唯一的&＃xff0c;用于创建关系等后续import操作时索引到指定节点&＃xff1b;
• propertyNameX&＃xff1a;节点属性&＃xff0c;对于属性&＃xff0c;field_type指data_type&＃xff0c;默认为string&＃xff0c;可定义的data_type如下表所示&＃xff1b;
• :LABEL&＃xff1a;&＃xff08;注意前面有冒号&＃xff0c;省略了name&＃xff09;非必选&＃xff0c;用于指定节点的标签&＃xff0c;1个节点可以有多个标签&＃xff0c;赋值时多个标签之间用该CSV文件的分隔符隔开&＃xff0c;默认为“&＃xff1b;”。

    例1&＃xff1a;movies.csv&＃xff0c;文件内容如下&＃xff1a;

movieId:ID,title,year:int,:LABEL
tt0133093,"The Matrix",1999,Movie
tt0234215,"The Matrix Reloaded",2003,Movie;Sequel
tt0242653,"The Matrix Revolutions",2003,Movie;Sequel

        movies.csv 定义了3个&＃xff08;电影&＃xff09;节点&＃xff1a;

• 节点1&＃xff1a;ID为tt0133093&＃xff0c;名字为The Matrix&＃xff0c;年份为1999&＃xff08;整数类型&＃xff09;&＃xff0c;标签为Movie&＃xff1b;
• 节点2&＃xff1a;ID为tt0234215&＃xff0c;名称为The Matrix Reloaded&＃xff0c;年份为2003&＃xff08;整数类型&＃xff09;&＃xff0c;标签为Movie和Sequel&＃xff1b;
• 节点3&＃xff1a;ID为tt0242653&＃xff0c;名字为The Matrix Revolutions&＃xff0c;年份为2003&＃xff08;整数类型&＃xff09;&＃xff0c;标签为Movie和Sequel。

    例2&＃xff1a;actors_header.csv及actors.csv&＃xff0c;文件内容如下&＃xff1a;

actors_header.csv&＃xff1a;
personId:ID,name,:LABEL

actors.csv&＃xff1a;
keanu,"Keanu Reeves",Actor
laurence,"Laurence Fishburne",Actor
carrieanne,"Carrie-Anne Moss",Actor

         actors_header.csv和actors.csv定义了3个&＃xff08;演员&＃xff09;节点&＃xff1a;

• 节点1&＃xff1a;ID为keanu&＃xff0c;名字为Keanu Reeves&＃xff0c;标签为Actor&＃xff1b;
• 节点2&＃xff1a;ID为laurence&＃xff0c;名字为Laurence Fishburne&＃xff0c;标签为Actor&＃xff1b;
• 节点3&＃xff1a;ID为carrieanne&＃xff0c;名字为Carrie-Anne Moss&＃xff0c;标签为Actor。

3.2 关系文件格式

CSV关系文件基本的表头格式为&＃xff1a;

<:START_ID>, <:TYPE>, <:END_ID>, ,...

• :START_ID&＃xff1a;关系的起始节点编号&＃xff08;The ID of the start node for this relationship&＃xff09;必须有&＃xff1b;
• &＃xff1a;TYPE&＃xff1a;关系的类别&＃xff08;relationship types&＃xff09;&＃xff0c;例如&＃xff1a;WORKS_FOR, CONTAINS...&＃xff0c;必须有&＃xff1b;
• :END_ID&＃xff1a;关系的结束节点编号&＃xff08;The ID of the end node for this relationship&＃xff09;&＃xff0c;必须有&＃xff1b;
• RelationshipPropertiesNameX&＃xff1a;关系的属性&＃xff0c;非必须。
• <:START_ID>和<:END_ID>不需要定义name&＃xff0c;如果定义了:或:&＃xff0c;则自动忽略。

    例3&＃xff1a;&＃xff08;基于例1、例2&＃xff09;roles_header.csv和roles.csv内容如下&＃xff1a;

roles_header.csv:
:START_ID,role,:END_ID,:TYPE

roles.csv:
keanu,"Neo",tt0133093,ACTED_IN
keanu,"Neo",tt0234215,ACTED_IN
keanu,"Neo",tt0242653,ACTED_IN
laurence,"Morpheus",tt0133093,ACTED_IN
laurence,"Morpheus",tt0234215,ACTED_IN
laurence,"Morpheus",tt0242653,ACTED_IN
carrieanne,"Trinity",tt0133093,ACTED_IN
carrieanne,"Trinity",tt0234215,ACTED_IN
carrieanne,"Trinity",tt0242653,ACTED_IN

        roles_header.csv和roles.csv定义了一类关系&＃xff0c;创建了9条关系&＃xff1a;

• 关系1&＃xff1a;ID为keanu的Actor   ACTED_IN  ID为tt0133093的Movie&＃xff0c;扮演的role为Neo&＃xff1b;
• 关系2&＃xff1a;ID为keanu的Actor   ACTED_IN  ID为tt0234215的Movie&＃xff0c;扮演的role为Neo&＃xff1b;
• 关系3&＃xff1a;ID为keanu的Actor   ACTED_IN  ID为tt0242653的Movie&＃xff0c;扮演的role为Neo&＃xff1b;
• 关系4&＃xff1a;ID为laurence的Actor   ACTED_IN  ID为tt0133093的Movie&＃xff0c;扮演的role为Morpheus&＃xff1b;
• 关系5&＃xff1a;ID为laurence的Actor   ACTED_IN  ID为tt0234215的Movie&＃xff0c;扮演的role为Morpheus&＃xff1b;
• 关系6&＃xff1a;ID为laurence的Actor   ACTED_IN  ID为tt0242653的Movie&＃xff0c;扮演的role为Morpheus&＃xff1b;
• 关系7&＃xff1a;ID为carrieanne的Actor   ACTED_IN  ID为tt0133093的Movie&＃xff0c;扮演的role为Trinity&＃xff1b;
• 关系8&＃xff1a;ID为carrieanne的Actor   ACTED_IN  ID为tt0234215的Movie&＃xff0c;扮演的role为Trinity&＃xff1b;
• 关系9&＃xff1a;ID为carrieanne的Actor   ACTED_IN  ID为tt0242653的Movie&＃xff0c;扮演的role为Trinity。

3.3 说明

&＃xff08;1&＃xff09;除name:ID、:LABEL、:START_ID、:END_ID、:TYPE外的列都被认为是属性&＃xff1a;

• 如果“&＃xff1a;”前名称省略&＃xff0c;则该列数据读取&＃xff1b;
• 如果为“name:”或者为“:IGNORE”&＃xff0c;则该列数据不读取。

&＃xff08;2&＃xff09;name:ID&＃xff1a;该键值对的设置是为了设置全局ID用于后续查询节点时使用&＃xff1a;

• 如果跨实体有重复的ID编号&＃xff0c;则需要按照“name:ID(group)”形式设置该键值对&＃xff1b;
• 如果定义的ID编号是全局唯一的&＃xff0c;不需要定义group。

四、使用neo4j-admin import命令批量处理CSV文件

样例&＃xff1a;

import文件夹下现有以下CSV文件&＃xff1a;

&＃xff08;1&＃xff09;cutomers.csv

customers.csv:
customerId:ID(Customer), name
23, Delicatessen Inc
42, Delicious Bakery

&＃xff08;2&＃xff09;products.csv

products.csv:
productId:ID(Product), name, price, :LABEL
11,Chocolate,10,Product;Food

&＃xff08;3&＃xff09;orders_header.csv

orders_header.csv:
orderId:ID(Order),date,total,customerId:IGNORE

&＃xff08;4&＃xff09;customer_orders_header.csv

customer_orders_header.csv:
:END_ID(Order),date:IGNORE,total:IGNORE,:START_ID(Customer)

&＃xff08;5&＃xff09;orders1.csv

orders1.csv:
1041,2020-05-10,130,23

&＃xff08;6&＃xff09;orders2.csv

orders2.csv:
1042,2020-05-12,20,42

&＃xff08;7&＃xff09;order_details.csv

order_details.csv:
:START_ID(Order),amount,price,:END_ID(Product)
1041,13,130,11
1042,2,20,11

 执行如下neo4j-admin命令&＃xff1a;

../bin/neo4j-admin import --database&＃61;orders
--nodes&＃61;Customer&＃61;import/customers.csv
--nodes&＃61;import/products.csv
--nodes&＃61;Order&＃61;"import/orders_header.csv,import/orders1.csv,import/orders2.csv"
--relationships&＃61;CONTAINS&＃61;import/order_details.csv
--relationships&＃61;ORDERED&＃61;"import/customer_orders_header.csv,import/orders1.csv,orders2.csv"
--trim-strings&＃61;true

 &＃xff08;注&＃xff1a;此处为了便于阅读使用分行显示&＃xff0c;实际操作时不分行&＃xff0c;用空格隔开&＃xff09;

执行后&＃xff1a;

1. 创建了名为orders的新数据库&＃xff08;--database&＃61;orders&＃xff09;&＃xff1b;
2. 创建了LABEL为Customer的节点&＃xff0c;节点文件为customers.csv&＃xff1a;节点1&＃xff1a;ID&＃xff08;编号&＃xff09;为23&＃xff0c;name&＃xff08;属性名称&＃xff09;为Delicatessen Inc&＃xff1b;节点2&＃xff1a;ID&＃xff08;编号&＃xff09;为42&＃xff0c;name&＃xff08;属性名称&＃xff09;为Delicious Bakery&＃xff1b;这里表头customerId:ID(Customer)的Customer定义了该节点的group为Customer&＃xff0c;目的是防止在跨实体查询节点编号时有重复的ID编号。
3. 创建了LABEL为Product和Food的节点&＃xff08;LABEL定义来自products.csv的表头&＃xff09;&＃xff0c;节点文件为products.csv&＃xff0c;节点1&＃xff1a;ID&＃xff08;编号&＃xff09;为11&＃xff0c;name&＃xff08;属性&＃xff1a;名称&＃xff09;为Chocolate&＃xff0c;price&＃xff08;属性&＃xff1a;价格&＃xff09;为10。
4. 创建了LABEL为Order的节点&＃xff0c;节点文件为orders_header.csv、orders1.csv、orders2.csv&＃xff0c;节点1&＃xff1a;ID&＃xff08;编号&＃xff09;为1041&＃xff0c;date&＃xff08;属性&＃xff1a;日期&＃xff09;为2020-05-10&＃xff0c;total&＃xff08;属性&＃xff1a;总数&＃xff09;为130&＃xff1b;节点2&＃xff1a;ID&＃xff08;编号&＃xff09;为1042&＃xff0c;date&＃xff08;属性&＃xff1a;日期&＃xff09;为2020-05-12&＃xff0c;total&＃xff08;属性&＃xff1a;总数&＃xff09;为20。:IGNORE列表示省略&＃xff08;该列设置的目的是为了对应orders1.csv和orders2.csv的数据列&＃xff0c;这两个文件被重复使用&＃xff09;
5. 创建了关系类型Type为CONTAINS的关系&＃xff0c;关系文件为orders_details.csv&＃xff0c;关系1&＃xff1a;START_ID&＃xff08;起始节点编号&＃xff09;为group为Order的1041&＃xff0c;END_ID&＃xff08;结束节点编号&＃xff09;为group为Product的11&＃xff0c;amount&＃xff08;属性&＃xff1a;数量&＃xff09;为13&＃xff0c;price&＃xff08;属性&＃xff1a;价格&＃xff09;为130&＃xff1b;关系2&＃xff1a;START_ID&＃xff08;起始节点编号&＃xff09;为group为Order的1042&＃xff0c;END_ID&＃xff08;结束节点编号&＃xff09;为group为Product的11&＃xff0c;amount&＃xff08;属性&＃xff1a;数量&＃xff09;为2&＃xff0c;price&＃xff08;属性&＃xff1a;价格&＃xff09;为20。
6. 创建了关系类型Type为ORDERED的关系&＃xff0c;关系文件为customer_orders_header.csv、orders1.csv、orders2.csv&＃xff0c;关系1&＃xff1a;START_ID&＃xff08;起始节点编号&＃xff09;为group为Customer的23&＃xff0c;END_ID&＃xff08;结束节点编号&＃xff09;为group为Order的1041&＃xff0c;关系无属性&＃xff1b;关系2&＃xff1a;START_ID&＃xff08;起始节点编号&＃xff09;为group为Customer的42&＃xff0c;END_ID&＃xff08;结束节点编号&＃xff09;为group为Order的1042&＃xff0c;无其他关系属性。
7. 设置trim-strings&＃61;true表示&＃xff1a;如字符串值为空白行&＃xff0c;则认为该值为null。

五、导入后在neo4j browser/desktop查询数据

1. 使用neo4j-admin import前关闭server&＃xff1b;
2. 执行neo4j-admin import命令&＃xff0c;database&＃61;dbName&＃xff0c;确认导入成功&＃xff1b;
3. 打开neo4j browser/desktop server&＃xff1b;
4. 创建与database名称相同的数据库&＃xff08;即执行&＃xff1a;create database dbName&＃xff09;&＃xff0c;切换到该数据库&＃xff08;dbName&＃xff09;后即可使用查询语句。

参考&＃xff1a;Re: Neo4j-admin import successful but no data show... - Neo4j - 13384neo4j import显示成功但是查询没有数据_mydoubts的博客-CSDN博客_neo4j导入csv文件成功但查不到数据

本文参考neo4j官方文档&＃xff1a;

Import - Operations Manual 

Importing CSV Data into Neo4j - Developer Guides