Python项目使用协议缓冲区,部署问题

我有一个使用setuptools进行部署的Python项目,我大多数都遵循本指南的项目结构.该项目使用Google Protocol Buffers定义网络消息格式.我的主要问题是如何在安装过程中使setup.py调用protoc-compiler以将定义构建到_pb2.py文件中.

在这个问题中,建议只是将生成的_pb2.py文件与项目一起分发.虽然这可能适用于非常类似的平台,但我发现有几种情况不适用.例如,当我在使用Anaconda Python的Mac上进行开发并将生成的_pb2.py与项目的其余部分一起复制到运行Raspbian的Raspberry Pi时,总会有来自_pb2.py模块的导入错误.但是,如果我在Pi上新编译.proto文件,项目将按预期工作.因此,分发编译的文件似乎不是一个选项.

在这里寻找工作和最佳实践解决方案.可以假设protoc-compiler安装在目标平台上.

编辑:

由于人们询问失败的原因.在Mac上,protobuf版本是2.6.1.在Pi上它是2.4.1.显然,生成的protoc编译器输出使用的内部API已更改.输出基本上是:

  File "[...]network_manager.py", line 8, in 
      import InstrumentControl.transports.serial_bridge_protocol_pb2 as protocol
  File "[...]serial_bridge_protocol_pb2.py", line 9, in 
      from google.protobuf import symbol_database as _symbol_database
  ImportError: cannot import name symbol_database

jan.. 12

好的,我解决了这个问题,而不需要用户安装特定的旧版本或在我的开发机器之外的另一个平台上编译proto文件.它的灵感来自protobuf本身的setup.py脚本.

首先,需要找到protoc,这可以使用

# Find the Protocol Compiler.
if 'PROTOC' in os.environ and os.path.exists(os.environ['PROTOC']):
  protoc = os.environ['PROTOC']
else:
  protoc = find_executable("protoc")

此函数将编译.proto文件并将_pb2.py放在同一位置.但是,行为可以任意改变.

def generate_proto(source):
  """Invokes the Protocol Compiler to generate a _pb2.py from the given
  .proto file.  Does nothing if the output already exists and is newer than
  the input."""

  output = source.replace(".proto", "_pb2.py")

  if (not os.path.exists(output) or
      (os.path.exists(source) and
       os.path.getmtime(source) > os.path.getmtime(output))):
    print "Generating %s..." % output

    if not os.path.exists(source):
      sys.stderr.write("Can't find required file: %s\n" % source)
      sys.exit(-1)

    if protoc == None:
      sys.stderr.write(
          "Protocol buffers compiler 'protoc' not installed or not found.\n"
          )
      sys.exit(-1)

    protoc_command = [ protoc, "-I.", "--python_out=.", source ]
    if subprocess.call(protoc_command) != 0:
      sys.exit(-1)

接下来,派生类_build_py和_clean以添加构建和清理协议缓冲区.

# List of all .proto files
proto_src = ['file1.proto', 'path/to/file2.proto']

class build_py(_build_py):
  def run(self):
    for f in proto_src:
        generate_proto(f)
    _build_py.run(self)

class clean(_clean):
  def run(self):
    # Delete generated files in the code tree.
    for (dirpath, dirnames, filenames) in os.walk("."):
      for filename in filenames:
        filepath = os.path.join(dirpath, filename)
        if filepath.endswith("_pb2.py"):
          os.remove(filepath)
    # _clean is an old-style class, so super() doesn't work.
    _clean.run(self)

最后,参数

cmdclass = { 'clean': clean, 'build_py': build_py }   

需要添加到设置调用,一切都应该工作.仍然需要检查可能的怪癖,但到目前为止它在Mac和Pi上完美无瑕.

好的,我解决了这个问题,而不需要用户安装特定的旧版本或在我的开发机器之外的另一个平台上编译proto文件.它的灵感来自protobuf本身的setup.py脚本.

首先,需要找到protoc,这可以使用

# Find the Protocol Compiler.
if 'PROTOC' in os.environ and os.path.exists(os.environ['PROTOC']):
  protoc = os.environ['PROTOC']
else:
  protoc = find_executable("protoc")

此函数将编译.proto文件并将_pb2.py放在同一位置.但是,行为可以任意改变.

def generate_proto(source):
  """Invokes the Protocol Compiler to generate a _pb2.py from the given
  .proto file.  Does nothing if the output already exists and is newer than
  the input."""

  output = source.replace(".proto", "_pb2.py")

  if (not os.path.exists(output) or
      (os.path.exists(source) and
       os.path.getmtime(source) > os.path.getmtime(output))):
    print "Generating %s..." % output

    if not os.path.exists(source):
      sys.stderr.write("Can't find required file: %s\n" % source)
      sys.exit(-1)

    if protoc == None:
      sys.stderr.write(
          "Protocol buffers compiler 'protoc' not installed or not found.\n"
          )
      sys.exit(-1)

    protoc_command = [ protoc, "-I.", "--python_out=.", source ]
    if subprocess.call(protoc_command) != 0:
      sys.exit(-1)

接下来,派生类_build_py和_clean以添加构建和清理协议缓冲区.

# List of all .proto files
proto_src = ['file1.proto', 'path/to/file2.proto']

class build_py(_build_py):
  def run(self):
    for f in proto_src:
        generate_proto(f)
    _build_py.run(self)

class clean(_clean):
  def run(self):
    # Delete generated files in the code tree.
    for (dirpath, dirnames, filenames) in os.walk("."):
      for filename in filenames:
        filepath = os.path.join(dirpath, filename)
        if filepath.endswith("_pb2.py"):
          os.remove(filepath)
    # _clean is an old-style class, so super() doesn't work.
    _clean.run(self)

最后,参数

cmdclass = { 'clean': clean, 'build_py': build_py }   

需要添加到设置调用,一切都应该工作.仍然需要检查可能的怪癖,但到目前为止它在Mac和Pi上完美无瑕.