总体而言：我尝试使用 Cloudbuild 和 Cloudrun 构建 BERT 模型。我将模型（参数）和元数据（标签）保存在 GCP Cloud Storage 中。但是，我遇到了加载元数据.bin 的错误...

总体而言： 我尝试使用 Cloudbuild 和 Cloudrun 。我将模型（参数）和元数据（标签）保存在 GCP 云存储中。但是，我在通过 joblib.load() 加载 metadata.bin 文件时遇到了错误。 我的 metadata.bin 文件包含 UTF-8 字符，但 joblib.load 需要 ASCII 字符。在我的版本中，默认协议是 4，但错误消息表明协议是 0。

相关依赖项： python 3.8.0、joblib 1.1.1（我已经尝试升级最近的版本）、google-api-core==2.19.1、google-auth==2.32.0、google-cloud-core==2.4.1、google-cloud-storage==2.18.0

我的努力： 我已经审理了两起案件。

1. 在 本地 。在这种情况下， 在 GCP Cloud Storage 下载 model.bin 和 metadata.bin 文件都可以 .
2. 上尝试过 docker 。在这种情况下， 在 dockerized 容器中加载 metadata.bin 文件和 model.bin 文件也有效 .

错误详情 ：
`

  File "./src_review/model_server.py", line 70, in load_bert_model
      metadata = joblib.load(metadata_path)
  File "/usr/local/lib/python3.8/site-packages/joblib/numpy_pickle.py", line 658, in load
      obj = _unpickle(fobj, filename, mmap_mode)
  File "/usr/local/lib/python3.8/site-packages/joblib/numpy_pickle.py", line 577, in _unpickle
      obj = unpickler.load()
  File "/usr/local/lib/python3.8/pickle.py", line 1210, in load
      dispatch[key[0]](self)
  File "/usr/local/lib/python3.8/pickle.py", line 1244, in load_persid
      raise UnpicklingError(
          _pickle.UnpicklingError: persistent IDs in protocol 0 must be ASCII strings`

我的代码： `

 def load_bert_model(config: argparse.Namespace):
      bucket = storage_client.bucket(bucket_name)
      model_blob = bucket.blob(model_file)
      metadata_blob = bucket.blob(metadata_file)        

      local_model_path = '/tmp/pytorch_model.bin'
      metadata_path = '/tmp/meta.bin'    

      print(f"Downloading model to {local_model_path}")

      model_blob.download_to_filename(local_model_path)        
      log.info(f"Model downloaded to {local_model_path}")
      metadata_blob.download_to_filename(metadata_path)
      log.info(f"Metadata (label) downloaded to {metadata_path}")

      metadata = joblib.load(metadata_path)
    ...`

来自GCP官方文档

`

def upload_directory_with_transfer_manager(bucket_name, source_directory, workers=1):
    bucket = create_bucket_if_not_exists(bucket_name)
    directory_as_path_obj = Path(source_directory)
    paths = directory_as_path_obj.rglob("*.bin")

    file_paths = [path for path in paths if path.is_file()]

    relative_paths = [path.relative_to(source_directory) for path in file_paths]

    string_paths = [str(path) for path in relative_paths]

    print("Found {} files.".format(len(string_paths)))

    results = transfer_manager.upload_many_from_filenames(
        bucket, string_paths, source_directory=source_directory, max_workers=workers, skip_if_exists=False
    )

    for name, result in zip(string_paths, results):
        if isinstance(result, Exception):
            print("Failed to upload {} due to exception: {}".format(name, result))
        else:
            print("Uploaded {} to {}.".format(name, bucket.name))

`

预期原因： 我认为 cloud run config 与我的测试环境有很大不同。但我无法预期主要原因。

谢谢你的努力！

@Mike'Pomax'Kamermans 这个家伙不使用 create_task 问题是不同的

当您创建一个 asyncio 任务时，您不能只是“发射并忘记”它 - 您必须在某处保留对它的引用 - 并最终检查它是否完成，这样您就可以丢弃您的引用。

正如您发现的（在评论中） - 需要将任务归因于局部变量 - 但与您的 IDE 报告不同，这还不够 - 就像仅仅归因于变量并丢弃它一样，您没有任何参考。

使用一个容器，比如 set() ，并生成另一个任务来检查它们是否完成，也许使用一个 asyncio.wait 调用：

import asyncio

all_jobs = set()

async def poll(self, interval: int):
    if self.is_config_applied:
        while True:
            # ...
            
            all_jobs.add(asyncio.create_task(make_logging_job(
                params={
                    **self.polling_results
                },
            )))

asyncio def task_waiter():
    while True:
        pending, done = await asyncio.wait(all_jobs, timeout=10) # collect once each 10 seconds - change at your will
        all_jobs.clear()
        all_jobs.update(pending)


# and wherever in your code, where you call `poll`, instead of
# just `await poll` do:

async def main(...):
    ...
    # await poll(...)  #old code, commented out
    poll_task = asyncio.create_task(poll(...))
    waiter_task = asyncio.create_task(task_waiter())
    await asyncio.gather(poll_task, waiter_task)

我正在使用树莓派开发一个信息亭演示幻灯片程序，幻灯片在计算机显示器上运行良好，但当我在电视上尝试该程序时，它会在大约之后重置为第一个视频......

我正在使用 Raspberry Pi 开发一个信息亭演示幻灯片程序，幻灯片在计算机显示器上可以正常播放，但当我在电视上尝试该程序时，它会在大约 65 秒后重置为第一个视频。我们有多台 Raspberry Pi，但都存在同样的问题。刷新率和分辨率设置为 1920 x 1080 和 60 赫兹。

演示的总时长应为 3 分钟左右，但它总是在 65 秒时停止，只有在 Chromium 处于信息亭模式时才会在电视上显示。有一个程序在启动时运行，以信息亭模式启动 Chromium，设置正确的显示分辨率和刷新率，并通过 api 调用检索演示的 URL。

如果您有任何建议，我将不胜感激！

我尝试了多种 Chromium 设置，在浏览器中正常播放播放列表 URL，效果很好。我在没有使用 kiosk 模式的情况下运行它，结果与使用 kiosk 模式时一样，页面刷新。