一些代码取自：Snakemake - 如何使用文件的每一行作为输入？def read_tissues_output()：with open('accessions.txt') as f: samples = [sample for sample in f.read().spl...

一些代码取自： Snakemake - 如何使用文件的每一行作为输入？

def read_tissues_output():
    with open('accessions.txt') as f:
        samples = [sample for sample in f.read().split('\n') if len(sample) > 0]  # we dont want empty lines
        return expand("{sample}.txt", sample=samples)


rule all:
    input:
        read_tissues_output()
         
         
rule create_directory:
    output:
        "{n}/{n}.txt"
    shell:
        """
        echo this is a {wildcards.n} > {output}
        """

accessions.txt 是一个每行有不同的访问号的 txt 文件。我想生成一个与正在生成的文本文件同名的新目录，并将生成的文本文件移动到该目录中。

当输出为 output:\'{n}.txt\' 时，每个文本文件都生成在 Snakefile 的同一目录中，这很好。但是当我按照上述操作时，预期的结果是将不同接入号的 .txt 文件移动到一个以其自己名称命名的文件夹中，但我收到一条错误消息：

\'规则全部缺少输入文件：受影响的文件：SRRXXXXX.txt\'

不确定为什么会这样。

您需要修改您的 read_tissues_output() 函数，特别是将其作为返回值：

return expand("{sample}/{sample}.txt", sample=samples)

Snakemake 通过将输出文件名与输入文件名进行匹配来构建规则链，因此一般来说，如果您想更改任何规则的输出，您还需要更改链接到该输出的规则（或规则）的输入。在这种情况下， 所有 规则都会从您的函数中获取其输入列表，因此函数需要更改。

昨天我在用Anaconda在Linux服务器上安装tensorflow的时候，发现无法更新、安装、卸载软件包，也无法创建新的conda环境，全部返回了错误...

昨天我在使用 Anaconda 在 Linux 服务器上安装 tensorflow 时，发现无法更新、安装、卸载软件包，也无法创建新的 conda 环境，在收集软件包元数据时都返回了同样的错误：

(base) user@servername:~$ conda update conda
Channels:
 - defaults
Platform: linux-64
Collecting package metadata (repodata.json): \ Retrying (Retry(total=2, connect=None, read=None, redirect=None, status=None)) after connection broken by 'SSLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: EE certificate key too weak (_ssl.c:1006)'))': /pkgs/r/noarch/repodata.json

failed

CondaSSLError: Encountered an SSL error. Most likely a certificate verification issue.

Exception: HTTPSConnectionPool(host='repo.anaconda.com', port=443): Max retries exceeded with url: /pkgs/main/linux-64/repodata.json (Caused by SSLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: EE certificate key too weak (_ssl.c:1006)')))

仅供参考，我是该服务器的临时用户，无法使用 sudo。我无法使用 pip，因为它也需要 sudo 才能安装。我使用的是 Anaconda 24.1.2 和 ubuntu 20.04.3。昨天之前一切正常。以下是我尝试解决问题的一些方法：

1. 我使用和未使用 VPN（绕过互联网审查的 VPN）连接到了服务器，但没有显示出任何区别。
2. 我删除并安装了 Anaconda 几次，但没有起作用。
3. 切换到清华镜像仓库，还是没啥区别。我的.condarc 文件如下。既然没啥区别，我就改回默认仓库了。

channels:
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/linux-64
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/linux-64
show_channel_urls: true

4. 我根据 KWA 但错误仍然一样。
5. 然后我尝试通过 来设置 ssl_verify 为 false conda config --set ssl_verify False ，错误信息被修改为 UnicodeDecoderError ，详细错误报告如下。

(base) user@servername:~$ conda update conda
Channels:
 - defaults
Platform: linux-64
Collecting package metadata (repodata.json): failed

# >>>>>>>>>>>>>>>>>>>>>> ERROR REPORT <<<<<<<<<<<<<<<<<<<<<<

    Traceback (most recent call last):
      File "/home/user/anaconda3/lib/python3.11/site-packages/conda/exception_handler.py", line 17, in __call__
        return func(*args, **kwargs)
               ^^^^^^^^^^^^^^^^^^^^^
...
...

                   ^^^^^^^^^^^^^^^^^^^
      File "/home/user/anaconda3/lib/python3.11/site-packages/conda/gateways/repodata/__init__.py", line 858, in fetch_latest
        raw_repodata = self.cache_path_json.read_text()
                       ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
      File "/home/user/anaconda3/lib/python3.11/pathlib.py", line 1059, in read_text
        return f.read()
               ^^^^^^^^
      File "<frozen codecs>", line 322, in decode
    UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc9 in position 465: invalid continuation byte

6. 我尝试通过以下方式清理缓存 conda clean --all
7. 我通过以下方式指定了编码方法 export PYTHONIOENCODING=utf-8
8. 以上两种方法都没有改变错误报告。然后，我到达文件/home/user/anaconda3/lib/python3.11/pathlib.py，并将原始文件中的解码方法从

   def read_text(self, encoding=None, errors=None):
        """
        Open the file in text mode, read it, and close the file.
        """
        encoding = io.text_encoding(encoding)
        with self.open(mode='r', encoding=encoding, errors=errors) as f:
            return f.read()

至（也尝试过“latin-1”）

    def read_text(self, encoding="gbk", errors=None):
        """
        Open the file in text mode, read it, and close the file.
        """
        encoding = io.text_encoding(encoding)
        with self.open(mode='r', encoding=encoding, errors=errors) as f:
            return f.read()

它返回错误

(base) user@servername:~$ conda update conda
Channels:
 - defaults
Platform: linux-64
Collecting package metadata (repodata.json): failed

# >>>>>>>>>>>>>>>>>>>>>> ERROR REPORT <<<<<<<<<<<<<<<<<<<<<<

    Traceback (most recent call last):
      File "/home/user/anaconda3/lib/python3.11/site-packages/conda/exception_handler.py", line 17, in __call__
        return func(*args, **kwargs)
               ^^^^^^^^^^^^^^^^^^^^^
...
...
      File "/home/user/anaconda3/lib/python3.11/site-packages/conda_libmamba_solver/index.py", line 337, in _load_channels
        info = self._json_path_to_repo_info(url, jsons[url])
               ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
      File "/home/user/anaconda3/lib/python3.11/site-packages/conda_libmamba_solver/index.py", line 293, in _json_path_to_repo_info
        repo = api.Repo(self._pool, noauth_url, str(path_to_use), escape_channel_url(noauth_url))
               ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
    RuntimeError: Unable to read repodata JSON file 'https://repo.anaconda.com/pkgs/main/linux-64', error was: repository does not start with an object

还有其他方法可以让我的 conda 安装软件包并创建虚拟环境吗？任何见解都将不胜感激。非常感谢！

正如我之前所说，我想像往常一样使用我的 conda 来安装和卸载软件包并创建虚拟环境。

嘿，非常感谢，还有一个问题 - \'rule all\' 的输入是整个 Snakefile 的第一个输入吗？或者有某种优先级？谢谢

Snakemake 总是试图生成一个或多个输出文件。它将组合它找到的任何链或规则来生成这些文件。如果您未在命令行上指定任何输出文件，则 Snakemake 将使用第一条规则的输出作为目标。或者，如果规则只有输入（如这里），它将使用输入作为目标。但除了这种特定情况之外，规则没有优先级（除非您明确设置规则优先级，但如果您可以使用更具体的文件名来避免这种情况）。

规则全部：输入：展开（\'tissues/{id}/atac_seq/{srr}/{srr}_S1_L001_R1_001.fastq.gz\'，id =IDs，srr = df[df['library_type']=='Chromatin Accessibility']['Library']），展开（\'

rule all:
  input:
      expand("tissues/{id}/atac_seq/{srr}/{srr}_S1_L001_R1_001.fastq.gz", id =IDs, srr = df[df['library_type']=='Chromatin Accessibility']['Library']),
      expand("tissues/{id}/atac_seq/{srr}/{srr}_S1_L001_R2_001.fastq.gz", id =IDs, srr = df[df['library_type']=='Chromatin Accessibility']['Library']),
      expand("tissues/{id}/atac_seq/{srr}/{srr}_S1_L001_R3_001.fastq.gz", id =IDs, srr = df[df['library_type']=='Chromatin Accessibility']['Library'])

rule rename_atac_files:
    input:
      "tissues/{id}/atac_seq/{srr}/{srr}_1.fastq.gz",
      "tissues/{id}/atac_seq/{srr}/{srr}_2.fastq.gz",
      "tissues/{id}/atac_seq/{srr}/{srr}_3.fastq.gz"
    output:
      "tissues/{id}/atac_seq/{srr}/{srr}_S1_L001_R1_001.fastq.gz",
      "tissues/{id}/atac_seq/{srr}/{srr}_S1_L001_R2_001.fastq.gz",
      "tissues/{id}/atac_seq/{srr}/{srr}_S1_L001_R3_001.fastq.gz"
    shell:
      """
      mv tissues/{wildcards.id}/atac_seq/{wildcards.srr}/{wildcards.srr}_1.fastq.gz tissues/{wildcards.id}/atac_seq/{wildcards.srr}/{wildcards.srr}_S1_L001_R1_001.fastq.gz
      mv tissues/{wildcards.id}/atac_seq/{wildcards.srr}/{wildcards.srr}_2.fastq.gz tissues/{wildcards.id}/atac_seq/{wildcards.srr}/{wildcards.srr}_S1_L001_R2_001.fastq.gz
      mv tissues/{wildcards.id}/atac_seq/{wildcards.srr}/{wildcards.srr}_3.fastq.gz tissues/{wildcards.id}/atac_seq/{wildcards.srr}/{wildcards.srr}_S1_L001_R3_001.fastq.gz
      """

Error:Missing input files for rule rename_atac_files:


     

我想重命名相应文件夹中的所有文件，使其符合 cellranger 所需的格式。问题是，我在输入和输出路径中有多个变量（即 \'id\' 和 \'srr\'）。因此，当我执行脚本时，我收到错误，因为某些作业会查找 \'tissues/A/atac_seq/SRR123/SRR123_1.fastq.gz\'，而它仅存在于 id \'B\' 中： \'tissues/B/atac_seq/SRR123/SRR123_1.fastq.gz\'。

我该如何解决这个问题，以便 snakemake 知道只执行存在的 {id} 和 {srr} 的作业？最好维护目录结构。

Snakemake 不太擅长重命名输入文件。我建议先在 Snakemake 之外使用常规 shell 脚本修复文件名，然后再运行 Snakemake 管道。

如果你有可用的'prename'命令（ apt install rename 在Debian / Ubuntu中），这可以是一行，类似于：

$ prename -n -v 's/_(.).fastq.gz/_S1_L001_R\1_001.fastq.gz/' tissues/*/atac_seq/*/*_?.fastq.gz

在您的示例中，您有三个读取，并且您想将它们重命名为 R1 , R2 、 和 R3 。这对我来说看起来有点奇怪。其中一个不是索引读取吗？也就是说，它应该是 读取 I1 ？

嘿，Tim，谢谢你回复我。在某些情况下，scATAC-seq 实验没有提供索引文件；需要的是 R1、R3 和 R2（细胞条形码）。