1. GTF文件与基因注释基础
GTF文件是基因组注释的黄金标准格式，全称Gene Transfer Format。我第一次接触这种文件时，被它密密麻麻的9列数据搞得头晕眼花。但后来发现，只要掌握核心字段，就能像查字典一样快速定位基因信息。
GTF每行代表一个基因组特征，比如基因、外显子或转录本。关键字段包括：
- seqname：染色体编号
- source：注释来源
- feature：特征类型（gene/exon等）
- start/end：基因组坐标
- score：置信度
- strand：正负链
- frame：阅读框
- attributes：包含gene_id等关键信息的键值对
举个真实案例：我在分析乳腺癌样本时，需要从GTF中提取HER2基因的注释。用下面这段Python代码快速定位：
import pandas as pd gtf = pd.read_csv('gencode.v43.annotation.gtf', sep='\t', comment='#', header=None) her2_genes = gtf[gtf[8].str.contains('gene_name "ERBB2"')]2. 数据加载与预处理实战
处理大型GTF文件时，我踩过内存不足的坑。后来发现用分块读取最稳妥。这里分享我的优化方案：
# 使用Dask处理超大型GTF import dask.dataframe as dd ddf = dd.read_csv('large.gtf', sep='\t', blocksize=1e6)对于常规文件，推荐用pandas的read_csv，但要特别注意：
- 跳过注释行（comment='#'）
- 处理缺失值（na_values='.'）
- 指定列名（names=col_names）
col_names = ['seqname','source','feature','start','end', 'score','strand','frame','attribute'] gtf = pd.read_csv('example.gtf', sep='\t', comment='#', names=col_names)3. 基因ID匹配的三大策略
3.1 精确匹配法
最基础的%in%操作在R中很常见，但Python里我更喜欢用merge：
target_genes = ['TP53', 'BRCA1', 'EGFR'] matched = gtf[gtf['attribute'].str.extract(r'gene_name "(\w+)"')[0].isin(target_genes)]3.2 正则表达式提取
当需要从attributes中提取多个字段时，我常用这个函数：
def parse_attributes(attr): return dict(re.findall(r'(\w+) "([^"]+)"', attr)) gtf['parsed_attr'] = gtf['attribute'].apply(parse_attributes)3.3 索引加速法
处理百万级数据时，先建索引能提速百倍：
# 创建gene_name索引 gtf['gene_name'] = gtf['attribute'].str.extract(r'gene_name "(\w+)"') indexed = gtf.set_index('gene_name') brca1_data = indexed.loc[['BRCA1']]4. 高级筛选与去重技巧
4.1 多条件筛选
比如要找1号染色体上长度>10kb的蛋白编码基因：
criteria = (gtf['feature'] == 'gene') & \ (gtf['seqname'] == 'chr1') & \ (gtf['end']-gtf['start'] > 10000) & \ (gtf['attribute'].str.contains('gene_type "protein_coding"'))4.2 智能去重
基因可能有多个转录本，这样保留最长转录本：
gtf['length'] = gtf['end'] - gtf['start'] longest_transcripts = gtf.sort_values('length').drop_duplicates('gene_id', keep='last')5. 结果输出与性能优化
5.1 高效输出
用pyarrow引擎写Parquet格式，比CSV快10倍：
gtf.to_parquet('output.parquet', engine='pyarrow')5.2 内存映射技术
对于超大规模数据，试试这个黑科技：
import numpy as np mmap = np.memmap('big_array.dat', dtype='float32', mode='w+', shape=(1000000,))6. 实战中的避坑指南
去年我处理TCGA数据时遇到过编码问题，现在都会先做字符检测：
import chardet with open('unknown.gtf', 'rb') as f: result = chardet.detect(f.read(10000))另一个常见坑是坐标系统差异。有的GTF用0-based，有的用1-based。我的解决方案是统一转换：
gtf['start'] = gtf['start'] - 1 # 转为0-based7. 自动化处理流水线
最后分享我的自动化脚本框架：
class GTFProcessor: def __init__(self, filepath): self.raw = self._load(filepath) def _load(self, path): # 实现加载逻辑 def filter_genes(self, gene_list): # 实现过滤逻辑 def save(self, format='parquet'): # 实现保存逻辑
