1. Mothur

网站：http://www.mothur.org/

第一次见到这个软件的时候，就被它的架构深深折服了，设计的实在是太好了！包含了各种各样常用的序列处理功能，并且功能随着开发的进行，很多新的功能和模块不断被整合进去。在Linux、Windows和Mac系统下都可以安装，使用起来非常简，网站上的使用说明也非常清晰、条理，稍微看一下，几个小时甚至更短时间就可以学会。
在Ubuntu中通过源代码编译安装Mothur的方法。

2. MEGAN

网站：http://ab.inf.uni-tuebingen.de/software/megan/

注意是MEGAN，不是MEGA。这个软件设计的也非常好，它主要是使用LCA算法，分析BLAST结果。除了进行物种的丰度和多样性分析，也可以进行功能基因的多样性和丰度分析。用Java写的，各种平台都可以运行。

3. Qiime

网站：http://qiime.sourceforge.net/

这是一个专门用于分析微生物PCR产物高通量测序数据的pipeline，主要用Python写的，也整合了很多其它的工具包。这个软件的特点是生成的图挺漂亮的，但是使用起来不是非常容易，甚至对于很多人来说成功在电脑上安装都是非常困难的。只支持Linux和Mac系统，在Windows下使用必须在虚拟机中安装。最简单的安装方法是在亚马逊的云计算平台EC2 image中安装使用。

4. STAMP

网站：http://kiwi.cs.dal.ca/Software/STAMP

这个软件主要用于分析宏基因组（Metagenome）高通量测序数据，对多个样品的Metagenomic profiles进行统计分析和比较。各种系统下都可以安装使用。

相关日志

• 高通量测序数据分析 (4)
• 在亚马逊EC2上部署Apache和Django (3)
• 在Ubuntu中安装Mothur (0)
• 19个高通量测序序列拼接组装软件 (4)
• 高通量测序与云计算 (0)
• 高通量测序 (4)
• 生物信息云计算模式 (0)
• 模拟DGGE图像的软件 (6)
• Win7和Ubuntu双系统问题 (2)
• Google涉足DNA数据库领域 (2)

方法一：使用apt-get install方式安装
sudo apt-get install python-biopython
只有一行命令，可是这种方法安装的不是最新版本，很多新的功能不能用，非常不爽，不建议使用这种方法安装。

方法二：使用easy_install安装
（1）安装python-dev，不然会出现Setup script exited with error: command ‘gcc’ failed with exit status 1错误
sudo apt-get install python-dev
（2）安装easy_install工具
sudo apt-get install python-setuptools
（3）安装biopython
sudo easy_install -f http://biopython.org/DIST/ biopython  (DIST/和biopython之间有个空格)
（4） 安装Numpy
从http://numpy.scipy.org/下载numpy，现在的最新版本是numpy-1.6.1.tar.gz
tar -xzvpf numpy-1.6.1.tar.gz
cd numpy-1.6.1/
python setup.py build
sudo python setup.py install

还可以继续安装一些其它的dependencies，如flex，ReportLab等等，暂时不装，需要的时候再装也可以。

这里有biopython的详细安装说明，好长的一大篇，看了头会晕。

相关日志

• 批量Blast小程序 (5)
• 功能强大而又简单易学的编程语言Python (4)
• 高通量测序数据分析 (4)
• 测试了一下编程水平 (0)
• 在亚马逊EC2上部署Apache和Django (3)
• 在Ubuntu中安装Mothur (0)
• 动态作图小程序 (4)
• 一些高通量测序数据处理软件 (8)
• Win7和Ubuntu双系统问题 (2)
• FASTA文件拆分与合并 (1)

FASTA文件拆分：
1. 从a.fasta中提取第10至第20个序列存到b.fasta中

-

awk -v RS='>' 'NR>1{i++}i>=10&&i<=20{print ">"$0}' a.fasta|sed '/^$/d'>b.fasta

上面命令行中的红色的10和20可以换为其它数字

2.将input.fasta中第每一条序列保存到一个文件中, 这个是在网上看到的，链接在这里。

awk '/^>/{f=++d".fasta"} {print > f}' input.fasta

FASTA文件合并：

cat *.fasta > output.fasta

awk是Unix/Linux下的一种用于文本处理的编程语言，Sed是Unix/Linux下的一种流编辑器。功能都非常强大。

当然这些操作用Python或Perl编程也很容易实现，但不如命令行这么直截了当。
另外，在Windows下如果安装了Cygwin这个软件，也可以使用这些命令。

相关日志

• 高通量测序数据分析 (4)
• 批量Blast小程序 (5)
• 在亚马逊EC2上部署Apache和Django (3)
• 功能强大而又简单易学的编程语言Python (4)
• 一些高通量测序数据处理软件 (8)
• 酶切位点分析 (5)
• 测试了一下编程水平 (0)
• 在Ubuntu中安装Mothur (0)
• 在Ubuntu中安装Biopython (2)
• 动态作图小程序 (4)

以上这些东西综合在一起，就可以用简单易用的Python做出一个提供海量数据处理功能的网站，感觉这玩意儿应该在高通量测序数据数据处理方面有点用。

下面是在亚马逊EC2上部署Apache和Django的步骤：

0. 首先需要AWS上在建立一个EC2 Instance，使用Ubuntu Linux系统，可以直接在Community AMI中直接选择Ubuntu官方的AMI，ID为ami-cef405a7，EC2 Instance的建立过程并不复杂，这里就不细说了。注意：建好之后用SSH登录的时候，用户名是ubuntu，不是ec2-user，也不是root.

1. 安装apache
sudo apt-get install apache2

2. 下载安装Django
wget http://www.djangoproject.com/download/1.3/tarball/
下载下来的文件名是index.html，改一下名
mv index.html Django-1.3.tar.gz
解压
tar xzvf Django-1.3.tar.gz
安装
cd Django-0.91
sudo python setup.py install

3. 安装 mod_python
apt-get install libapache2-mod-python

4. 重启Apache
/etc/init.d/apache2 start

5. 进入/etc/apache2/sites-available目录，复制default文件并重命名为mysite
编辑mysite文件 将其中的/var/www 替换成 /home/ubuntu

激活mysite
a2ensite mysite

然后运行/etc/init.d/apache2 reload

6. 编辑 /etc/apache2/httpd.conf，添加下面内容
SetHandler python-program
PythonHandler django.core.handlers.modpython
SetEnv DJANGO_SETTINGS_MODULE mysite.settings
PythonPath “['/home/ubuntu', '/home/ubuntu/mysite'] + sys.path”

7. 重启Apache
/etc/init.d/apache2 restart

现在，将EC2 的Public DNS（类似这样ec2-xx-xx-xx-xx.compute-1.amazonaws.com）复制到浏览器地址栏里，就可以看到结果了。

如果要通过自己的域名访问将上面的部署，那只需要在域名管理中创建一个CNAME记录，并指向上面那个地址即可。

接下来的任务就是专心用Python写程序了。

相关日志

• 高通量测序数据分析 (4)
• 一些高通量测序数据处理软件 (8)
• 高通量测序与云计算 (0)
• 生物信息云计算模式 (0)
• 在Ubuntu中安装Mothur (0)
• Google涉足DNA数据库领域 (2)
• FASTA文件拆分与合并 (1)
• 19个高通量测序序列拼接组装软件 (4)
• 高通量测序的应用 (3)
• 高通量测序价格 (6)

众所周知，数据分析是高通量测序应用于生物研究最关键的步骤，分析不好，得到的海量数据无异于一堆垃圾。下面是刚刚接触高通量测序数据分析的同学可能比较关心的几个问题。需要说明的是：这些都是基于微生物领域且数据量不是特别大的情况。其它领域（植物、动物、医学等等）的高通量测序数据处理我暂时还不太了解。

1. 是不是一定要用大型计算机？
除了序列拼接组装以外，其它分析不是一定要大型计算机，在普通的PC上也可以进行一些处理，当然，买一台或几台高性能的工作站电脑，能显著加快数据处理的速度。

2. 是不是一定要用Linux系统？
也不一定非用Linux不可，在Window下可以完成部分数据处理。如果你想以后长期从事高通量测序数据分析工作，熟悉Linux是必须的，但是如果你是为了处理一下数据混混毕业（中国有很多研究生是这样，这是事实），我觉得没必要额外花些时间去学习使用Linux，虽然现在Linux已经变得不那么难用了。

3. 序列拼接又要用大型计算机又要用Linux系统怎么办？
方法有两个：(1) 找商业公司组装拼接, (2)用亚马逊的云计算服务。

4. 是不是必须自己写些程序？
数据处理中经常要对文本文件中的内容进行调整、筛选、比对，据我所知现在还没有什么软件可以非常灵活的完成这些操作，将来也很难有，因为这些操作都是与实际数据相关的，没有统一的规律。现在大部分人都是用脚本程序来完成这些任务，因此数据分析过程中需要自己写点程序。在这方面比较适合的编程语言是Python和Perl，我觉得Python比较好用也比较有前途，但很多人还是用Perl，问其原因，得到的答复是是师兄师姐都用Perl，不得不用Perl。

5. 数据如何分析？
这个问题太难回答了，并且我觉得目前及将来很长一段时间，在网上应该找不到像DGGE操作步骤、T-RFLP操作步骤、DGGE数据分析方法等这类非常详细的教程类的东西。因为高通量测序技术及其数据分析方法现在发展非常快，时刻在变。唯一的办法就是自己去研究Paper，研究相关软件的说明书。

相关日志

• 在亚马逊EC2上部署Apache和Django (3)
• 一些高通量测序数据处理软件 (8)
• 高通量测序与云计算 (0)
• 生物信息云计算模式 (0)
• 在Ubuntu中安装Mothur (0)
• Google涉足DNA数据库领域 (2)
• FASTA文件拆分与合并 (1)
• 19个高通量测序序列拼接组装软件 (4)
• 高通量测序的应用 (3)
• 高通量测序价格 (6)

下面的Round I, Round II和Final Round难度就提高了很多，每个Round三道题目，要在三个小时内至少解出一道才能通过，我试了一下，明显感觉力不从心，有些题目根本看不懂，有的能看懂了，不知道用什么算法，还有些能看懂，也知道怎么解，可是3个小时在程序上实现不了，比如有个题目叫做“After the Dance Battle”，可以把已知的矩阵构建成图，然后用图论中的经典算法Dijkstra算法去找最短路径。可是在3个小时内，程序搞不定……于是，Round I就没通过。事实也说明这三个小时的规定难度太大了，Facebook本来打算从进入Round I的5846人中选3000人进入Round II，结果最后进入Round II的远远不到3000人。当然也看到了很多牛人，在三个小时内，可以全部解出三道题目，真是厉害！

Facebook的Hacker Cup编程比赛这次是第一次举行，以后每年一次。与这个类似的，还有Google的Code Jam，网易的“有道难题”等等。

相关日志

• 批量Blast小程序 (5)
• 动态作图小程序 (4)
• 功能强大而又简单易学的编程语言Python (4)
• 高通量测序数据分析 (4)
• 酶切位点分析 (5)
• 在亚马逊EC2上部署Apache和Django (3)
• 在Ubuntu中安装Biopython (2)
• 一些高通量测序数据处理软件 (8)
• Shell编程中的IF语句 (0)
• Matlab计算图片上不同颜色区域的面积 (4)

Java的Hello World程序一般这么写：
public class Hello
{
    public static void main(String[] args)
    {
        System.out.println("Hello, world!");
    }
}

用C++可以这么写:
#include <iostream>
int main(){
    std::cout << "Hello, world!" << std::endl;
    return 0;
}

而Python只要这样就可以了:
print "Hello, world!"

代码非常清晰，一目了然，变量不用声明，直接就可以用。

其次，Python非常容易上手。如果你使用Windows操作系统，那么只需要到Python官方网站 下载一个Python X.X.X Windows Installer，双击安装。打开IDLE（python GUI）就可以开始编程了。如果你会一点C/C++语言，那么几个小时就可以学会，一点也不夸张。如果你用过Matlab，你还会觉得它和Matlab有几分相似。而Java、C++在开始之前要花很长时间去搭建环境，进行各种设置，比较麻烦。

再次，Python功能非常强大，试试就知道了。

当然，也不能简单的说Python比C++、Java等编程语言好，在很多地方C++、Java还是有明显的优势。此外，还有一种与Python类似的编程语言叫做Perl，与Python有很多共同的优点，不过似乎喜欢Python的人更多一些。

一些关于Python的学习资源：

Python官方网站： http://www.python.org/

Python 绝对简明手册: http://wiki.woodpecker.org.cn/moin/PyAbsolutelyZipManual

Python生物信息学工具Biopython: http://biopython.org/wiki/Biopython

相关日志

• 批量Blast小程序 (5)
• 酶切位点分析 (5)
• 测试了一下编程水平 (0)
• 在Ubuntu中安装Biopython (2)
• 动态作图小程序 (4)
• FASTA文件拆分与合并 (1)
• 高通量测序数据分析 (4)
• 在亚马逊EC2上部署Apache和Django (3)
• 一些高通量测序数据处理软件 (8)
• Shell编程中的IF语句 (0)

写这个小程序又一次用到了Python，Python真是太好用了！ 大致方法是这样的：复制data.log中的数据到一个temp.txt文件中，然后对数据进行预处理，然后作图。不断重复（每隔2秒）这个过程。

Python程序如下（有点乱，仅仅是简单地达到了动态作图的目的，没时间去优化了）：

import time
import numpy as np
import matplotlib
matplotlib.use('WXAgg')
import matplotlib.pyplot as plt
import shutil
import wx

def pretreat(file_path):
    f=open(file_path, 'r')
    data1=f.readlines()
    f.close()
    data1[0:3]=[]
    data1[-1:]=[]
    data2=[i.strip() for i in data1]
    data3=[i.rstrip('?') for i in data2]
    data4=[i.strip() for i in data3]
    data5=[i.rstrip('g') for i in data4]
    data6=[i.strip() for i in data5]
    data7=[float(i) for i in data6]
    return data7

def update_line(idleevent):
    shutil.copyfile('data.log', 'temp.txt')
    path="temp.txt"
    data=pretreat(path)
    x=range(0,len(data))
    line.set_ydata(data)
    line.set_xdata(x)
    ax.set_xlim(0, len(data)+200)
    ax.set_ylim(data[len(data)-1]-50,data[0]+50)
    fig.canvas.draw_idle()
    time.sleep(2)

fig = plt.figure()
ax = fig.add_subplot(111)
shutil.copyfile('data.log', 'temp.txt')
path="temp.txt"
data=pretreat(path)
x=range(0,len(data))
ax.set_xlim(0, len(data)+200)
ax.set_ylim(data[len(data)-1]-50,data[0]+50)
line, = ax.plot(x,data)

wx.EVT_IDLE(wx.GetApp(), update_line)
plt.xlabel('Time (x10s)')
plt.ylabel('Weight (g)')
plt.title('Plotting')
plt.show()

运行的效果是这样的，图形自动实时更新：

参考资料：http://matplotlib.sourceforge.net/examples/animation/

相关日志

• 测试了一下编程水平 (0)
• 批量Blast小程序 (5)
• 功能强大而又简单易学的编程语言Python (4)
• 高通量测序数据分析 (4)
• 高通量测序价格 (6)
• 高通量测序仪世界分布图 (2)
• 酶切位点分析 (5)
• 离心速度的单位及其换算 (1)
• 用Quantity One进行定量分析的方法 (58)
• 在亚马逊EC2上部署Apache和Django (3)

在网上找了一下，没找到合适的软件或工具，虽然有些关于批量blast的教程之类的，比如这个，但是给出的结果及其繁琐，很多不需要的信息。

后来发现Biopython可以很简单就进行批量Blast。只需先安装Python和Biopython，Python和Biopython的下载地址分别为：
http://www.python.org/download/
http://www.biopython.org/wiki/Download

Windows版本下载后直接双击安装即可，非常简单。
然后打开IDLE（Python GUI)，”File”->”New Window”, 分如下两步进行：

第一步，运行下面的代码进行Blast

from Bio.Blast import NCBIWWW
from Bio import SeqIO
SeqNumber = 0
for record in SeqIO.parse("allseq.seq", "fasta"):
  result_handle = NCBIWWW.qblast("blastn", "nr", record.seq)
  SeqNumber += 1
  save_file = open('xml\\'+str(SeqNumber)+'.xml', 'w')
  save_file.write(result_handle.read())
  save_file.close()
  print 'OK ', SeqNumber
print 'OK! Finished!'

序列要以fasta格式放在allseq.seq这个文件中，另外需要在当前目录下建一个名字为xml文件夹，代码运行结束后结果放在这个文件夹中。

第二步，列出每条序列blast结果的前几条的名称

from Bio.Blast import NCBIXML
import glob
total_xml_file = len(glob.glob('xml\\*.xml'))
for xmlnumber in range(1,total_xml_file+1):
  result_handle = open('xml\\'+str(xmlnumber)+'.xml')
  blast_records = NCBIXML.parse(result_handle)
  blast_record = blast_records.next()
  i = 0
  print '-------------------No.', xmlnumber, '-------------------'
  for alignment in blast_record.alignments:
    if i<10 : ##如果想看前20条结果就该为20
      print alignment.title
    else:
      break
    i+=1
  result_handle.close()

如果序列比较多，第一步可能需要很长时间，可以趁程序运行的时候先出去踢踢球或逛逛街，回来之后再运行第二步，第二步很快：）

第一次接触使用Python语言，非常好用，个人感觉要比Perl好一些，当然Python的生物信息学组件Biopython的可能现在没有Bioperl强大。

上次做了个序列文件合并小程序，后来发现用Bioedit就可以很简单地进行合并，白忙活了。如果进行批量Blast也有更好的方法，请留言告诉我一下，谢谢

相关日志

• 功能强大而又简单易学的编程语言Python (4)
• 酶切位点分析 (5)
• 测试了一下编程水平 (0)
• 在Ubuntu中安装Biopython (2)
• 动态作图小程序 (4)
• FASTA文件拆分与合并 (1)
• 高通量测序数据分析 (4)
• 在亚马逊EC2上部署Apache和Django (3)
• 一些高通量测序数据处理软件 (8)
• Shell编程中的IF语句 (0)