生物學(xué)家必備大數(shù)據(jù)實(shí)用計(jì)算技巧

目錄
在開始之前 1
引言 1
為什么要寫這本書？ 1
為什么只針對生物學(xué)家？ 2
需要使用特定計(jì)算機(jī)或程序嗎？ 2
寫給使用這本書自學(xué)的讀者 3
寫給使用這本書的教師 3
超越這本書 4
如何使用好這本書 4
第一部分 文本文件
第1章 開始設(shè)置 9
關(guān)于文本文件的操作介紹 9
什么是文本文件 9
在一個文本文件內(nèi)組織數(shù)據(jù) 10
文本編輯器 11
安裝TextWrangler 11
在文本編輯器里優(yōu)化文本外觀 12
行尾結(jié)束符 13
示例文件 13
安裝示例文件 14
探索示例文件 14
總結(jié) 15
第2章 正則表達(dá)式：強(qiáng)大的搜索和替換 16
一種用于搜索和替換的廣泛語言 16
了解這個新工具箱的組件 17
設(shè)置文本編輯器 17
你的第一個通配符：\\w 代替字母和數(shù)字 19
用()來捕獲文本 20
量詞：用+來對應(yīng)一個或多個實(shí)體 21
用\\進(jìn)行標(biāo)點(diǎn)符號字符轉(zhuǎn)義 23
更為特殊的搜索項(xiàng)：\\s \\t \\r.\\d 24
示例：分子數(shù)據(jù)文件的重新格式化 25
關(guān)于生成正則表達(dá)式的評論 26
總結(jié) 27
第3章 探索正則表達(dá)式的靈活性 28
字符集：定義你自己的通配符 28
用[]定義定制的字符集 28
應(yīng)用自定義字符集 28
否定字符集：用[^]定義自定義字符集 30
邊界：^開頭和$結(jié)尾 31
使量詞更加精密 32
另一個量詞：*為零次或多次 32
用？修改貪婪程度 33
用{}符號控制匹配的數(shù)量 33
把所有都放在一起 34
生成替換關(guān)鍵詞 35
構(gòu)建可靠的搜索 36
總結(jié) 37
進(jìn)一步學(xué)習(xí) 38
第二部分 Shell命令
第4章 命令行操作：shell 41
初次接觸：不要懼怕命令行 41
開始了解shell然后產(chǎn)生興趣 42
開始了解shell 42
文件系統(tǒng)的命令行視圖 43
路徑 44
利用shell在計(jì)算機(jī)里遨游 45
用ls列出文件，用pwd找出你在哪里 45
如何用cd來回移動位置 47
用~表示主目錄 48
用mkdir和rmdir來添加和移除文件夾 49
復(fù)制文件 49
移動文件 51
命令行快捷鍵 51
向上箭頭鍵 51
Tab 52
用命令行參數(shù)來修正命令的行為 53
用less命令瀏覽文件內(nèi)容 54
在命令行中使用man命令查看幫助文件 55
命令行最終會使你的操作更容易 55
路徑描述中的通配符 55
復(fù)制和移動多個文件 56
結(jié)束你的終端會話 57
總結(jié) 57
推薦閱讀 58
第5章 在shell中處理文本 59
用nano在命令行里編輯文本文件 59
控制shell里的數(shù)據(jù)流 61
用>重定向輸出到一個文件 61
用cat來顯示和連接文件 62
用grep在命令行中使用正則表達(dá)式 64
處理一個大數(shù)據(jù)集 64
從文件中抽提特定的行 64
用管道|將輸出從一個程序重定向到另一個程序 66
用grep跨越搜索多個文件 67
改善grep的行為 68
用curl獲取Web上的內(nèi)容 69
其他shell命令 71
總結(jié) 72
第6章 使用shell編寫腳本 73
組合命令 73
搜索路徑 73
命令行如何找到它應(yīng)執(zhí)行的命令 73
創(chuàng)建你的工作區(qū)—腳本文件夾 75
編輯你的.bash_profile文件來進(jìn)行個性化設(shè)置 76
檢查你的新$PATH 77
把文本文檔型文件轉(zhuǎn)變?yōu)檐浖?78
#!控制腳本文本用何種程序解釋 79
通過調(diào)整權(quán)限使文本文件可以被執(zhí)行 79
生成自動腳本 81
批量復(fù)制文件 81
靈活的文件重命名 84
運(yùn)用curl自動檢索參考文獻(xiàn) 86
用curl編寫腳本的幾個常用方法 88
用Alias創(chuàng)建快捷別名 88
總結(jié) 89
進(jìn)一步學(xué)習(xí) 89
第三部分 編程
第7章 編程組件 93
程序是什么？ 93
接下來幾章的目標(biāo) 93
實(shí)際編程 94
變量 95
變量的剖析 95
基本變量類型 96
能夠容納其他變量的變量 97
數(shù)組和列表 97
不同類型之間的轉(zhuǎn)換 99
運(yùn)行中的變量 99
數(shù)學(xué)運(yùn)算符 99
比較運(yùn)算符與邏輯運(yùn)算符 100
函數(shù) 101
流控制 102
用if語句做決策 102
由for與while構(gòu)成的循環(huán) 103
使用列表和字典 104
列表 104
字典 105
其他數(shù)據(jù)類型 105
輸入和輸出 106
用戶交互 106
文件 106
庫和模塊 107
注釋語句 108
對象 108
總結(jié) 109
第8章 開始使用Python編程 110
為什么選擇Python 110
編寫程序 111
開始運(yùn)行程序 111
構(gòu)建dnacalc.py程序 112
簡單的print語句 112
len()函數(shù) 114
使用str()、int()和float()轉(zhuǎn)換變量類型 115
內(nèi)置字符串函數(shù).count() 116
整數(shù)和浮點(diǎn)數(shù)的數(shù)學(xué)運(yùn)算 116
使用#添加評論 118
使用%運(yùn)算符控制字符串格式 118
獲取用戶輸入 120
使用raw_input()收集用戶輸入 120
用.replace()和.upper()整理變量 121
回顧你的程序 123
總結(jié) 123
第9章 決策與循環(huán) 124
Python交互式提示符 124
獲取Python的幫助 126
向dnacalc.py里添加更多的計(jì)算內(nèi)容 127
if 條件語句 127
使用縮進(jìn)指定代碼塊 128
邏輯運(yùn)算符 128
if 語句 129
else:語句 130
for循環(huán)介紹 132
列表簡介 132
在proteincalc.py中寫入for循環(huán) 133
創(chuàng)建字典 133
其他字典函數(shù) 139
應(yīng)用你學(xué)會的循環(huán)技能 140
回顧列表 140
列表的索引 141
從列表中解包多個值 143
用range()函數(shù)定義一個列表 143
列表和字符串的比較 145
列表和字符串之間轉(zhuǎn)換 146
向列表中添加元素 147
從列表中刪除元素 148
查找列表的內(nèi)容 148
給列表排序 148
識別列表及字符串中獨(dú)有的元素 149
列表推導(dǎo)式 150
總結(jié) 152
進(jìn)一步學(xué)習(xí) 153
第10章 讀取與寫入文件 154
目標(biāo)概述 154
從文件中逐條讀取每一行內(nèi)容 156
讀取數(shù)據(jù)文件之前的注意事項(xiàng) 156
打開并讀取文本文件 157
用.strip()刪除行尾字符 159
跳過標(biāo)題行 159
從行中解析數(shù)據(jù) 160
將行拆分為數(shù)據(jù)字段 160
從列表中選擇元素 161
寫入文件 162
扼要重述文件的基本讀寫過程 164
使用正則表達(dá)式解析值 165
導(dǎo)入re模塊 165
通過re模塊使用正則表達(dá)式 165
re.search()與re.sub()的使用總結(jié) 167
使用def創(chuàng)建自定義Python函數(shù) 168
用新格式打包數(shù)據(jù) 173
檢查標(biāo)記語言 173
在轉(zhuǎn)換期間保留信息 174
轉(zhuǎn)換為KML格式 174
KML文件格式 174
生成KML 文本 175
總結(jié) 179
進(jìn)一步學(xué)習(xí) 179
第11章 合并文件 180
從多個文件中讀取數(shù)據(jù) 180
使用sys.argv獲取用戶的輸入內(nèi)容 181
將所有參數(shù)轉(zhuǎn)換為文件列表 183
使用sys.stderr.write()提供反饋 184
循環(huán)遍歷文件列表 185
打印輸出并生成標(biāo)題行 187
避免硬編碼軟件 187
文件讀取的其他應(yīng)用 190
總結(jié) 192
進(jìn)一步學(xué)習(xí) 192
第12章 模塊與庫 194
導(dǎo)入模塊 194
更多來自標(biāo)準(zhǔn)庫的內(nèi)置模塊 196
urllib模塊 196
os模塊 197
math模塊 197
random模塊 198
time模塊 199
第三方模塊 200
NumPy 201
Biopython 202
其他第三方模塊 203
制作自己的模塊 204
繼續(xù)深入學(xué)習(xí)Python 205
總結(jié) 206
進(jìn)一步學(xué)習(xí) 206
第13章 調(diào)試策略 207
在調(diào)試中學(xué)習(xí) 207
通用策略 208
建立工作元素 208
思考你的假設(shè) 208
具體的調(diào)試技術(shù) 209
隔離問題 209
編寫冗長的軟件 210
錯誤信息及其含義 211
常見的Python錯誤 211
shell錯誤 212
讓你的程序更有效率 212
優(yōu)化 212
使用try和except來處理錯誤 213
當(dāng)你實(shí)在被困住時 214
總結(jié) 215
進(jìn)一步學(xué)習(xí) 215
第四部分 多種方法合并
第14章 選擇和組合工具 219
你的工具箱 219
數(shù)據(jù)處理任務(wù)的類別 219
獲取數(shù)字?jǐn)?shù)據(jù) 219
重新格式化文本文件 222
綜合考慮 226
總結(jié) 226
進(jìn)一步學(xué)習(xí) 226
第15章 關(guān)系型數(shù)據(jù)庫 227
電子表格和數(shù)據(jù)組織 227
數(shù)據(jù)管理系統(tǒng) 229
剖析一個數(shù)據(jù)庫 230
安裝MySQL 231
開始使用MySQL和SQL 233
連接到命令行中的MySQL服務(wù)器 233
創(chuàng)建數(shù)據(jù)庫和表 235
向表中添加數(shù)據(jù)行和顯示表的內(nèi)容 239
在Python中與MySQL進(jìn)行交互 240
解析輸入的文本 241
從數(shù)據(jù)中構(gòu)造SQL 243
從Python中執(zhí)行SQL命令 244
將文本文件導(dǎo)入到表格中 249
創(chuàng)建ctd表 250
用LOAD DATA命令導(dǎo)入數(shù)據(jù)文件 251
以SQL文件的形式導(dǎo)出和導(dǎo)入數(shù)據(jù)庫 253
用SQL探索數(shù)據(jù) 253
用SELECT和COUNT命令匯總表 253
用GROUP BY校對數(shù)據(jù) 255
SQL中的數(shù)學(xué)運(yùn)算 256
用WHERE對行進(jìn)行精確選擇 256
用UPDATE修改行 259
跨表選擇數(shù)據(jù) 260
使用Python 生成輸出 262
繼續(xù)向前看 264
數(shù)據(jù)庫用戶和安全性 264
創(chuàng)建一個root密碼 265
添加一個新的MySQL用戶 265
總結(jié) 266
進(jìn)一步學(xué)習(xí) 267
推薦閱讀 267
第16章 高級的shell和管道命令 268
其他有用的shell命令 268
用head和tail提取行 268
用cut提取列 268
用sort對行排序 270
用uniq分離出獨(dú)有的行 271