第3章 定制业务质量报表详解

在日常运维工作当中，会涉及大量不同来源的数据，比如每天的服务器性能数据、平台监控数据、自定义业务上报数据等，需要根据不同时段，周期性地输出数据报表，以方便管理员更加清晰、及时地了解业务的运营情况。在业务监控过程中，也需要更加直观地展示报表，以便快速定位问题。本章介绍Excel操作模块、rrdtool数据报表、scapy包处理等，相关知识点运用到运营平台中将起到增色添彩的作用。

3.1 数据报表之Excel操作模块

Excel是当今最流行的电子表格处理软件，支持丰富的计算函数及图表，在系统运营方面广泛用于运营数据报表，比如业务质量、资源利用、安全扫描等报表，同时也是应用系统常见的文件导出格式，以便数据使用人员做进一步加工处理。本节主要讲述利用Python操作Excel的模块XlsxWriter（https://xlsxwriter.readthedocs.org），可以操作多个工作表的文字、数字、公式、图表等。XlsxWriter模块具有以下功能：

❑100%兼容的Excel XLSX文件，支持Excel 2003、Excel 2007等版本；

❑支持所有Excel单元格数据格式；

❑单元格合并、批注、自动筛选、丰富多格式字符串等；

❑支持工作表PNG、JPEG图像，自定义图表；

❑内存优化模式支持写入大文件。

XlsxWriter模块的安装方法如下：

        # pip install XlsxWriter    #pip安装方法
        # easy_install XlsxWriter    #easy_install安装方法
        #源码安装方法
        # curl -O -L http://github.com/jmcnamara/XlsxWriter/archive/master.tar.gz
        # tar zxvf master.tar.gz
        # cd XlsxWriter-master/
        # sudo python setup.py install

下面通过一个简单的功能演示示例，实现插入文字（中英字符）、数字（求和计算）、图片、单元格格式等，代码如下：

【/home/test/XlsxWriter/simple1.py】

        #coding: utf-8
        import xlsxwriter
        workbook = xlsxwriter.Workbook('demo1.xlsx')    #创建一个Excel文件
        worksheet = workbook.add_worksheet()    #创建一个工作表对象
        worksheet.set_column('A:A', 20)    #设定第一列（A）宽度为20像素
        bold = workbook.add_format({'bold': True})    #定义一个加粗的格式对象
        worksheet.write('A1', 'Hello')    #A1单元格写入'Hello'
        worksheet.write('A2', 'World', bold)    #A2单元格写入'World'并引用加粗格式对象bold
        worksheet.write('B2', u'中文测试', bold)    #B2单元格写入中文并引用加粗格式对象bold
        worksheet.write(2, 0, 32)    #用行列表示法写入数字'32'与'35.5'
        worksheet.write(3, 0, 35.5)    #行列表示法的单元格下标以0作为起始值，'3,0'等价于'A3'
        worksheet.write(4, 0, '=SUM(A3:A4)')    #求A3:A4的和，并将结果写入'4，0'，即'A5'
        worksheet.insert_image('B5', 'img/python-logo.png')    #在B5单元格插入图片
        workbook.close()    #关闭Excel文件

程序生成的demo1.xlsx文档截图如图3-1所示。

3.1.1 模块常用方法说明

1. Workbook类

Workbook类定义：Workbook(filename[, options])，该类实现创建一个XlsxWriter的Workbook对象。Workbook类代表整个电子表格文件，并且存储在磁盘上。参数filename（String类型）为创建的Excel文件存储路径；参数options（Dict类型）为可选的Workbook参数，一般作为初始化工作表内容格式，例如值为{'strings_to_numbers': True}表示使用worksheet.write()方法时激活字符串转换数字。

❑add_worksheet([sheetname])方法，作用是添加一个新的工作表，参数sheetname（String类型）为可选的工作表名称，默认为Sheet1。例如，下面的代码对应的效果图如图3-2所示。

        worksheet1 = workbook.add_worksheet()              # Sheet1
        worksheet2 = workbook.add_worksheet('Foglio2')     # Foglio2
        worksheet3 = workbook.add_worksheet('Data')        # Data
        worksheet4 = workbook.add_worksheet()              # Sheet4

❑add_format([properties])方法，作用是在工作表中创建一个新的格式对象来格式化单元格。参数properties（dict类型）为指定一个格式属性的字典，例如设置一个加粗的格式对象，workbook.add_format({'bold': True})。通过Format methods（格式化方法）也可以实现格式的设置，等价的设置加粗格式代码如下：

        bold = workbook.add_format()
        bold.set_bold()

更多格式化方法见http://xlsxwriter.readthedocs.org/working_with_formats.html。

❑add_chart（options）方法，作用是在工作表中创建一个图表对象，内部是通过insert_chart()方法来实现，参数options（dict类型）为图表指定一个字典属性，例如设置一个线条类型的图表对象，代码为chart = workbook.add_chart({'type': 'line'})。

❑close()方法，作用是关闭工作表文件，如workbook.close()。

2. Worksheet类

Worksheet类代表了一个Excel工作表，是XlsxWriter模块操作Excel内容最核心的一个类，例如将数据写入单元格或工作表格式布局等。Worksheet对象不能直接实例化，取而代之的是通过Workbook对象调用add_worksheet()方法来创建。Worksheet类提供了非常丰富的操作Excel内容的方法，其中几个常用的方法如下：

❑write(row, col, *args)方法，作用是写普通数据到工作表的单元格，参数row为行坐标，col为列坐标，坐标索引起始值为0；*args无名字参数为数据内容，可以为数字、公式、字符串或格式对象。为了简化不同数据类型的写入过程，write方法已经作为其他更加具体数据类型方法的别名，包括：

❍write_string() 写入字符串类型数据，如：

            worksheet.write_string(0, 0, 'Your text here')；

❍write_number() 写入数字类型数据，如：

            worksheet.write_number('A2', 2.3451)；

❍write_blank() 写入空类型数据，如：

            worksheet.write('A2', None)；

❍write_formula() 写入公式类型数据，如：

            worksheet.write_formula(2, 0, '=SUM(B1:B5)')；

❍write_datetime() 写入日期类型数据，如：

            worksheet.write_datetime(7,  0,datetime.datetime.strptime('2013-01-23',
            '%Y-%m-%d'),workbook.add_format({'num_format': 'yyyy-mm-dd'}))；

❍write_boolean() 写入逻辑类型数据，如：

            worksheet.write_boolean(0, 0, True)；

❍write_url() 写入超链接类型数据，如：

        worksheet.write_url('A1', 'ftp://www.python.org/')。

下列通过具体的示例来观察别名write方法与数据类型方法的对应关系，代码如下：

        worksheet.write(0, 0, 'Hello')           # write_string()
        worksheet.write(1, 0, 'World')           # write_string()
        worksheet.write(2, 0, 2)                 # write_number()
        worksheet.write(3, 0, 3.00001)           # write_number()
        worksheet.write(4, 0, '=SIN(PI()/4)')    # write_formula()
        worksheet.write(5, 0, '')                # write_blank()
        worksheet.write(6, 0, None)              # write_blank()

上述示例将创建一个如图3-3所示的工作表。

❑set_row（row, height, cell_format, options）方法，作用是设置行单元格的属性。参数row（int类型）指定行位置，起始下标为0；参数height（float类型）设置行高，单位像素；参数cell_format（format类型）指定格式对象；参数options（dict类型）设置行hidden（隐藏）、level（组合分级）、collapsed（折叠）。操作示例如下：

        worksheet.write('A1', 'Hello')     #在A1单元格写入'Hellow'字符串
        cell_format = workbook.add_format({'bold': True})    #定义一个加粗的格式对象
        worksheet.set_row(0, 40, cell_format)    #设置第1行单元格高度为40像素，且引用加粗
                                                 #格式对象
        worksheet.set_row(1, None, None, {'hidden': True})    #隐藏第2行单元格

上述示例将创建一个如图3-4所示的工作表。

❑set_column（first_col, last_col, width, cell_format, options）方法，作用为设置一列或多列单元格属性。参数first_col（int类型）指定开始列位置，起始下标为0；参数last_col（int类型）指定结束列位置，起始下标为0，可以设置成与first_col一样；参数width（float类型）设置列宽；参数cell_format（Format类型）指定格式对象；参数options（dict类型）设置行hidden（隐藏）、level（组合分级）、collapsed（折叠）。操作示例如下：

        worksheet.write('A1', 'Hello')     #在A1单元格写入'Hello'字符串
        worksheet.write('B1', 'World')     #在B1单元格写入'World'字符串
        cell_format = workbook.add_format({'bold': True})    #定义一个加粗的格式对象
                                           #设置0到1即(A到B) 列单元格宽度为10像素，
                                            且引用加粗格式对象
        worksheet.set_column(0,1, 10,cell_format)
        worksheet.set_column('C:D', 20)    #设置C到D列单元格宽度为20像素
        worksheet.set_column('E:G', None, None, {'hidden': 1})    #隐藏E到G列单元格

上述示例将创建一个如图3-5所示的工作表。

❑insert_image(row, col, image[, options])方法，作用是插入图片到指定单元格，支持PNG、JPEG、BMP等图片格式。参数row为行坐标，col为列坐标，坐标索引起始值为0；参数image（string类型）为图片路径；参数options（dict类型）为可选参数，作用是指定图片的位置、比例、链接URL等信息。操作示例如下：

        #在B5单元格插入python-logo.png图片，图片超级链接为http://python.org
        worksheet.insert_image('B5', 'img/python-logo.png', {'url': 'http://python.org'})

上述示例将创建一个如图3-6所示的工作表。

3. Chart类

Chart类实现在XlsxWriter模块中图表组件的基类，支持的图表类型包括面积、条形图、柱形图、折线图、饼图、散点图、股票和雷达等，一个图表对象是通过Workbook（工作簿）的add_chart方法创建，通过{type, '图表类型'}字典参数指定图表的类型，语句如下：

        chart = workbook.add_chart({type, 'column'})    #创建一个column(柱形)图表

更多图表类型说明：

❍area：创建一个面积样式的图表；

❍bar：创建一个条形样式的图表；

❍column：创建一个柱形样式的图表；

❍line：创建一个线条样式的图表；

❍pie：创建一个饼图样式的图表；

❍scatter：创建一个散点样式的图表；

❍stock：创建一个股票样式的图表；

❍radar：创建一个雷达样式的图表。

然后再通过Worksheet（工作表）的insert_chart()方法插入到指定位置，语句如下：

        worksheet.insert_chart('A7', chart)    #在A7单元格插入图表

下面介绍chart类的几个常用方法。

❑chart.add_series (options)方法，作用为添加一个数据系列到图表，参数options (dict类型)设置图表系列选项的字典，操作示例如下：

        chart.add_series({
            'categories': '=Sheet1!$A$1:$A$5',
            'values':     '=Sheet1!$B$1:$B$5',
            'line':       {'color': 'red'},
        })

add_series方法最常用的三个选项为categories、values、line，其中categories作为是设置图表类别标签范围；values为设置图表数据范围；line为设置图表线条属性，包括颜色、宽度等。

❑其他常用方法及示例。

❍set_x_axis(options)方法，设置图表X轴选项，示例代码如下，效果图如图3-7所示。

        chart.set_x_axis({
            'name': 'Earnings per Quarter',    #设置X轴标题名称
            'name_font': {'size': 14, 'bold': True},  #设置X轴标题字体属性
            'num_font':  {'italic': True },    #设置X轴数字字体属性
        })

❍set_size(options)方法，设置图表大小，如chart.set_size({'width': 720, 'height': 576})，其中width为宽度，height为高度。

❍set_title(options)方法，设置图表标题，如chart.set_title({'name': 'Year End Results'})，效果图如图3-8所示。

❍set_style(style_id)方法，设置图表样式，style_id为不同数字则代表不同样式，如chart.set_style(37)，效果图如图3-9所示。

❍set_table(options)方法，设置X轴为数据表格形式，如chart.set_table()，效果图如图3-10所示。

3.1.2 实践：定制自动化业务流量报表周报

本次实践通过定制网站5个频道的流量报表周报，通过XlsxWriter模块将流量数据写入Excel文档，同时自动计算各频道周平均流量，再生成数据图表。具体是通过workbook.add_chart({'type': 'column'})方法指定图表类型为柱形，使用write_row、write_column方法分别以行、列方式写入数据，使用add_format()方法定制表头、表体的显示风格，使用add_series()方法将数据添加到图表，同时使用chart.set_size、set_title、set_y_axis设置图表的大小及标题属性，最后通过insert_chart方法将图表插入工作表中。我们可以结合2.3节的内容来实现周报的邮件推送，本示例略去此功能。实现的代码如下：

【/home/test/XlsxWriter/simple2.py】

        #coding: utf-8
        import xlsxwriter
        workbook = xlsxwriter.Workbook('chart.xlsx')    #创建一个Excel文件
        worksheet = workbook.add_worksheet()    #创建一个工作表对象
        chart = workbook.add_chart({'type': 'column'})    #创建一个图表对象
        #定义数据表头列表
        title = [u'业务名称',u'星期一',u'星期二',u'星期三',u'星期四',u'星期五',u'星期
        六',u'星期日',u'平均流量']
        buname= [u'业务官网',u'新闻中心',u'购物频道',u'体育频道',u'亲子频道']    #定义频道名称
        #定义5频道一周7天流量数据列表
        data = [
            [150,152,158,149,155,145,148],
            [89,88,95,93,98,100,99],
            [201,200,198,175,170,198,195],
            [75,77,78,78,74,70,79],

        [88,85,87,90,93,88,84],
    ]
    format=workbook.add_format()    #定义format格式对象
    format.set_border(1)    #定义format对象单元格边框加粗(1像素)的格式
    format_title=workbook.add_format()    #定义format_title格式对象
    format_title.set_border(1)   #定义format_title对象单元格边框加粗(1像素)的格式
    format_title.set_bg_color('#cccccc')        #定义format_title对象单元格背景颜色为
                                                #'#cccccc'的格式
    format_title.set_align('center')    #定义format_title对象单元格居中对齐的格式
    format_title.set_bold()    #定义format_title对象单元格内容加粗的格式
    format_ave=workbook.add_format()    #定义format_ave格式对象
    format_ave.set_border(1)    #定义format_ave对象单元格边框加粗(1像素)的格式
    format_ave.set_num_format('0.00')   #定义format_ave对象单元格数字类别显示格式
    #下面分别以行或列写入方式将标题、业务名称、流量数据写入起初单元格，同时引用不同格式对象
    worksheet.write_row('A1',title,format_title)
    worksheet.write_column('A2', buname,format)
    worksheet.write_row('B2', data[0],format)
    worksheet.write_row('B3', data[1],format)
    worksheet.write_row('B4', data[2],format)
    worksheet.write_row('B5', data[3],format)
    worksheet.write_row('B6', data[4],format)
    #定义图表数据系列函数
    def chart_series(cur_row):
        worksheet.write_formula('I'+cur_row, \
        '=AVERAGE(B'+cur_row+':H'+cur_row+')',format_ave)    #计算（AVERAGE函数）频
                                                             #道周平均流量
        chart.add_series({
            'categories': '=Sheet1!$B$1:$H$1',    #将“星期一至星期日”作为图表数据标签(X轴)
            'values':     '=Sheet1!$B$'+cur_row+':$H$'+cur_row,    #频道一周所有数据作
                                                                   #为数据区域
            'line':       {'color': 'black'},    #线条颜色定义为black(黑色)
            'name': '=Sheet1!$A$'+cur_row,    #引用业务名称为图例项
        })
    for row in range(2, 7):    #数据域以第2～6行进行图表数据系列函数调用
        chart_series(str(row))
    #chart.set_table()    #设置X轴表格格式，本示例不启用
    #chart.set_style(30)    #设置图表样式，本示例不启用
    chart.set_size({'width': 577, 'height': 287})         #设置图表大小
    chart.set_title ({'name': u'业务流量周报图表'})       #设置图表（上方）大标题
    chart.set_y_axis({'name': 'Mb/s'})    #设置y轴（左侧）小标题
    worksheet.insert_chart('A8', chart)         #在A8单元格插入图表
    workbook.close()    #关闭Excel文档

上述示例将创建一个如图3-11所示的工作表。

3.2 Python与rrdtool的结合模块

rrdtool（round robin database）工具为环状数据库的存储格式，round robin是一种处理定量数据以及当前元素指针的技术。rrdtool主要用来跟踪对象的变化情况，生成这些变化的走势图，比如业务的访问流量、系统性能、磁盘利用率等趋势图，很多流行监控平台都使用到rrdtool，比较有名的为Cacti、Ganglia、Monitorix等。更多rrdtool介绍见官网http://oss. oetiker.ch/rrdtool/。rrdtool是一个复杂的工具，涉及较多参数概念，本节主要通过Python的rrdtool模块对rrdtool的几个常用方法进行封装，包括create、fetch、graph、info、update等方法，本节对rrdtool的基本知识不展开说明，重点放在Python rrdtool模块的常用方法使用介绍上。

rrdtool模块的安装方法如下：

        easy_install python-rrdtool    #pip安装方法
        pip install python-rrdtool    #easy_install安装方法

    #需要rrdtool工具及其他类包支持，CentOS环境推荐使用yum安装方法
    # yum install rrdtool-python

3.2.1 rrdtool模块常用方法说明

下面介绍rrdtool模块常用的几个方法，包括create（创建rrd）、update（更新rrd）、graph（绘图）、fetch（查询rrd）等。

1. Create方法

create filename [--start|-b start time] [--step|-s step] [DS:ds-name:DST:heartbeat:min:max][RRA:CF:xff:steps:rows]方法，创建一个后缀为rrd的rrdtool数据库，参数说明如下：

❑filename创建的rrdtool数据库文件名，默认后缀为.rrd；

❑--start指定rrdtool第一条记录的起始时间，必须是timestamp的格式；

❑--step指定rrdtool每隔多长时间就收到一个值，默认为5分钟；

❑DS用于定义数据源，用于存放脚本的结果的变量；

❑DST用于定义数据源类型，rrdtool支持COUNTER（递增类型）、DERIVE（可递增可递减类型）、ABSOLUTE（假定前一个时间间隔的值为0，再计算平均值）、GUAGE（收到值后直接存入RRA）、COMPUTE（定义一个表达式，引用DS并自动计算出某个值）5种，比如网卡流量属于计数器型，应该选择COUNTER；

❑RRA用于指定数据如何存放，我们可以把一个RRA看成一个表，保存不同间隔的统计结果数据，为CF做数据合并提供依据，定义格式为：[RRA:CF:xff:steps:rows]；

❑CF统计合并数据，支持AVERAGE（平均值）、MAX（最大值）、MIN（最小值）、LAST（最新值）4种方式。

2. update方法

update filename [--template|-t ds-name[:ds-name]...] N|timestamp:value[:value...][timestamp:value[:value...] ...] 方法，存储一个新值到rrdtool数据库，updatev和update类似，区别是每次插入后会返回一个状态码，以便了解是否成功（updatev用0表示成功，-1表示失败）。参数说明如下：

❑filename指定存储数据到的目标rrd文件名；

❑-t ds-name[:ds-name]指定需要更新的DS名称；

❑N|Timestamp表示数据采集的时间戳，N表示当前时间戳；

❑value[:value...]更新的数据值，多个DS则多个值。

3. graph方法

graph filename [-s|--start seconds] [-e|--end seconds] [-x|--x-grid x-axis grid and label] [-y|--y-grid y-axis grid and label] [--alt-y-grid] [--alt-y-mrtg] [--alt-autoscale] [--alt-autoscale-max] [--units-exponent] value [-v|--vertical-label text] [-w|--width pixels] [-h|--height pixels] [-i|--interlaced] [-f|--imginfo formatstring] [-a|--imgformat GIF|PNG|GD] [-B|--background value] [-O|--overlay value] [-U|--unit value] [-z|--lazy] [-o|--logarithmic] [-u|--upper-limit value] [-l|--lower-limit value] [-g|--no-legend] [-r|--rigid] [--step value] [-b|--base value] [-c|--color COLORTAG#rrggbb] [-t|--title title] [DEF:vname=rrd:ds-name:CF] [CDEF:vname=rpn-expression] [PRINT:vname:CF:format] [GPRINT:vname:CF:format] [COMMENT:text] [HRULE:value#rrggbb[:legend]] [VRULE:time#rrggbb[:legend]] [LINE{1|2|3}:vname[#rrggbb [:legend]]] [AREA:vname[#rrggbb[:legend]]] [STACK:vname[#rrggbb[:legend]]]方法，根据指定的rrdtool数据库进行绘图，关键参数说明如下：

❑filename指定输出图像的文件名，默认是PNG格式；

❑--start指定起始时间；

❑--end指定结束时间；

❑--x-grid控制X轴网格线刻度、标签的位置；

❑--y-grid控制Y轴网格线刻度、标签的位置；

❑--vertical-label指定Y轴的说明文字；

❑--width pixels指定图表宽度（像素）；

❑--height pixels指定图表高度（像素）；

❑--imgformat指定图像格式（GIF|PNG|GD）；

❑--background指定图像背景颜色，支持#rrggbb表示法；

❑--upper-limit指定Y轴数据值上限；

❑--lower-limit指定Y轴数据值下限；

❑--no-legend取消图表下方的图例；

❑--rigid严格按照upper-limit与lower-limit来绘制；

❑--title图表顶部的标题；

❑DEF:vname=rrd:ds-name:CF指定绘图用到的数据源；

❑CDEF:vname=rpn-expression合并多个值；

❑GPRINT:vname:CF:format图表的下方输出最大值、最小值、平均值等；

❑COMMENT:text指定图表中输出的一些字符串；

❑HRULE:value#rrggbb用于在图表上面绘制水平线；

❑VRULE:time#rrggbb用于在图表上面绘制垂直线；

❑LINE{1|2|3}:vname使用线条来绘制数据图表，{1|2|3}表示线条的粗细；

❑AREA:vname使用面积图来绘制数据图表。

4. fetch方法

fetch filename CF [--resolution|-r resolution] [--start|-s start] [--end|-e end]方法，根据指定的rrdtool数据库进行查询，关键参数说明如下：

❑filename指定要查询的rrd文件名；

❑CF包括AVERAGE、MAX、MIN、LAST，要求必须是建库时RRA中定义的类型，否则会报错；

❑--start --end指定查询记录的开始与结束时间，默认可省略。

3.2.2 实践：实现网卡流量图表绘制

在日常运营工作当中，观察数据的变化趋势有利于了解我们的服务质量，比如在系统监控方面，网络流量趋势图直接展现了当前网络的吞吐。CPU、内存、磁盘空间利用率趋势则反映了服务器运行健康状态。通过这些数据图表管理员可以提前做好应急预案，对可能存在的风险点做好防范。本次实践通过rrdtool模块实现服务器网卡流量趋势图的绘制，即先通过create方法创建一个rrd数据库，再通过update方法实现数据的写入，最后可以通过graph方法实现图表的绘制，以及提供last、first、info、fetch方法的查询。图3-12为rrd创建到输出图表的过程。

第一步 采用create方法创建rrd数据库，参数指定了一个rrd文件、更新频率setp、起始时间--start、数据源DS、数据源类型DST、数据周期定义RRA等，详细源码如下：

【/home/test/rrdtool/create.py】

    # -＊- coding: utf-8-＊-
    #!/usr/bin/python
    import rrdtool
    import time
    cur_time=str(int(time.time()))    #获取当前Linux时间戳作为rrd起始时间
    #数据写频率--step为300秒(即5分钟一个数据点)
    rrd=rrdtool.create('Flow.rrd','--step','300','--start',cur_time,
    #定义数据源eth0_in(入流量)、eth0_out(出流量)；类型都为COUNTER(递增)；600秒为心跳值，
    #其含义是600秒没有收到值，则会用UNKNOWN代替；0为最小值；最大值用U代替，表示不确定
      'DS:eth0_in:COUNTER:600:0:U',
      'DS:eth0_out:COUNTER:600:0:U',

          #RRA定义格式为[RRA:CF:xff:steps:rows]，CF定义了AVERAGE、MAX、MIN三种数据合并方式
          #xff定义为0.5，表示一个CDP中的PDP值如超过一半值为UNKNOWN，则该CDP的值就被标为UNKNOWN
          #下列前4个RRA的定义说明如下，其他定义与AVERAGE方式相似，区别是存最大值与最小值
          # 每隔5分钟(1＊300秒)存一次数据的平均值,存600笔，即2.08天
          # 每隔30分钟(6＊300秒)存一次数据的平均值,存700笔，即14.58天（2周）
          # 每隔2小时(24＊300秒)存一次数据的平均值,存775笔，即64.58天（2个月）
          # 每隔24小时(288＊300秒)存一次数据的平均值,存797笔，即797天(2年)
          'RRA:AVERAGE:0.5:1:600',
          'RRA:AVERAGE:0.5:6:700',
          'RRA:AVERAGE:0.5:24:775',
          'RRA:AVERAGE:0.5:288:797',
          'RRA:MAX:0.5:1:600',
          'RRA:MAX:0.5:6:700',
          'RRA:MAX:0.5:24:775',
          'RRA:MAX:0.5:444:797',
          'RRA:MIN:0.5:1:600',
          'RRA:MIN:0.5:6:700',
          'RRA:MIN:0.5:24:775',
          'RRA:MIN:0.5:444:797')
        if rrd:
            print rrdtool.error()

第二步 采用updatev方法更新rrd数据库，参数指定了当前的Linux时间戳，以及指定eth0_in、eth0_out值（当前网卡的出入流量），网卡流量我们通过psutil模块来获取，如psutil.net_io_counters()[1]为入流量，关于psutil模块的介绍见第1.1。详细源码如下：

【/home/test/rrdtool/update.py】

        # -＊- coding: utf-8-＊-
        #!/usr/bin/python
        import rrdtool
        import time,psutil
        total_input_traffic = psutil.net_io_counters()[1]    #获取网卡入流量
        total_output_traffic = psutil.net_io_counters()[0]    #获取网卡出流量
        starttime=int(time.time())    #获取当前Linux时间戳
        #将获取到的三个数据作为updatev的参数，返回{'return_value': 0L}则说明更新成功，反之失败
        update=rrdtool.updatev('/home/test/rrdtool/Flow.rrd','%s:%s:%s'  %
        (str(starttime),str(total_input_traffic),str(total_output_traffic)))
        print update

将代码加入crontab，并配置5分钟作为采集频率，crontab配置如下：

        ＊/5 ＊ ＊ ＊ ＊ /usr/bin/python /home/test/rrdtool/update.py > /dev/null 2>&1

第三步 采用graph方法绘制图表，此示例中关键参数使用了--x-grid定义X轴网格刻度；DEF指定数据源；使用CDEF合并数据；HRULE绘制水平线（告警线）；GPRINT输出最大值、最小值、平均值等。详细源码如下：

        【/home/test/rrdtool/graph.py】
        # -＊- coding: utf-8-＊-
        #!/usr/bin/python
        import rrdtool
        import time
        #定义图表上方大标题
        title="Server network  traffic flow ("+time.strftime('%Y-%m-%d', \
        time.localtime(time.time()))+")"
        #重点解释"--x-grid","MINUTE:12:HOUR:1:HOUR:1:0:%H"参数的作用（从左往右进行分解）
        “MINUTE:12”表示控制每隔12分钟放置一根次要格线
        “HOUR:1”表示控制每隔1小时放置一根主要格线
        “HOUR:1”表示控制1个小时输出一个label标签
        “0:%H”0表示数字对齐格线，%H表示标签以小时显示
        rrdtool.graph( "Flow.png", "--start", "-1d","--vertical-label=Bytes/s",\
        "--x-grid","MINUTE:12:HOUR:1:HOUR:1:0:%H",\
          "--width","650","--height","230","--title",title,
          "DEF:inoctets=Flow.rrd:eth0_in:AVERAGE",    #指定网卡入流量数据源DS及CF
          "DEF:outoctets=Flow.rrd:eth0_out:AVERAGE",    #指定网卡出流量数据源DS及CF
          "CDEF:total=inoctets,outoctets,+",    #通过CDEF合并网卡出入流量，得出总流量total
        "LINE1:total#FF8833:Total traffic",     #以线条方式绘制总流量
          "AREA:inoctets#00FF00:In traffic",    #以面积方式绘制入流量
          "LINE1:outoctets#0000FF:Out traffic",    #以线条方式绘制出流量
          "HRULE:6144#FF0000:Alarm value\\r",    #绘制水平线，作为告警线，阈值为6.1k
          "CDEF:inbits=inoctets,8,＊",    #将入流量换算成bit，即＊8，计算结果给inbits
          "CDEF:outbits=outoctets,8,＊",    #将出流量换算成bit，即＊8，计算结果给outbits
        "COMMENT:\\r",    #在网格下方输出一个换行符
          "COMMENT:\\r",
          "GPRINT:inbits:AVERAGE:Avg In traffic\: %6.2lf %Sbps",    #绘制入流量平均值
          "COMMENT:   ",
          "GPRINT:inbits:MAX:Max In traffic\: %6.2lf %Sbps",    #绘制入流量最大值
          "COMMENT:  ",
          "GPRINT:inbits:MIN:MIN In traffic\: %6.2lf %Sbps\\r",    #绘制入流量最小值
          "COMMENT: ",
          "GPRINT:outbits:AVERAGE:Avg Out traffic\: %6.2lf %Sbps",    #绘制出流量平均值
          "COMMENT: ",
          "GPRINT:outbits:MAX:Max Out traffic\: %6.2lf %Sbps",    #绘制出流量最大值
          "COMMENT: ",
          "GPRINT:outbits:MIN:MIN Out traffic\: %6.2lf %Sbps\\r")    #绘制出流量最小值

以上代码将生成一个Flow.png文件，如图3-13所示。

3.3 生成动态路由轨迹图

scapy（http://www.secdev.org/projects/scapy/）是一个强大的交互式数据包处理程序，它能够对数据包进行伪造或解包，包括发送数据包、包嗅探、应答和反馈匹配等功能。可以用在处理网络扫描、路由跟踪、服务探测、单元测试等方面，本节主要针对scapy的路由跟踪功能，实现TCP协议方式对服务可用性的探测，比如常用的80（HTTP）与443（HTTPS）服务，并生成美观的路由线路图报表，让管理员清晰了解探测点到目标主机的服务状态、骨干路由节点所处的IDC位置、经过的运营商路由节点等信息。下面详细进行介绍。

scapy模块的安装方法如下：

        # scapy模板需要tcpdump程序支持，生成报表需要graphviz、ImageMagick图像处理包支持
        # yum -y install tcpdump graphviz ImageMagick
        # 源码安装
        # wget http://www.secdev.org/projects/scapy/files/scapy-2.2.0.tar.gz
        # tar -zxvf scapy-2.2.0.tar.gz
        # cd scapy-2.2.0
        # python setup.py install

3.3.1 模块常用方法说明

scapy模块提供了众多网络数据包操作的方法，包括发包send()、SYN\ ACK扫描、嗅探sniff()、抓包wrpcap()、TCP路由跟踪traceroute()等，本节主要关注服务监控内容接下来详细介绍traceroute()方法，其具体定义如下：

traceroute(target, dport=80, minttl=1, maxttl=30, sport=<RandShort>, l4=None, filter=None, timeout=2, verbose=None, **kargs)

该方法实现TCP跟踪路由功能，关键参数说明如下：

❑target：跟踪的目标对象，可以是域名或IP，类型为列表，支持同时指定多个目标，如["www.qq.com","www.baidu.com","www.google.com.hk"]；

❑dport：目标端口，类型为列表，支持同时指定多个端口，如[80,443]；

❑minttl：指定路由跟踪的最小跳数（节点数）；

❑maxttl：指定路由跟踪的最大跳数（节点数）。

3.3.2 实践：实现TCP探测目标服务路由轨迹

在此次实践中，通过scapy的traceroute()方法实现探测机到目标服务器的路由轨迹，整个过程的原理见图3-14，首先通过探测机以SYN方式进行TCP服务扫描，同时启动tcpdump进行抓包，捕获扫描过程经过的所有路由点，再通过graph()方法进行路由IP轨迹绘制，中间调用ASN映射查询IP地理信息并生成svg流程文档，最后使用ImageMagick工具将svg格式转换成png，流程结束。

本次实践通过traceroute()方法实现路由的跟踪，跟踪结果动态生成图片格式。功能实现源码如下：

【/home/test/scapy/simple1.py】

        # -＊- coding: utf-8-＊-
        import os,sys,time,subprocess
        import warnings,logging
        warnings.filterwarnings("ignore", category=DeprecationWarning) #屏蔽scapy无用告警信息
        logging.getLogger("scapy.runtime").setLevel(logging.ERROR) #屏蔽模块IPv6多余告警
        from scapy.all import traceroute
        domains = raw_input('Please input one or more IP/domain: ') #接受输入的域名或IP
        target =  domains.split(' ')
        dport = [80]    #扫描的端口列表
        if len(target) >= 1 and target[0]!='':
            res,unans = traceroute(target,dport=dport,retry=-2) #启动路由跟踪
            res.graph(target="> test.svg")    #生成svg矢量图形
            time.sleep(1)
            subprocess.Popen("/usr/bin/convert test.svg test.png", shell=True) #svg转png格式
        else:
            print "IP/domain number of errors,exit"

代码运行结果见图3-15，“-”表示路由节点无回应或超时；“11”表示扫描的指定服务无回应；“SA”表示扫描的指定服务有回应，一般是最后一个主机IP。

生成的路由轨迹图见图3-16（仅局部），“-”将使用unk*单元代替，重点路由节点将通过ASN获取所处的运营商或IDC位置，如IP“202.102.69.210”为“CHINANET-JS-AS-AP AS Number for CHINANET jiangsu province backbone,CN”意思为该IP所处中国电信江苏省骨干网。

通过路由轨迹图，我们可以非常清晰地看到探测点到目标节点的路由走向，运营商时常会做路由节点分流，不排除会造成选择的路由线路不是最优的，该视图可以帮助我们了解到这个信息。另外IE8以上及chrome浏览器都已支持SVG格式文件，可以直接浏览，无需转换成png或其他格式，可以轻松整合到我们的运营平台当中。