争取能在百度搜索到把青春献给代码的你;一个年轻程序员的渺小梦想-杨永飞
NOTES DETAIL
运维开发里的数据动态获取和自动补录
 落叶飞花流        224

    在运维平台的设计中,目前有两套系统是并存,并行发展的,其中一部分原因是涉及的业务不同,关注点不同。所以在设计CMDB的部分时,最开始我是整合了已有的实现,把系统层的指标和数据都录进去了,即录入元信息需要录入数据库层面,系统层面,应用层面等等。

    显然这不是一个好方法。如果内存是8G我录入错误,写成了80G有没有问题,在数据库运维平台这边是完全感知不到的,如果后续做了变更,我们也是无法感知的,与其这样,还不如不维护,系统层面的信息可以交由系统运维平台的CMDB即可,而数据库运维平台只需要关注数据库和业务信息即可,如果更进一步,数据库信息其实很多都可以自动发现或者探测得到,唯一需要我们确认的是数据库实例的应用信息。而反过来系统层面对于数据库的元信息有什么需求吗,其实也是有的,比如数据库MySQL的主从不应该部署在一个宿主机上,那么对于系统层面如何去鉴别这个信息呢,显然没有头绪,这就需要数据库层面接口信息来提供数据库的角色,如果数据库角色和服务器层面的信息绑定起来,其实这些信息就可以确认了。

    所以在数据库运维平台中,我不刻意去维护系统的信息,而是主要通过API来来访问获取,当然为了提高性能,我会做一层过滤,我会把系统信息都收集一遍,放入本地的数据库表中,如果下一次访问的时候首先在数据库表中查找,如果找到,就直接返回,否则就重新申请获得。

    然而看似优化的代码在运维平台中还是抛出了错误。

我看了下代码,大体如下:

vm_info_dict = virtual_machine_info.objects.get(ip=vm_ip_addr)
print(vm_info_dict)
if vm_info_dict != None:
physical_server_ip = vm_info_dict.hostip
device_info_dict = physical_server_info.objects.get(ip=physical_server_ip)
phy_contain_vms = virtual_machine_info.objects.filter(hostip=physical_server_ip)
else:
token = gettoken('xxxxx', 'xxxxx')
vm_info_dict=getresponse('https://xxxxx/API/v1/GetServerInfo/'+vm_ip_addr, token)
physical_server_ip = vm_info_dict.get("hostip")
print(physical_server_ip)
device_info_dict=getresponse('https://xxxxxx/API/v1/GetDeviceInfo/'+physical_server_ip, token)

 整体的思路就是通过Django API获取虚拟机信息,如果不存在就通过API去访问获取。

  这个问题看起来比较奇怪,按照错误的思路,应该是在exception的异常捕获部门来处理,这么做确实是可以的,但是如果要扩展逻辑,异常处理的逻辑就会越来越重,感觉怪怪的。

    所以反复测试,也算是明白了,使用get的方式去获取数据,如果获取不到就会抛错,个人感觉这个接口还是不太友好,可以换一种方式,比如filter来实现,因为从表结构能够定位到这是一个主键或者唯一性索引。

    所以代码的部分根据count的方式来做了调整,然后在这个基础上又做了改进,即如果在本地的数据库中不存在,则访问接口得到数据库,把数据库下沉到本地,整个过程对于我们使用是透明的,也算是一种比较友好的交互方式。

vm_info_dict_exists = virtual_machine_info.objects.filter(ip=vm_ip_addr).count()
if vm_info_dict_exists >= 1:
vm_info_dict = virtual_machine_info.objects.get(ip=vm_ip_addr)
print(vm_info_dict)
physical_server_ip = vm_info_dict.hostip
device_info_dict = physical_server_info.objects.get(ip=physical_server_ip)
phy_contain_vms = virtual_machine_info.objects.filter(hostip=physical_server_ip)
return_dict["device_info_dict"] = device_info_dict
return_dict["vm_info_dict"] = vm_info_dict
return_dict["phy_contain_vms"] = phy_contain_vms
else:
token = gettoken('xxxx', 'xxxxxx')
vm_info_dict = getresponse('https://xxxxxx/API/v1/GetServerInfo/' + vm_ip_addr, token)
physical_server_ip = vm_info_dict.get("hostip")
print(physical_server_ip)
device_info_dict = getresponse('https://xxxxxxxAPI/v1/GetDeviceInfo/' + physical_server_ip, token)
return_dict["device_info_dict"] = device_info_dict
return_dict["vm_info_dict"] = vm_info_dict
vm_info = virtual_machine_info()
......
vm_info.memo = vm_info_dict.get("memo")

vm_info.save()
phy_exists = physical_server_info.objects.filter(ip=vm_info.hostip).count()
if phy_exists == 0:
phy_info = physical_server_info()
phy_exists = physical_server_info.objects.filter(ip=vm_info.hostip).count()
if phy_exists == 0:
phy_info = physical_server_info()
phy_info.update_date = device_info_dict.get("update_date")
......
phy_info.memo = device_info_dict.get("memo")

phy_info.save()
phy_contain_vms = virtual_machine_info.objects.filter(hostip=vm_info.hostip)
return_dict["phy_contain_vms"] = phy_contain_vms

后续准备对这些信息做更进一步的改进,能够实现元数据的增量刷新,即数据发生变化的时候我会调用接口刷新数据到本地,否则还是保持不变。

所属标签: 笔记

2 条评论

  • 不见不散 2018-05-23 05:37:43

    回家了

  • 花卉 2018-05-22 02:11:39

    新人来报到,需要朋友的我【图片

既来之,说两句吧!

关于我

莫失莫忘,莫惆怅,莫提前生,莫妄后生。知人,知世事,自知,知余于心,力不逮~~

1根小腿毛

浏览最多

话剧《命运之影》如何再现诺

2018-05-26

暂时没有任何描述哦~

陈冠希,一直在音乐

2018-05-26

上海国际艺术节|纪

2018-05-26

照片墙

文件下载

  • 自适应图片大小

    [ 1 ]

  • 贝壳云笔记mac版本

    [ 1 ]

  • 判断移动端设备并且跳转

    [ 1 ]

  • 简体繁体互转PHP

    [ 0 ]

  • phalcon-devto

    [ 0 ]

  • PhalconYang-P

    [ 0 ]