基于排水管线探测数据预处理方法设计与实现
陶玉明，宋健，王亚丽，冯飞
中煤（西安）地下空间科技发展有限公司
摘要：围绕排水管线探测工程数据处理过程横向制裂、效率低下等问题,设计数据预处理方法,包括属性数据批量处理、测量数据批量处理、数据成图预处理、数据统计预处理、成果制作预处理等内容,编写软件程序实现数据库预处理常用功能,提高排水管线探測工程数据处理的效率和质量。
关键词：排水管线探测;管线数据处理;数据预处理;方法设计与实现
1引言
信息服务的内容和方式逐渐综合化、定制化、泛在化和智能化[1]。随着城市的快速发展和智慧城市的建设,国内多个地区已大量开展排水摸排和溯源工作,为城市建设和管网改造提供第一手资料[2]。城市范围内供水、排水、燃气、热力、电力、通信、广播电视、工业等管线及其附属设施是保障城市运行的重要基础设施和“生命线”[3],而建立完善的城市排水系统是提高城市防灾减灾能力、保障人民群众的生命财产安全的基本要求。城镇污水处理提质增效三年行动方案文件强调了下水道建设与修复在城市水环境治理与生态恢复中的关键作用,标志着中国城市水环境治理的战略转折点[4]。近年来雨污混接和管井渗漏问题较为普遍,黑臭水体、非法排污口、管网塌陷等问题困扰着城市建设,因此,准确探明市*道路及小区的排水管线情况,建立排水管网数据库,可为排水管网改造设计、建立城市智慧水务管网数据系统提供依据。其中排水管线探测数据库描述了排水管线及其附属设施的空间位置、空间关系及其它特征属性,在管线信息化建设全生命周期过程中重要性不言而喻。
地下管线普查数据建库是承接外业普查与管线数据应用的重要环节,对地下管线普查数据的最终应用有着重要的影响[5]。然而,排水管线探测工程中数据处理过程易出现耦合高、效率低等问题,排水管线探测数据处理需要通过降低耦合来减少处理过程的相互依赖,同时提高管线探测数据建库处理的工作效率和处理质量。
2需解决问题分析排水管线探测工程数据处理易出现处理过程纵向耦合横向割裂、效率低问题多等问题。第一,各项管线探测数据成果的处理与制作过程相互依赖性较强,耦合度高易导致维护成本较高,还会造成数据处理过程比较松散,分工职责不明确。第二,排水管线探测数据建库、成图、统计、成果制作等过程处理效率和质量有待提高,比如排水管线数据库字段数量多且数据录入工作量大,排水管线图图面注记要素多且内容缺失,市*与小区管线数据统计要求复杂且自动化程度不够高,数据成果要求细节变化频繁且数据处理制作反复,不同项目数据要求不同导致处理系统风格不稳定使用户处理习惯不统一并增加记忆负担等。因此,排水管线探测数据处理需要通过降低纵向耦合并提高横向耦合,促进数据处理过程相互独立并减少相互依赖,同时保持数据库内容的一致性,提高排水管线探测项目数据建库处理的工作效率和处理质量。3排水管线探测数据预处理方法设计
围绕排水管线探测工程中的数据处理过程纵向耦合高、处理效率低等问题,通过近年综合地下管线探测项目和排水专业管线探测项目的实践研究,设计排水管线探测数据预处理方法流程和内容。
3.1排水管线探测数据预处理方法流程
排水管线探测数据预处理的方法流程主要包括数据输人、需求选择、数据处理和数据输出四大部分,具体的排水管线探测数据预处理方法流程如图1所示。
3.2排水管线探测数据预处理内容
针对排水管线探测工程前述需解决的问题,根据排水管线探测数据预处理的方法流程,设计属性数据批量处理、测量数据批量处理、数据成图预处理、数据统计预处理、成果制作预处理等数据库预处理内容项,同时保持数据预处理方法的扩展性。
属性数据批量处理主要指数据录入后可选择进行的属性数据批量处理功能,比如测区编号、权属单位、探测员、探测日期、接口方式等字段的批量填写,以及批量补填排水井篦空的测点性质,批量补填排水接入管数,批量填写排水相近字段内容等。通过数据库预处理,在属性数据录入后根据用户需求进行补充处理,可以减轻管线探测属性数据录入或修改的工作内容,提高数据录人阶段的效率和质量。
测量数据批量处理主要指测量数据导入后可选择进行的数据批量处理功能,比如补填测量表、删除测量表多余坐标等测量表的处理内容等。通过数据库预处理,在测量数据导入后进行批量处理,通过自动处理测量表数据内容提高数据处理效率。
数据成图预处理主要围绕管线图注记要素的绘制需求,解决管线图注记要素内容缺失等问题,可选择进行的数据批量处理功能,此如计算填写参考埋深,便于后期管线成图与数据检查等,提高管线探测数据处理的工作效率和处理质量。
数据统计预处理主要围绕管线数据查询与统计的需求,可选择进行的数据批量处理功能,比如市*和小区排水需要分别统计或统计标准可能有差异,可以针对管线长度统计复杂且自动化程度不够高的问题,通过数据库预处理提前标记区分管线,简易高效处理管线数据库查询统计。
成果制作预处理主要围绕数据库、管线图、成果表等数据成果制作的需求,可选择进行的数据批量处理功能,比如批量生成标准外业点号、快速标记孤立点、字段内容的批量填写等,提高管线探测数据处理与成果制作的效率和质量,并且处理后的数据再经过成果制作可在管线图、成果表、成果数据库、统计报告等图表成果形式中体现出来,可以保持各项成果数据内容的一致性。
4排水管线探测数据预处理程序实现
通过排水管线探测数据预处理的方法流程和内容设计,结合城市地下管线探测工程的实际应用,针对AutoCAD软件平台和煤航管线数据处理系统的管线探测数据库结构,编写了排水管线探测数据库预处理工具软件程序,实现了排水管线探测数据库预处理常用功能。
4.1软件设计与关键技术
排水管线探测数据预处理软件功能设计主要包括数据库文件打开、数据库预处理子项选择和数据库文件保存三大部分,具体的排水管线探测数据库预处理工具程序功能框架如图2所示。
根据排水管线探测数据预处理软件功能设计,我们结合数据库技术、交互式CAD技术和SQL结构化查询语言,选用C#语言,在VS开发环境下使用.NET3.5接口,基于AutoCAD软件平台和煤航管线数据处理系统及其Access管线探测数据库结构,实现了地下管线探测数据库预处理工具软件,实现了数据库预处理子项常用的排水管线探测数据预处理功能。
4.2数据库预处理子项处理内容
4.2.1属性数据批量处理项
属性数据批量处理包括测区编号、权属单位、探测员、探测日期、接口方式等字段的批量填写,以及批量补填排水井篦空的测点性质,批量补填排水接入管数,批量填写排水相近字段内容等属性数据录入后可选择进行的数据批量处理功能。
批量填写的字段主要有测区编号、权属单位、探测员、探测日期、接口方式等,并使用两种方法批量填写属性字段。第一是界面设置文本框让用户输入需要填写的字段内容并根据一定的条件批量填写该属性字段内容,第二是直接读取系统相关配置表,根据管线类型等条件批量该属性字段内容。
批量补填排水井篦空的测点性质针对雨水、污水等排水管线子类,对测点性质漏填且满足一定要求的管点,根据用户交互选择情况,批量填写排水检查井和雨水篦等空的测点性质。
批量补填排水接入管数针对雨水、污水等排水管线子类,计算各个管点的连接方向数量,将计算的结果结合系统配置表中预设的名称和项目约定的要求,根据用户交互选择情况,批量填写排水的接入管数。
批量填写排水点线表字段内容围绕子类型、系统类型、上游节点号、下游节点号、管段编号、下游管段高度、下游管段宽度、上游管材、下游管材等属性字段,根据用户交互选择情况,批量填写相关内容。
4.2.2测量数据批量处理项
测量数据批量处理包括补填测量表、删除测量表多余坐标等测量数据导入后可选择进行的数据批量处理功能。
补填测量表针对测量表中测量人员和探测人员名称的部分缺失或全部缺失问题,读取数据库管点表中的探测人员信息,根据相同的管点编号批量补填测量表缺失的探测人员和测量人员内容。
删除测量表多余坐标围绕测量表中可能出现的非管线点和大井范围线点,通过判断管点编号内容并读取数据库管点表中管点编号对比,批量删除测量表多余的坐标点,保证测量表的完整性与正确性。
4.2.3数据成图预处理项
数据成图预处理包括计算填写参考埋深等可选择进行的数据批量处理功能,并可根据管线图注记要素的绘制需求进行扩展,针对需要处理的管线图注记要素增加数据库预处理内容。
计算填写参考埋深读取数据库线表的埋深,通过项目约定的规则进行处理并填写到管点表参考埋深字段中,便于后期管线成图与数据检查,计算填写参考埋深在数据库预处理工具中设置为默认勾选项。
4.2.4数据统计预处理项
数据统计预处理包括管线标记预处理等可选择进行的数据批量处理功能,并可根据管线数据查询与统计的需求进行扩展,针对管线长度统计复杂且自动化程度不够高的问题,简易高效处理管线数据库。
管线标记预处理根据市*和小区排水不同的统计标准,通过规则的分析与计算,在点表或线表相应字段填写内容进行标记,并在界面设置不同规则的设定选项,用户可根据需求进行勾选。另外,此方法还可扩展应用于综合管线的共通管线级别标记等。
4.2.5成果制作预处理项
成果制作预处理包括批量生成标准外业点号、快速标记孤立点、字段内容的批量填写等可选择进行的数据批量处理功能,实现数据库、管线图、成果表等数据成果制作的预处理需求。
批量生成标准外业点号根据项目技术规范和技术设计书的相关要求,按照一定的规则对外业点号进行重新组织,读取管点编号内容,处理为符合项目需求的标准外业点号,批量填写外业标准点号字段内容,保证数据库、管线图、成果表等数据成果管点编号内容的一致性和完整性。
快速标记孤立点根据项目相关的技术要求,通过读取数据库点表和线表的管线点号、管偏井编号、连接关系等内容,判断管点是否属于孤立点,属于孤立点的在相应字段进行批量标记,孤立点的标记处理便于后期管线图和数据库等成果的制作。
4.2.6其它自定义处理项
其它自定义处理内容宜根据排水管线探测项目特殊的需求定制自定义的处理项目,增加数据预处理项,满足项目技术规范和技术设计书的技术要求,提高项目数据处理的工作效率和处理质量。
5结束语
本文通过分析排水管线探测工程中的数据处理过程耦合高、效率低等问题,设计排水管线探测数据预处理方法,围绕AutoCAD软件平台和煤航管线数据处理系统的管线探测数据库结构,研发了排水管线探测数据库预处理工具软件程序,实现了常用的排水管线探测数据预处理功能,对于管线探测工程项目全生命周期中的数据生产与质量管理具有参考借鉴意义,在大量的工程实践中得到了充分的应用。
参考文献:
[1]刘经南,郭文飞,郭迟等,智能时代泛在测绘的再思考[J].测绘学报,,49(04):-.
[2]罗燊,徐景,城市排水管网外业调查探讨[J].资源信息与工程,,35(04):97-99.
[3]刘金榜,王国牛,何兴富.重庆市地下管线普查与更新数据建库实践[J].城市勘测,(02):61-63.
[4]曹业始,郑兴灿,刘智晓等,中国城市污水处理的瓶颈、缘由及可能的解决方案[J/OL].北京工业大学学报:1-14[-09-17].