基金项目：铜陵学院2022年大学生创新创业比赛

项目编号：S202210383276

1.交通流数据处理分析

1.1 交通流数据筛选指标特性

从维度建模指标出发，选取典型的指标，从不同维度对交通流数据的影响进行分析，交通流随着时间和空间的变化而变化，受到车辆、行人和其他干扰因素的影响，表现出强烈的随机性和不确定性，交通流具有如下显著特性：

（1）随机性

由于交通车辆主观目的地的不确定性，以及车流量红绿灯的运转不确定性，加以道路由于施工等非可预测性事件的存在，导致车流量交通流的数据收集具有相对随机性，因而筛选主要车流，去除相对影响权重较小的因素，对于交通流指标的筛选尤为关键

（2）周期性

从时间维度分析来讲，个人年度、月度、日度具有较高相似性，除个别非预测事件发生之外，个人出行特点与习惯来说，具有周期性，工作日和非工作日的交替变化，具体来说，某人工作日期限内乘坐公交车路线，或者乘坐私家车的工作路线与时间段，具有极高的重复性。

（3）时空特性

在交通流中，前一时刻的交通流会对下一时刻的交通流产生影响，即现在和未来交通状态受历史交通状态影响，并且交通流时间序列变化趋势与历史时间序列趋势呈正相关。不同路段间在同一时间段会受到上级路段车流拥堵情况的影响，总体选取车流路段要综合该路段连接前后的路段，消除必要的影响，确保选取路段受上下级路段拥堵影响最小，保持相对独立性，进而确保模型的可塑性和准确性保持稳定^[8]。

（4）网状特性

城市的交通运输，主要有几个纵横交错的主干道交织连接而成，而这些主要干道类似于人类的主要动脉，除此之外，城市交通系统还有许许多多，连接主干道的非主干道连接而成，这些非主要干道对于城市交通运营同样也至关重要，相当于人类的毛细血管等等，正是由于几条主要干道以及许许多多错综复杂的非主干道，才组成了网状特性城市交通系统。

1.1.1 交通流数据指标的参数选取

综合因子对预测结果的影响权重，通用最有效的基于标签树节点权重的正文提取算法^[9],最终选取了九项源指标200行：车流日期(traffic_date)、卡口信息(kakou_info)、摄像头数量(camera_num)、路段信息(road_info)、车流时间(traffic_time)、车速设定(speed_set)、平均车速(Avg_speed)、地区信息(region_info)、车流量/时(traffic_flow)。

卡口信息(kakou_info)包含：卡口数量(kakou_num)、卡口类型(kakou_type)、卡口安装日期(kakou_start)。

地域信息(region_info)包含：区域名称(region_name)、区域等级/几线城市(region_grade)。

路段信息(road_info)包含：路段名称(road_name)、所属区域(region_id)、路段地址(road_address)。

1.1.2 交通流数据假设

l 以小时为时间字段能够准确反映同一天内车流量变化情况

l 以五天为日期字段能够准确反映日期跨度内车流量的变化情况

l 所选城市字段能够准确反映因城市等级所展现出的车流量差异性

l 所选道路期限内不存在因道路施工等非预测性事件所产生的误差

1.1.3 交通流数据预处理

（1）数据清洗 —— 去噪声和无关数据。

（2）数据集成 —— 将许许多多分散的源数据，通过合并整理成一个综合且冗余程度相对较低的数据集合。

（3）数据变换 —— 对不合适数据类型通过数组、字符串等方式，进行强制转换成满足开发需要的数据类型。

（4）数据规约 —— 降低数据冗余，进行降维，筛选对于交通流影响相对较低的指标擦除，来达到降低数据量的规模，提高数据计算处理效率^[10]。

（5）测量误差和数据收集误差

其中，测量误差是指测量过程中导致的问题，数据收集错误是指诸如遗漏数据对象或属性值，或不当地包含了其他数据对象等错误。如果我们只考虑一般的错误类型，当交通流数据的指标数据采取人工输入形式，那么存在的数据类型错误或者不合理值的可能性极大，这必须采取相应的数据处理，筛选不合理指标和错误数据类型，便于后期的运算处理。

（6）重复数据

数据集中的数据存在重复的问题，也称冗余，即存在不必要的重复数据，对于最终的可视化展示，以及开发中的数据运算具有较大的阻碍作用，因此，在对数据开发之前就有了数据筛选去重等等，叫做开发前的准备，通过合理SQL语句可以筛选出存在而非必要的冗余数据，进行删除处理，极大地便捷了后期数据的计算、分析、可视化展现等等。

1.2 数据存储Mysql数据库表设计

1.2.1 源数据文件导入Mysql

（1）进入mysql数据库控制台:

mysql -u root -p

（2）选择需要操作的数据库:

mysql>use 数据库

（3）用source命令，导入sql文件，后面参数为源数据文件:

mysql>source d:/traffic_flow_info.sql

（4）进入mysql数据库控制台:

mysql -u root -p

mysql>use 数据库

（5）使用source命令，后面参数为脚本文件:

mysql>source d:/traffic_info.sql

1.2.2 Mysql数据抽取、清洗、转换、装载

在ETL的3个环节中，数据抽取直接面对各种分散、异构的数据源，如何保证稳定高效的从这些数据源中提取正确的数据，是ETL设计和实施过程中需要考虑的关键问题之一。

ETL的本质就是把庞大的海量数据集，以流的形式，传送筛选、计算和输出，每个过程将数据分成很多小的子集，并将处理后的数据及时的装载到下一个环节，主要的ETL过程有两个环节，一个是静态的ETL过程，一个是动态的ETL过程，整个过程按照开发人员的定义方法和提供的函数进行遍历，通过对数据进行标记和索引，可以对数据进行有规则的排序和开发，根据客户端的需求，编写相应的Sql语句，比如说读写、遍历、循环、递归、去重等等。

ETL源头是将源数据库ODS层，进行装载和导入，它类似于一个管道，将客户端与服务端的数据进行传输，整个过程遍布于整个开发阶段，并且在数据传输过程中，一般保持正确性、保值性、完整性、一致性和时效性。一般情况下ETL过程的维护阶段耗费较小，花费较低，它主要是事实表的装载，在这种情况下，一般会取消相关的约束禁用条件，在现如今互联网的高速发展阶段，ETL过程已经发展成了一个专业的职业岗位，俗称ETL工程师。

1.2.3 数据异常数据处理

由于街道卡口系统或者人工归档存在误差，或者类似相关不可避免的因素，可能导致数据失真或者数据异常，这就需要通过相应的数据处理软件或者数据筛选语句来及时调整，避免因数据问题而导致结果的不准确的情况，这有利于更深层次挖掘潜在有价值的信息。通常通过统计学、降噪处理、散点图检测等方法，来提高数据的有效性和真实性，本文与传统大数据系统相结合，通过开发人员编写Sql语筛选出不合适的值，及时更改和调整。

无监督聚类寻找异常值，聚类可以对多维数据进行操作，而无监督本质上取决于如何扩大样本点的类差异，也就是说，聚类可以找到那些不“聚类”的离散点——离群点^[10]。

K-means聚类依赖于每个样本点到聚类中心点的距离进行分类：

（1）从数据集中随机选择k个点作为聚类的中心。

（2）假设每个点被指定到类的最近中心点，形成一个k类。然后重新计算每个类的中心点（例如，取每个类的平均值作为新的中心点）。

重复步骤（2），直到类不再更改，或者设置最大迭代次数以使算法收敛^[11]。

2.研究意义

随着当代科技水平和人民生活水平的上升，信息共享已成为当今世界发展的代名词，在确保不破坏当前经济发展预期的情形下，探索出一种满足当前交通业发展的合理方式尤为重要，海量数据的挖掘、分析、处理、回滚等，需要一种更新的数据仓库，结合当前世界的互联网发展水平，人工智能、云计算、大数据等等技术，对于交通业的发展结合尤为关键，本文希望以传统的数据存储模式为基础，以当前主流的互联网技术为构架，搭建一种更为先进的数据存储仓库。

这不仅对于城市发展规划和布局具有十分重要的意义，更与人们的出行质量和效率息息相关，以点带面式的引领交通运输业的发展潮流，更加便民、快捷地提供更多的优质服务，对于大众的服务质量和水平，城市运营的质量和水平具有十分重要的意义。基于大数据的交通运输业发展，不仅仅是国家的战略方向，也是我们中国人科技崛起的机遇，我们只有不断学习和吸收新知识，才能提高自己，为交通事业的发展做出贡献。大数据技术并不是特指某一个人，而是相对于每个人所串联出的数据。大数据交通的发展不仅使我们的社会发展得更好，而且使我们每个人的生活更加舒适和美好。

（1）基于交通流预测的红绿灯控制

在车流量预测系统中，可以根据模拟红绿灯的数字信号，传输至量化指标，模拟出某路段某车辆可能存在的延误时长，计算出一条相对等红灯延迟最少的最优化路线，从空间加时间的角度分析车辆的可能性，筛选出最优化的数字路线，综合时间、油耗、拥堵情况的相关指标，从而达到缓解交通压力的最终目的。

（2）基于交通流预测的城市道路系统规划

为了给城市道路系统的规划与建设提供最新的道路运行情况，将目标卡口摄像头记录的相关数据，统筹协调分配处理，为道路建设管理者提供最新的实时数据，分析某卡口存在的道路问题，综合各种因素，模拟建设出城市道路系统相对理想的规划网，结合当前的主流的模拟编程语言系统，预测相关的道路建设网，构建最合理的城市道路系统^[5]。

（3）基于交通流预测的导航应用

基于交通流的导航应用，可以为车主提供最实时的道路拥堵情况，综合各相关因子为车主提供最合理且省时的路线，与当前主流的地图APP融合，提供更多的便民服务和基础功能，在一定程度上可以缓解当前城市路段的交通压力，给车主提供最新的前方道路的运行情况，可以提供更多道路选择的空间。

参考文献

[1]丁栋,朱云龙,库涛,王亮.基于影响模型的短时交通流预测方法[J].计算机工程.2012(10)

[2]李浩,张杉,曹斌,范菁.基于城市道路卡口数据的交通流量预测[J].重庆大学学报.2020(11)