大型银行文件传输架构设计及运维管理
d
dbaplus社群约 6 分钟
dbaplus社群约 6 分钟- 问题一
业务系统间文件传输交换各自为政，形成复杂的传输关系，当出现异常时，问题根源和关联影响很难定位。
- 问题二
传输技术多样化，同时存在多种传输方式，系统间对接需单独开发，无统一标准，后期维护困难。
- 问题三
同一份文件进行多次抽取、发送，数据共享性差，系统间的文件传输流量无法复用、归并，增加网络域重复流量。
-
问题四
G行文件传输系统作为基础支撑系统，将数据文件传输进行统一规划，向全行各应用系统提供数据文件传输服务接口，建立全行统一的传输接口规范和标准，保证全行文件数据传输过程的可管理性、高效性、可靠性，满足G行业务发展和各应用系统间进行文件传输交互的需要。
图1 传输链路图
文件传输系统分为 接入、管理、平台 三层业务架构，接入层负责与全行应用系统对接，根据本地存储的任务信息对文件进行相应处理和传输，将传输结果上送至管理层，管理层负责节点和任务信息的管理，并实时同步信息给接入层和平台层，平台层则负责文件分发、传输扩展和数据存储，如图2。
一般系统的管理员主要工作在于应对系统中产生的各种需要人工干预的事件，以及来自开发的变更需求，保障系统对外提供稳定的服务。但随着G行文件传输系统节点规模越来越大，每日传输文件数量越来越多，相关的事件和变更需求也越来越多，按照传统模式一个管理员很难应对日益增多的事件。所以G行文件传输系统配套设计了管理模块来解决运维中的问题，代替人工操作，减轻管理员压力。
管理模块的定位是保障生产稳定有序的运行，通过设计、构建自动化工具来发现、解决、降低风险，主要包括以下三个方面：
- 传输节点启动时会主动和管理端建立连接，管理端维护连接信息，并每30秒进行一次探测，连续5次探测失败则进行报警；同时传输节点的运行信息会实时报送给管理端，当捕获到异常时也会进行报警。
- 传输任务的监控，是针对每个传输任务的时间阈值进行设定，当传输异常或超时还未完成文件传输，则进行报警。对于多传、重复传的情况，管理端也会进行判断，并依据设定直接终止传输和报警。
- 监控管理一直是持续优化重点工作，未来将更少的依赖人分析报警信息，直接由系统自动分析，仅当需要人来执行某种操作时，才会通知管理员。
G行文件传输系统在服务异常和传输文件异常时都具备自动恢复的能力。当发现有 进程异常终止 时，系统会立即重新拉起，避免影响文件传输，同时进行相关记录，收集起来以备调试和事后分析时使用。 传输文件异常 则是通过自动重传或续传的模式，确保文件传输及时恢复。如果文件生成过晚超出预定发送时间或者数据错误修正后需重新发送，这时不可避免的需要人工介入，可使用应急重传功能，重新发起任务，系统会根据任务信息将文件重新传输。
管理模块的另一个定位是提升运维效率，通过用户权限区分，开放查询和配置功能，做到安全控制的同时，提供给用户便捷的服务：
G行文件传输系统，大大提升了文件传输运维管理的效率，但随着业务的发展，文件传输场景和数量也会越来越多，文件传输的管理难度将会进一步增加，我们需要继续迭代不断创新，逐步推进运维管理充分实现智能化。
未来随着银行科技的不断发展，G行应用系统的全面上云，文件传输需先行完成节点负载均衡架构和文件分布式存储改造，满足应用上云后的文件传输需求，这也是文件传输系统未来的发展目标，即覆盖全行文件传输场景，不断提高管理效率，持续为全行业务提供可靠的文件传输服务。