推出 PyCharm Databricks 集成,数据处理再添利器!
我们现已推出 Databricks 与 PyCharm Professional 的集成,让您更轻松地处理、存储和分析数据!
借助集成,您可以直接在 PyCharm Professional 内的 Databricks Data Intelligence Platform 上构建数据和 AI 应用,并利用 JetBrains 的强大 Python IDE 增强数据分析平台。您能够快速轻松地编写代码并在云端运行,无需额外配置,另外它还为数据处理提供了额外帮助。
阅读本文,详细了解集成、适用人群以及它提供的好处。
观看插件的实际运作
什么是 Databricks?
Databricks Data Intelligence Platform 允许您的整个组织使用数据和 AI。它建立在湖仓上,为所有数据和治理营造了开放、统一的基础,并由了解数据独特性的数据智能引擎驱动。
什么是 PyCharm Professional?
PyCharm Professional 是一款适用于 Python 和其他编程语言的领先 IDE。它让您可以在一个地方直接使用卓越的代码补全、重构功能、代码检查、无缝代码与项目导航、调试器以及广泛的集成(包括 Jupyter Notebook、测试框架、Git、CI/CD 解决方案等)编写高质量、高效的代码。
集成适合谁使用?
通过 Databricks 使用数据湖仓、数据湖和数据仓库的组织和数据专业人员将受益于这种集成。
集成提供了哪些好处?
集成结合了每个平台最强大的功能,让您能够在 PyCharm 中轻松地大规模构建数据和 AI 应用程序:
使用 PyCharm 实现软件开发最佳做法,这对于大型代码库至关重要,例如源代码控制、模块化代码布局、测试等。
Databricks 支持强大的集群,让您可以处理对于本地机器来说过大的项目,并帮助您高效编排数据处理。
您可以在 PyCharm 中为管道和作业编写代码,然后在 Databricks 集群上实时部署、测试和运行,无需额外配置。
我们来深入了解 PyCharm Databricks 集成的更多详细信息。
通过 PyCharm 连接到集群
您可以通过 PyCharm 直接连接到 Databricks 集群并在 IDE 中监控进程。这允许您检查集群是否正在运行、查看当前会话运行的结果,以及查看进程结果和额外详细信息。
在远程集群上运行 Python 脚本
此外,您还可以在远程集群上运行 Python 脚本(这特别适合大数据处理),并在 IDE 中查看结果。
将 Jupyter Notebook 或
Python 脚本作为工作流运行
此外,您可以将 Notebook 或 Python 脚本作为 Databricks 工作流运行,并在控制台中查看输出。
您可以在 Databricks 平台上查看运行的结果,包括从 PyCharm 发起的运行。
将项目文件同步到
Databricks 工作区
项目文件与 Databricks 工作区的同步使您可以在 PyCharm 和 Databricks 工作区中访问和使用相同的文件。您还可以安排 Notebook 和脚本,并为 PyCharm 中完成的项目利用其他平台功能。
如何开始
准备好以下各项:
您可以从 JetBrains Marketplace 或直接从 PyCharm IDE 内部安装 Databricks 插件。
参阅文档获取有关入门和插件使用的分步说明。
您对这项集成有什么看法?请在下方评论区中与我们分享您的想法。
本博文英文原作者:Stanislav Garkusha
PyCharm 相关阅读
关于 PyCharm
PyCharm 是一款可以帮助专业 Python 开发者提升效率、信心和代码质量的集成开发环境 (IDE)。PyCharm Pro 原生支持整个 Python 工作流,包括 Web 框架、前端技术、数据库和科学工具。
PyCharm Community Edition 是一项免费的开源项目,也可用于一般的 Python 编程任务。
进一步了解 PyCharm
⏬ 戳「阅读原文」了解更多信息