spark|性能优化
spark如何进行性能优化?首先需要了解基本的spark运行原理,建议看之前的介绍文章。其实是知道如何查看指标,只有通过指标才能正确反馈问题出在哪里?
……记录所学所思所想,专注于Go语言、软件架构
spark如何进行性能优化?首先需要了解基本的spark运行原理,建议看之前的介绍文章。其实是知道如何查看指标,只有通过指标才能正确反馈问题出在哪里?
……掌握任务调度的原理对于提升开发人员在 Spark 应用程序上的故障排查和性能调优的能力大有裨益。
……Spark提供三个位置用来配置系统:
……大数据、人工智能( Artificial Intelligence )正以前所未有的广度和深度影响所有的行业, 现在及未来公司的核心壁垒是数据, 核心竞争力来自基于大数据的人工智能的竞争。
……总结一下spark的知识大纲,利用思维导图的方式将零散的知识组合起来,形成网状图谱,方便回想和记忆。
……总结一下mysql的知识大纲,利用思维导图的方式将零散的知识组合起来,形成网状图谱,方便回想和记忆。
……文本是一种非结构化的数据信息,是不可以直接被计算的。
……Retrieval-Augmented Generation (RAG) 是一种赋予生成式人工智能模型信息检索能力的技术。它修改了与大型语言模型(LLM)的交互方式,使模型能够根据指定的文档集对用户查询进行响应,利用这些信息来增强从其自身庞大的静态训练数据中提取的信息。这允许LLMs使用特定领域和/或更新的信息。用例包括提供聊天机器人访问公司内部数据或仅从权威来源提供事实信息。简单理解就是通过专业知识库结合LLM的总结生成特性给到高质量的回答。
……并查集(Union-find Data Structure)是一种树型的数据结构。它的特点是由子结点找到父亲结点,用于处理一些不交集(Disjoint Sets)的合并及查询问题。
……groupcache 是 memcached 作者 Brad Fitzpatrick 用 Go 语言编写的缓存及缓存过滤库,作为 memcached 许多场景下的替代版本。
……