要在golang服务中实现prometheus自定义指标暴露，需按以下步骤操作：1. 引入prometheus客户端库；2. 使用gauge、counter、histogram等类型定义监控指标；3. 将指标注册到prometheus默认注册器；4. 在代码中根据实际情况更新指标值；5. 创建http handler暴露/metrics端点；6. 配置prometheus服务器定期抓取该端点数据。建议监控的指标包括http请求总数、延迟、错误率、cpu和内存使用量、goroutine数量以及自定义业务指标。为优雅更新指标，应避免在热点代码中频繁更新，使用原子操作如inc()、add()，可考虑用中间件自动记录http相关指标，并合理控制标签数量及定期清理过期指标。若prometheus抓取失败，可依次检查网络连接、防火墙设置、服务运行状态、prometheus配置、日志信息、指标格式与数量、资源限制、服务发现机制以及升级客户端和服务器版本以排查问题。
Golang服务监控，简单来说，就是让你的Go程序主动告诉监控系统（比如Prometheus）它现在的情况，比如处理了多少请求、错误率是多少等等。这样你就能实时了解服务的健康状况，及时发现问题。
实现Prometheus自定义指标暴露
要在Golang服务中实现Prometheus自定义指标暴露，你需要以下几个步骤：
立即学习“go语言免费学习笔记（深入）”；
引入Prometheus客户端库： 使用
go get命令安装Prometheus的Golang客户端库：go get github.com/prometheus/client_golang定义指标： 使用Prometheus客户端库提供的类型（如
Gauge、Counter、Histogram）定义你想要监控的指标。 例如，你想监控HTTP请求的总数，可以定义一个Counter。注册指标： 将定义的指标注册到Prometheus的默认注册器中，这样Prometheus才能发现它们。
更新指标： 在你的代码中，根据实际情况更新指标的值。 例如，每次处理一个HTTP请求，就将请求总数的
Counter加1。暴露指标： 创建一个HTTP handler，用于将Prometheus的指标数据暴露给Prometheus服务器。 通常，这个handler会暴露
/metrics端点。配置Prometheus： 配置Prometheus服务器，使其能够定期从你的服务的
/metrics端点抓取指标数据。
Golang服务监控指标应该监控哪些内容？
监控指标的选择取决于你的服务的具体功能和需求。 不过，以下是一些常见的、通常有用的指标：
- HTTP请求总数： 统计服务处理的HTTP请求总数，可以按状态码（2xx、4xx、5xx）进行分类。
- HTTP请求延迟： 记录HTTP请求的处理时间，可以统计平均延迟、最大延迟、95th percentile延迟等。
- 错误率： 统计服务返回错误的比例，可以按错误类型进行分类。
- CPU使用率： 监控服务的CPU使用情况，可以帮助你发现性能瓶颈。
- 内存使用量： 监控服务的内存使用情况，可以帮助你防止内存泄漏。
- Goroutine数量： 监控服务的Goroutine数量，可以帮助你发现并发问题。
- 自定义业务指标： 除了上述通用指标外，你还可以根据你的服务的具体业务逻辑，定义一些自定义指标。 例如，如果你的服务是一个电商网站，你可以监控订单总数、销售额等。
如何优雅地更新Prometheus指标？
更新Prometheus指标看似简单，但如果不注意，可能会导致性能问题或数据不一致。 这里有一些建议，可以帮助你优雅地更新Prometheus指标：
避免在热点代码中更新指标： 如果你的代码中有一些执行频率非常高的热点代码，尽量避免在这些代码中直接更新指标。 频繁的指标更新可能会影响这些代码的性能。 你可以使用缓冲、批量更新等技术来减少指标更新的频率。
使用原子操作： 在并发环境下更新指标时，一定要使用原子操作，以保证数据的一致性。 Prometheus客户端库提供了原子操作的API，例如
Inc()、Add()等。考虑使用中间件： 对于HTTP请求相关的指标，可以考虑使用中间件来自动更新指标。 这样可以减少代码的重复，并保证指标的准确性。 例如，你可以编写一个Prometheus中间件，用于记录HTTP请求的总数和延迟。
注意指标的标签： Prometheus指标的标签可以帮助你更细粒度地分析数据。 但是，过多的标签可能会导致性能问题。 因此，你需要仔细考虑你的指标需要哪些标签，避免使用过多的标签。
定期清理过期的指标： 如果你的指标中包含一些临时的、会过期的数据，你需要定期清理这些过期的指标，以避免内存泄漏。
如何解决Prometheus指标抓取失败的问题？
Prometheus偶尔会抓取失败，原因有很多，排查起来需要耐心。这里提供一些常见的解决方法：
检查网络连接： 确保Prometheus服务器可以访问你的服务的
/metrics端点。 可以使用curl命令或其他工具测试网络连接。检查防火墙设置： 确保防火墙没有阻止Prometheus服务器访问你的服务的
/metrics端点。检查服务是否正常运行： 确保你的服务正常运行，并且
/metrics端点能够正常返回数据。检查Prometheus配置： 检查Prometheus的配置文件，确保你的服务被正确配置为抓取目标。 检查
scrape_configs部分，确保targets包含你的服务的地址。检查Prometheus日志： 查看Prometheus的日志，看看是否有任何错误或警告信息。 日志可以帮助你找到问题的根源。
检查指标格式： 确保你的服务返回的指标数据符合Prometheus的格式要求。 Prometheus使用文本格式来抓取指标数据。
检查指标数量： 如果你的服务暴露的指标数量过多，可能会导致Prometheus抓取超时。 尝试减少指标数量，或者增加Prometheus的抓取超时时间。
检查资源限制： 确保你的服务有足够的资源（例如CPU、内存）来处理Prometheus的抓取请求。 如果资源不足，可能会导致抓取失败。
考虑使用服务发现： 如果你的服务的地址经常变化，可以考虑使用服务发现机制，例如Consul、Etcd等。 这样Prometheus可以自动发现你的服务的地址，并进行抓取。
升级Prometheus客户端库和Prometheus服务器： 确保你使用的Prometheus客户端库和Prometheus服务器是最新版本。 新版本通常会修复一些已知的问题。
